DEBUG: clarify multiline smtp responses
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) The Exim Maintainers 2020 - 2022 */
6 /* Copyright (c) University of Cambridge 1995 - 2018 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions for handling an incoming SMTP call. */
10
11
12 #include "exim.h"
13 #include <assert.h>
14
15
16 /* Initialize for TCP wrappers if so configured. It appears that the macro
17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
18 including that header, and restore its value afterwards. */
19
20 #ifdef USE_TCP_WRAPPERS
21
22   #if HAVE_IPV6
23   #define EXIM_HAVE_IPV6
24   #endif
25   #undef HAVE_IPV6
26   #include <tcpd.h>
27   #undef HAVE_IPV6
28   #ifdef EXIM_HAVE_IPV6
29   #define HAVE_IPV6 TRUE
30   #endif
31
32 int allow_severity = LOG_INFO;
33 int deny_severity  = LOG_NOTICE;
34 uschar *tcp_wrappers_name;
35 #endif
36
37
38 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
39 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
40 commands that accept arguments, and this in particular applies to AUTH, where
41 the data can be quite long.  More recently this value was 2048 in Exim;
42 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
43 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
44 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
45 we need room to handle large base64-encoded AUTHs for GSSAPI.
46 */
47
48 #define SMTP_CMD_BUFFER_SIZE  16384
49
50 /* Size of buffer for reading SMTP incoming packets */
51
52 #define IN_BUFFER_SIZE  8192
53
54 /* Structure for SMTP command list */
55
56 typedef struct {
57   const char *name;
58   int len;
59   short int cmd;
60   short int has_arg;
61   short int is_mail_cmd;
62 } smtp_cmd_list;
63
64 /* Codes for identifying commands. We order them so that those that come first
65 are those for which synchronization is always required. Checking this can help
66 block some spam.  */
67
68 enum {
69   /* These commands are required to be synchronized, i.e. to be the last in a
70   block of commands when pipelining. */
71
72   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
73   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
74   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
75   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
76   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
77
78   /* This is a dummy to identify the non-sync commands when pipelining */
79
80   NON_SYNC_CMD_PIPELINING,
81
82   /* These commands need not be synchronized when pipelining */
83
84   MAIL_CMD, RCPT_CMD, RSET_CMD,
85
86   /* This is a dummy to identify the non-sync commands when not pipelining */
87
88   NON_SYNC_CMD_NON_PIPELINING,
89
90   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
91   processed the message is sent using a series of BDAT commands"
92   implies that BDAT should be synchronized.  However, we see Google, at least,
93   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
94   processing of the RCPT response(s).  We shall do the same, and not require
95   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
96   command-header in the same packet we cannot do the usual "is there any
97   follow-on data after the command line" even for non-pipeline mode.
98   So we'll need an explicit check after reading the expected chunk amount
99   when non-pipe, before sending the ACK. */
100
101   BDAT_CMD,
102
103   /* I have been unable to find a statement about the use of pipelining
104   with AUTH, so to be on the safe side it is here, though I kind of feel
105   it should be up there with the synchronized commands. */
106
107   AUTH_CMD,
108
109   /* I'm not sure about these, but I don't think they matter. */
110
111   QUIT_CMD, HELP_CMD,
112
113 #ifdef SUPPORT_PROXY
114   PROXY_FAIL_IGNORE_CMD,
115 #endif
116
117   /* These are specials that don't correspond to actual commands */
118
119   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
120   TOO_MANY_NONMAIL_CMD };
121
122
123 /* This is a convenience macro for adding the identity of an SMTP command
124 to the circular buffer that holds a list of the last n received. */
125
126 #define HAD(n) \
127     smtp_connection_had[smtp_ch_index++] = n; \
128     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
129
130
131 /*************************************************
132 *                Local static variables          *
133 *************************************************/
134
135 static struct {
136   BOOL auth_advertised                  :1;
137 #ifndef DISABLE_TLS
138   BOOL tls_advertised                   :1;
139 #endif
140   BOOL dsn_advertised                   :1;
141   BOOL esmtp                            :1;
142   BOOL helo_verify_required             :1;
143   BOOL helo_verify                      :1;
144   BOOL helo_seen                        :1;
145   BOOL helo_accept_junk                 :1;
146 #ifndef DISABLE_PIPE_CONNECT
147   BOOL pipe_connect_acceptable          :1;
148 #endif
149   BOOL rcpt_smtp_response_same          :1;
150   BOOL rcpt_in_progress                 :1;
151   BOOL smtp_exit_function_called        :1;
152 #ifdef SUPPORT_I18N
153   BOOL smtputf8_advertised              :1;
154 #endif
155 } fl = {
156   .helo_verify_required = FALSE,
157   .helo_verify = FALSE,
158   .smtp_exit_function_called = FALSE,
159 };
160
161 static auth_instance *authenticated_by;
162 static int  count_nonmail;
163 static int  nonmail_command_count;
164 static int  synprot_error_count;
165 static int  unknown_command_count;
166 static int  sync_cmd_limit;
167 static int  smtp_write_error = 0;
168
169 static uschar *rcpt_smtp_response;
170 static uschar *smtp_data_buffer;
171 static uschar *smtp_cmd_data;
172
173 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
174 final fields of all except AUTH are forced TRUE at the start of a new message
175 setup, to allow one of each between messages that is not counted as a nonmail
176 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
177 allow a new EHLO after starting up TLS.
178
179 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
180 counted. However, the flag is changed when AUTH is received, so that multiple
181 failing AUTHs will eventually hit the limit. After a successful AUTH, another
182 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
183 forced TRUE, to allow for the re-authentication that can happen at that point.
184
185 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
186 count of non-mail commands and possibly provoke an error.
187
188 tls_auth is a pseudo-command, never expected in input.  It is activated
189 on TLS startup and looks for a tls authenticator. */
190
191 static smtp_cmd_list cmd_list[] = {
192   /* name         len                     cmd     has_arg is_mail_cmd */
193
194   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
195   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
196   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
197   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
198 #ifndef DISABLE_TLS
199   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
200   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
201 #endif
202
203 /* If you change anything above here, also fix the definitions below. */
204
205   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
206   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
207   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
208   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
209   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
210   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
211   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
212   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
213   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
214   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
215 };
216
217 static smtp_cmd_list *cmd_list_end =
218   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
219
220 #define CMD_LIST_RSET      0
221 #define CMD_LIST_HELO      1
222 #define CMD_LIST_EHLO      2
223 #define CMD_LIST_AUTH      3
224 #define CMD_LIST_STARTTLS  4
225 #define CMD_LIST_TLS_AUTH  5
226
227 /* This list of names is used for performing the smtp_no_mail logging action.
228 It must be kept in step with the SCH_xxx enumerations. */
229
230 uschar * smtp_names[] =
231   {
232   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
233   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
234   US"STARTTLS", US"VRFY" };
235
236 static uschar *protocols_local[] = {
237   US"local-smtp",        /* HELO */
238   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
239   US"local-esmtp",       /* EHLO */
240   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
241   US"local-esmtpa",      /* EHLO->AUTH */
242   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
243   };
244 static uschar *protocols[] = {
245   US"smtp",              /* HELO */
246   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
247   US"esmtp",             /* EHLO */
248   US"esmtps",            /* EHLO->STARTTLS->EHLO */
249   US"esmtpa",            /* EHLO->AUTH */
250   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
251   };
252
253 #define pnormal  0
254 #define pextend  2
255 #define pcrpted  1  /* added to pextend or pnormal */
256 #define pauthed  2  /* added to pextend */
257
258 /* Sanity check and validate optional args to MAIL FROM: envelope */
259 enum {
260   ENV_MAIL_OPT_NULL,
261   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
262 #ifndef DISABLE_PRDR
263   ENV_MAIL_OPT_PRDR,
264 #endif
265   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
266 #ifdef SUPPORT_I18N
267   ENV_MAIL_OPT_UTF8,
268 #endif
269   };
270 typedef struct {
271   uschar *   name;  /* option requested during MAIL cmd */
272   int       value;  /* enum type */
273   BOOL need_value;  /* TRUE requires value (name=value pair format)
274                        FALSE is a singleton */
275   } env_mail_type_t;
276 static env_mail_type_t env_mail_type_list[] = {
277     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
278     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
279     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
280 #ifndef DISABLE_PRDR
281     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
282 #endif
283     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
284     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
285 #ifdef SUPPORT_I18N
286     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
287 #endif
288     /* keep this the last entry */
289     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
290   };
291
292 /* When reading SMTP from a remote host, we have to use our own versions of the
293 C input-reading functions, in order to be able to flush the SMTP output only
294 when about to read more data from the socket. This is the only way to get
295 optimal performance when the client is using pipelining. Flushing for every
296 command causes a separate packet and reply packet each time; saving all the
297 responses up (when pipelining) combines them into one packet and one response.
298
299 For simplicity, these functions are used for *all* SMTP input, not only when
300 receiving over a socket. However, after setting up a secure socket (SSL), input
301 is read via the OpenSSL library, and another set of functions is used instead
302 (see tls.c).
303
304 These functions are set in the receive_getc etc. variables and called with the
305 same interface as the C functions. However, since there can only ever be
306 one incoming SMTP call, we just use a single buffer and flags. There is no need
307 to implement a complicated private FILE-like structure.*/
308
309 static uschar *smtp_inbuffer;
310 static uschar *smtp_inptr;
311 static uschar *smtp_inend;
312 static int     smtp_had_eof;
313 static int     smtp_had_error;
314
315
316 /* forward declarations */
317 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
318 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
319 static void smtp_quit_handler(uschar **, uschar **);
320 static void smtp_rset_handler(void);
321
322 /*************************************************
323 *          Log incomplete transactions           *
324 *************************************************/
325
326 /* This function is called after a transaction has been aborted by RSET, QUIT,
327 connection drops or other errors. It logs the envelope information received
328 so far in order to preserve address verification attempts.
329
330 Argument:   string to indicate what aborted the transaction
331 Returns:    nothing
332 */
333
334 static void
335 incomplete_transaction_log(uschar *what)
336 {
337 if (!sender_address                             /* No transaction in progress */
338    || !LOGGING(smtp_incomplete_transaction))
339   return;
340
341 /* Build list of recipients for logging */
342
343 if (recipients_count > 0)
344   {
345   raw_recipients = store_get(recipients_count * sizeof(uschar *), GET_UNTAINTED);
346   for (int i = 0; i < recipients_count; i++)
347     raw_recipients[i] = recipients_list[i].address;
348   raw_recipients_count = recipients_count;
349   }
350
351 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
352   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
353 }
354
355
356
357
358 void
359 smtp_command_timeout_exit(void)
360 {
361 log_write(L_lost_incoming_connection,
362           LOG_MAIN, "SMTP command timeout on%s connection from %s",
363           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
364 if (smtp_batched_input)
365   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
366 smtp_notquit_exit(US"command-timeout", US"421",
367   US"%s: SMTP command timeout - closing connection",
368   smtp_active_hostname);
369 exim_exit(EXIT_FAILURE);
370 }
371
372 void
373 smtp_command_sigterm_exit(void)
374 {
375 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
376 if (smtp_batched_input)
377   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
378 smtp_notquit_exit(US"signal-exit", US"421",
379   US"%s: Service not available - closing connection", smtp_active_hostname);
380 exim_exit(EXIT_FAILURE);
381 }
382
383 void
384 smtp_data_timeout_exit(void)
385 {
386 log_write(L_lost_incoming_connection,
387   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
388   sender_fullhost ? sender_fullhost : US"local process", sender_address);
389 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
390 /* Does not return */
391 }
392
393 void
394 smtp_data_sigint_exit(void)
395 {
396 log_write(0, LOG_MAIN, "%s closed after %s",
397   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
398 receive_bomb_out(US"signal-exit",
399   US"Service not available - SIGTERM or SIGINT received");
400 /* Does not return */
401 }
402
403
404 /******************************************************************************/
405 /* SMTP input buffer handling.  Most of these are similar to stdio routines.  */
406
407 static void
408 smtp_buf_init(void)
409 {
410 /* Set up the buffer for inputting using direct read() calls, and arrange to
411 call the local functions instead of the standard C ones.  Place a NUL at the
412 end of the buffer to safety-stop C-string reads from it. */
413
414 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
415   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
416 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
417
418 smtp_inptr = smtp_inend = smtp_inbuffer;
419 smtp_had_eof = smtp_had_error = 0;
420 }
421
422
423
424 /* Refill the buffer, and notify DKIM verification code.
425 Return false for error or EOF.
426 */
427
428 static BOOL
429 smtp_refill(unsigned lim)
430 {
431 int rc, save_errno;
432
433 if (!smtp_out) return FALSE;
434 fflush(smtp_out);
435 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
436
437 /* Limit amount read, so non-message data is not fed to DKIM.
438 Take care to not touch the safety NUL at the end of the buffer. */
439
440 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
441 save_errno = errno;
442 if (smtp_receive_timeout > 0) ALARM_CLR(0);
443 if (rc <= 0)
444   {
445   /* Must put the error text in fixed store, because this might be during
446   header reading, where it releases unused store above the header. */
447   if (rc < 0)
448     {
449     if (had_command_timeout)            /* set by signal handler */
450       smtp_command_timeout_exit();      /* does not return */
451     if (had_command_sigterm)
452       smtp_command_sigterm_exit();
453     if (had_data_timeout)
454       smtp_data_timeout_exit();
455     if (had_data_sigint)
456       smtp_data_sigint_exit();
457
458     smtp_had_error = save_errno;
459     smtp_read_error = string_copy_perm(
460       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
461     }
462   else
463     smtp_had_eof = 1;
464   return FALSE;
465   }
466 #ifndef DISABLE_DKIM
467 dkim_exim_verify_feed(smtp_inbuffer, rc);
468 #endif
469 smtp_inend = smtp_inbuffer + rc;
470 smtp_inptr = smtp_inbuffer;
471 return TRUE;
472 }
473
474
475 /* Check if there is buffered data */
476
477 BOOL
478 smtp_hasc(void)
479 {
480 return smtp_inptr < smtp_inend;
481 }
482
483 /* SMTP version of getc()
484
485 This gets the next byte from the SMTP input buffer. If the buffer is empty,
486 it flushes the output, and refills the buffer, with a timeout. The signal
487 handler is set appropriately by the calling function. This function is not used
488 after a connection has negotiated itself into an TLS/SSL state.
489
490 Arguments:  lim         Maximum amount to read/buffer
491 Returns:    the next character or EOF
492 */
493
494 int
495 smtp_getc(unsigned lim)
496 {
497 if (!smtp_hasc() && !smtp_refill(lim)) return EOF;
498 return *smtp_inptr++;
499 }
500
501 /* Get many bytes, refilling buffer if needed */
502
503 uschar *
504 smtp_getbuf(unsigned * len)
505 {
506 unsigned size;
507 uschar * buf;
508
509 if (!smtp_hasc() && !smtp_refill(*len))
510   { *len = 0; return NULL; }
511
512 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
513 buf = smtp_inptr;
514 smtp_inptr += size;
515 *len = size;
516 return buf;
517 }
518
519 /* Copy buffered data to the dkim feed.
520 Called, unless TLS, just before starting to read message headers. */
521
522 void
523 smtp_get_cache(unsigned lim)
524 {
525 #ifndef DISABLE_DKIM
526 int n = smtp_inend - smtp_inptr;
527 if (n > lim)
528   n = lim;
529 if (n > 0)
530   dkim_exim_verify_feed(smtp_inptr, n);
531 #endif
532 }
533
534
535 /* SMTP version of ungetc()
536 Puts a character back in the input buffer. Only ever called once.
537
538 Arguments:
539   ch           the character
540
541 Returns:       the character
542 */
543
544 int
545 smtp_ungetc(int ch)
546 {
547 if (smtp_inptr <= smtp_inbuffer)        /* NB: NOT smtp_hasc() ! */
548   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "buffer underflow in smtp_ungetc");
549
550 *--smtp_inptr = ch;
551 return ch;
552 }
553
554
555 /* SMTP version of feof()
556 Tests for a previous EOF
557
558 Arguments:     none
559 Returns:       non-zero if the eof flag is set
560 */
561
562 int
563 smtp_feof(void)
564 {
565 return smtp_had_eof;
566 }
567
568
569 /* SMTP version of ferror()
570 Tests for a previous read error, and returns with errno
571 restored to what it was when the error was detected.
572
573 Arguments:     none
574 Returns:       non-zero if the error flag is set
575 */
576
577 int
578 smtp_ferror(void)
579 {
580 errno = smtp_had_error;
581 return smtp_had_error;
582 }
583
584
585 /* Check if a getc will block or not */
586
587 static BOOL
588 smtp_could_getc(void)
589 {
590 int fd, rc;
591 fd_set fds;
592 struct timeval tzero = {.tv_sec = 0, .tv_usec = 0};
593
594 if (smtp_inptr < smtp_inend)
595   return TRUE;
596
597 fd = fileno(smtp_in);
598 FD_ZERO(&fds);
599 FD_SET(fd, &fds);
600 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
601
602 if (rc <= 0) return FALSE;     /* Not ready to read */
603 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
604 if (rc < 0) return FALSE;      /* End of file or error */
605
606 smtp_ungetc(rc);
607 return TRUE;
608 }
609
610
611 /******************************************************************************/
612 /*************************************************
613 *          Recheck synchronization               *
614 *************************************************/
615
616 /* Synchronization checks can never be perfect because a packet may be on its
617 way but not arrived when the check is done.  Normally, the checks happen when
618 commands are read: Exim ensures that there is no more input in the input buffer.
619 In normal cases, the response to the command will be fast, and there is no
620 further check.
621
622 However, for some commands an ACL is run, and that can include delays. In those
623 cases, it is useful to do another check on the input just before sending the
624 response. This also applies at the start of a connection. This function does
625 that check by means of the select() function, as long as the facility is not
626 disabled or inappropriate. A failure of select() is ignored.
627
628 When there is unwanted input, we read it so that it appears in the log of the
629 error.
630
631 Arguments: none
632 Returns:   TRUE if all is well; FALSE if there is input pending
633 */
634
635 static BOOL
636 wouldblock_reading(void)
637 {
638 #ifndef DISABLE_TLS
639 if (tls_in.active.sock >= 0)
640  return !tls_could_getc();
641 #endif
642
643 return !smtp_could_getc();
644 }
645
646 static BOOL
647 check_sync(void)
648 {
649 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
650   return TRUE;
651
652 return wouldblock_reading();
653 }
654
655
656 /******************************************************************************/
657 /* Variants of the smtp_* input handling functions for use in CHUNKING mode */
658
659 /* Forward declarations */
660 static inline void bdat_push_receive_functions(void);
661 static inline void bdat_pop_receive_functions(void);
662
663
664 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
665 previous BDAT chunk and getting new ones when we run out.  Uses the
666 underlying smtp_getc or tls_getc both for that and for getting the
667 (buffered) data byte.  EOD signals (an expected) no further data.
668 ERR signals a protocol error, and EOF a closed input stream.
669
670 Called from read_bdat_smtp() in receive.c for the message body, but also
671 by the headers read loop in receive_msg(); manipulates chunking_state
672 to handle the BDAT command/response.
673 Placed here due to the correlation with the above smtp_getc(), which it wraps,
674 and also by the need to do smtp command/response handling.
675
676 Arguments:  lim         (ignored)
677 Returns:    the next character or ERR, EOD or EOF
678 */
679
680 int
681 bdat_getc(unsigned lim)
682 {
683 uschar * user_msg = NULL;
684 uschar * log_msg;
685
686 for(;;)
687   {
688 #ifndef DISABLE_DKIM
689   unsigned dkim_save;
690 #endif
691
692   if (chunking_data_left > 0)
693     return lwr_receive_getc(chunking_data_left--);
694
695   bdat_pop_receive_functions();
696 #ifndef DISABLE_DKIM
697   dkim_save = dkim_collect_input;
698   dkim_collect_input = 0;
699 #endif
700
701   /* Unless PIPELINING was offered, there should be no next command
702   until after we ack that chunk */
703
704   if (!f.smtp_in_pipelining_advertised && !check_sync())
705     {
706     unsigned n = smtp_inend - smtp_inptr;
707     if (n > 32) n = 32;
708
709     incomplete_transaction_log(US"sync failure");
710     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
711       "(next input sent too soon: pipelining was not advertised): "
712       "rejected \"%s\" %s next input=\"%s\"%s",
713       smtp_cmd_buffer, host_and_ident(TRUE),
714       string_printing(string_copyn(smtp_inptr, n)),
715       smtp_inend - smtp_inptr > n ? "..." : "");
716     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
717       US"SMTP synchronization error");
718     goto repeat_until_rset;
719     }
720
721   /* If not the last, ack the received chunk.  The last response is delayed
722   until after the data ACL decides on it */
723
724   if (chunking_state == CHUNKING_LAST)
725     {
726 #ifndef DISABLE_DKIM
727     dkim_collect_input = dkim_save;
728     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
729     dkim_collect_input = 0;
730 #endif
731     return EOD;
732     }
733
734   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
735   chunking_state = CHUNKING_OFFERED;
736   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
737
738   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
739   QUIT, RSET or NOOP but handling them seems obvious */
740
741 next_cmd:
742   switch(smtp_read_command(TRUE, 1))
743     {
744     default:
745       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
746         US"only BDAT permissible after non-LAST BDAT");
747
748   repeat_until_rset:
749       switch(smtp_read_command(TRUE, 1))
750         {
751         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
752         case EOF_CMD:   return EOF;
753         case RSET_CMD:  smtp_rset_handler(); return ERR;
754         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
755                                           US"only RSET accepted now") > 0)
756                           return EOF;
757                         goto repeat_until_rset;
758         }
759
760     case QUIT_CMD:
761       smtp_quit_handler(&user_msg, &log_msg);
762       /*FALLTHROUGH*/
763     case EOF_CMD:
764       return EOF;
765
766     case RSET_CMD:
767       smtp_rset_handler();
768       return ERR;
769
770     case NOOP_CMD:
771       HAD(SCH_NOOP);
772       smtp_printf("250 OK\r\n", FALSE);
773       goto next_cmd;
774
775     case BDAT_CMD:
776       {
777       int n;
778
779       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
780         {
781         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
782           US"missing size for BDAT command");
783         return ERR;
784         }
785       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
786         ? CHUNKING_LAST : CHUNKING_ACTIVE;
787       chunking_data_left = chunking_datasize;
788       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
789                                     (int)chunking_state, chunking_data_left);
790
791       if (chunking_datasize == 0)
792         if (chunking_state == CHUNKING_LAST)
793           return EOD;
794         else
795           {
796           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
797             US"zero size for BDAT command");
798           goto repeat_until_rset;
799           }
800
801       bdat_push_receive_functions();
802 #ifndef DISABLE_DKIM
803       dkim_collect_input = dkim_save;
804 #endif
805       break;    /* to top of main loop */
806       }
807     }
808   }
809 }
810
811 BOOL
812 bdat_hasc(void)
813 {
814 if (chunking_data_left > 0)
815   return lwr_receive_hasc();
816 return TRUE;
817 }
818
819 uschar *
820 bdat_getbuf(unsigned * len)
821 {
822 uschar * buf;
823
824 if (chunking_data_left <= 0)
825   { *len = 0; return NULL; }
826
827 if (*len > chunking_data_left) *len = chunking_data_left;
828 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
829 chunking_data_left -= *len;
830 return buf;
831 }
832
833 void
834 bdat_flush_data(void)
835 {
836 while (chunking_data_left)
837   {
838   unsigned n = chunking_data_left;
839   if (!bdat_getbuf(&n)) break;
840   }
841
842 bdat_pop_receive_functions();
843
844 if (chunking_state != CHUNKING_LAST)
845   {
846   chunking_state = CHUNKING_OFFERED;
847   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
848   }
849 }
850
851
852 static inline void
853 bdat_push_receive_functions(void)
854 {
855 /* push the current receive_* function on the "stack", and
856 replace them by bdat_getc(), which in turn will use the lwr_receive_*
857 functions to do the dirty work. */
858 if (!lwr_receive_getc)
859   {
860   lwr_receive_getc = receive_getc;
861   lwr_receive_getbuf = receive_getbuf;
862   lwr_receive_hasc = receive_hasc;
863   lwr_receive_ungetc = receive_ungetc;
864   }
865 else
866   {
867   DEBUG(D_receive) debug_printf("chunking double-push receive functions\n");
868   }
869
870 receive_getc = bdat_getc;
871 receive_getbuf = bdat_getbuf;
872 receive_hasc = bdat_hasc;
873 receive_ungetc = bdat_ungetc;
874 }
875
876 static inline void
877 bdat_pop_receive_functions(void)
878 {
879 if (!lwr_receive_getc)
880   {
881   DEBUG(D_receive) debug_printf("chunking double-pop receive functions\n");
882   return;
883   }
884 receive_getc = lwr_receive_getc;
885 receive_getbuf = lwr_receive_getbuf;
886 receive_hasc = lwr_receive_hasc;
887 receive_ungetc = lwr_receive_ungetc;
888
889 lwr_receive_getc = NULL;
890 lwr_receive_getbuf = NULL;
891 lwr_receive_hasc = NULL;
892 lwr_receive_ungetc = NULL;
893 }
894
895 int
896 bdat_ungetc(int ch)
897 {
898 chunking_data_left++;
899 bdat_push_receive_functions();  /* we're not done yet, calling push is safe, because it checks the state before pushing anything */
900 return lwr_receive_ungetc(ch);
901 }
902
903
904
905 /******************************************************************************/
906
907 /*************************************************
908 *     Write formatted string to SMTP channel     *
909 *************************************************/
910
911 /* This is a separate function so that we don't have to repeat everything for
912 TLS support or debugging. It is global so that the daemon and the
913 authentication functions can use it. It does not return any error indication,
914 because major problems such as dropped connections won't show up till an output
915 flush for non-TLS connections. The smtp_fflush() function is available for
916 checking that: for convenience, TLS output errors are remembered here so that
917 they are also picked up later by smtp_fflush().
918
919 This function is exposed to the local_scan API; do not change the signature.
920
921 Arguments:
922   format      format string
923   more        further data expected
924   ...         optional arguments
925
926 Returns:      nothing
927 */
928
929 void
930 smtp_printf(const char *format, BOOL more, ...)
931 {
932 va_list ap;
933
934 va_start(ap, more);
935 smtp_vprintf(format, more, ap);
936 va_end(ap);
937 }
938
939 /* This is split off so that verify.c:respond_printf() can, in effect, call
940 smtp_printf(), bearing in mind that in C a vararg function can't directly
941 call another vararg function, only a function which accepts a va_list.
942
943 This function is exposed to the local_scan API; do not change the signature.
944 */
945 /*XXX consider passing caller-info in, for string_vformat-onward */
946
947 void
948 smtp_vprintf(const char *format, BOOL more, va_list ap)
949 {
950 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
951 BOOL yield;
952
953 /* Use taint-unchecked routines for writing into big_buffer, trusting
954 that we'll never expand it. */
955
956 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
957 string_from_gstring(&gs);
958
959 DEBUG(D_receive) for (const uschar * t, * s = gs.s;
960                       s && (t = Ustrchr(s, '\r'));
961                       s = t + 2)                                /* \r\n */
962     debug_printf("%s %.*s\n",
963                   s == gs.s ? "SMTP>>" : "      ",
964                   (int)(t - s), s);
965
966 if (!yield)
967   {
968   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
969   smtp_closedown(US"Unexpected error");
970   exim_exit(EXIT_FAILURE);
971   }
972
973 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
974 have had the same. Note: this code is also present in smtp_respond(). It would
975 be tidier to have it only in one place, but when it was added, it was easier to
976 do it that way, so as not to have to mess with the code for the RCPT command,
977 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
978
979 if (fl.rcpt_in_progress)
980   {
981   if (rcpt_smtp_response == NULL)
982     rcpt_smtp_response = string_copy(big_buffer);
983   else if (fl.rcpt_smtp_response_same &&
984            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
985     fl.rcpt_smtp_response_same = FALSE;
986   fl.rcpt_in_progress = FALSE;
987   }
988
989 /* Now write the string */
990
991 if (
992 #ifndef DISABLE_TLS
993     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
994 #endif
995     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
996    )
997     smtp_write_error = -1;
998 }
999
1000
1001
1002 /*************************************************
1003 *        Flush SMTP out and check for error      *
1004 *************************************************/
1005
1006 /* This function isn't currently used within Exim (it detects errors when it
1007 tries to read the next SMTP input), but is available for use in local_scan().
1008 It flushes the output and checks for errors.
1009
1010 Arguments:  none
1011 Returns:    0 for no error; -1 after an error
1012 */
1013
1014 int
1015 smtp_fflush(void)
1016 {
1017 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
1018
1019 if (
1020 #ifndef DISABLE_TLS
1021     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
1022 #endif
1023     (fflush(smtp_out) != 0)
1024    )
1025     smtp_write_error = -1;
1026
1027 return smtp_write_error;
1028 }
1029
1030
1031
1032 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
1033 a reponse with the one following. */
1034
1035 static BOOL
1036 pipeline_response(void)
1037 {
1038 if (  !smtp_enforce_sync || !sender_host_address
1039    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
1040   return FALSE;
1041
1042 if (wouldblock_reading()) return FALSE;
1043 f.smtp_in_pipelining_used = TRUE;
1044 return TRUE;
1045 }
1046
1047
1048 #ifndef DISABLE_PIPE_CONNECT
1049 static BOOL
1050 pipeline_connect_sends(void)
1051 {
1052 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
1053   return FALSE;
1054
1055 if (wouldblock_reading()) return FALSE;
1056 f.smtp_in_early_pipe_used = TRUE;
1057 return TRUE;
1058 }
1059 #endif
1060
1061 /*************************************************
1062 *          SMTP command read timeout             *
1063 *************************************************/
1064
1065 /* Signal handler for timing out incoming SMTP commands. This attempts to
1066 finish off tidily.
1067
1068 Argument: signal number (SIGALRM)
1069 Returns:  nothing
1070 */
1071
1072 static void
1073 command_timeout_handler(int sig)
1074 {
1075 had_command_timeout = sig;
1076 }
1077
1078
1079
1080 /*************************************************
1081 *               SIGTERM received                 *
1082 *************************************************/
1083
1084 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1085
1086 Argument: signal number (SIGTERM)
1087 Returns:  nothing
1088 */
1089
1090 static void
1091 command_sigterm_handler(int sig)
1092 {
1093 had_command_sigterm = sig;
1094 }
1095
1096
1097
1098
1099 #ifdef SUPPORT_PROXY
1100 /*************************************************
1101 *       Check if host is required proxy host     *
1102 *************************************************/
1103 /* The function determines if inbound host will be a regular smtp host
1104 or if it is configured that it must use Proxy Protocol.  A local
1105 connection cannot.
1106
1107 Arguments: none
1108 Returns:   bool
1109 */
1110
1111 static BOOL
1112 check_proxy_protocol_host()
1113 {
1114 int rc;
1115
1116 if (  sender_host_address
1117    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1118                            sender_host_address, NULL)) == OK)
1119   {
1120   DEBUG(D_receive)
1121     debug_printf("Detected proxy protocol configured host\n");
1122   proxy_session = TRUE;
1123   }
1124 return proxy_session;
1125 }
1126
1127
1128 /*************************************************
1129 *    Read data until newline or end of buffer    *
1130 *************************************************/
1131 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1132 read an entire buffer and assume there will be nothing past a proxy protocol
1133 header.  Our approach normally is to use stdio, but again that relies upon
1134 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1135 reading _nothing_ before client TLS handshake.  So we don't want to use the
1136 usual buffering reads which may read enough to block TLS starting.
1137
1138 So unfortunately we're down to "read one byte at a time, with a syscall each,
1139 and expect a little overhead", for all proxy-opened connections which are v1,
1140 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1141 underlying fd, we can't assume that we can feed them any already-read content.
1142
1143 We need to know where to read to, the max capacity, and we'll read until we
1144 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1145
1146 Return the amount read.
1147 */
1148
1149 static int
1150 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1151 {
1152 uschar *to = base + already;
1153 uschar *cr;
1154 int have = 0;
1155 int ret;
1156 int last = 0;
1157
1158 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1159 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1160
1161 cr = memchr(base, '\r', already);
1162 if (cr != NULL)
1163   {
1164   if ((cr - base) < already - 1)
1165     {
1166     /* \r and presumed \n already within what we have; probably not
1167     actually proxy protocol, but abort cleanly. */
1168     return 0;
1169     }
1170   /* \r is last character read, just need one more. */
1171   last = 1;
1172   }
1173
1174 while (capacity > 0)
1175   {
1176   do { ret = read(fd, to, 1); } while (ret == -1 && errno == EINTR && !had_command_timeout);
1177   if (ret == -1)
1178     return -1;
1179   have++;
1180   if (last)
1181     return have;
1182   if (*to == '\r')
1183     last = 1;
1184   capacity--;
1185   to++;
1186   }
1187
1188 /* reached end without having room for a final newline, abort */
1189 errno = EOVERFLOW;
1190 return -1;
1191 }
1192
1193 /*************************************************
1194 *         Setup host for proxy protocol          *
1195 *************************************************/
1196 /* The function configures the connection based on a header from the
1197 inbound host to use Proxy Protocol. The specification is very exact
1198 so exit with an error if do not find the exact required pieces. This
1199 includes an incorrect number of spaces separating args.
1200
1201 Arguments: none
1202 Returns:   Boolean success
1203 */
1204
1205 static void
1206 setup_proxy_protocol_host()
1207 {
1208 union {
1209   struct {
1210     uschar line[108];
1211   } v1;
1212   struct {
1213     uschar sig[12];
1214     uint8_t ver_cmd;
1215     uint8_t fam;
1216     uint16_t len;
1217     union {
1218       struct { /* TCP/UDP over IPv4, len = 12 */
1219         uint32_t src_addr;
1220         uint32_t dst_addr;
1221         uint16_t src_port;
1222         uint16_t dst_port;
1223       } ip4;
1224       struct { /* TCP/UDP over IPv6, len = 36 */
1225         uint8_t  src_addr[16];
1226         uint8_t  dst_addr[16];
1227         uint16_t src_port;
1228         uint16_t dst_port;
1229       } ip6;
1230       struct { /* AF_UNIX sockets, len = 216 */
1231         uschar   src_addr[108];
1232         uschar   dst_addr[108];
1233       } unx;
1234     } addr;
1235   } v2;
1236 } hdr;
1237
1238 /* Temp variables used in PPv2 address:port parsing */
1239 uint16_t tmpport;
1240 char tmpip[INET_ADDRSTRLEN];
1241 struct sockaddr_in tmpaddr;
1242 char tmpip6[INET6_ADDRSTRLEN];
1243 struct sockaddr_in6 tmpaddr6;
1244
1245 /* We can't read "all data until end" because while SMTP is
1246 server-speaks-first, the TLS handshake is client-speaks-first, so for
1247 TLS-on-connect ports the proxy protocol header will usually be immediately
1248 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1249 reinject data for reading by those.  So instead we first read "enough to be
1250 safely read within the header, and figure out how much more to read".
1251 For v1 we will later read to the end-of-line, for v2 we will read based upon
1252 the stated length.
1253
1254 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1255 data is needed total.  For v1, where the line looks like:
1256 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1257
1258 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1259 We seem to support that.  So, if we read 14 octets then we can tell if we're
1260 v2 or v1.  If we're v1, we can continue reading as normal.
1261
1262 If we're v2, we can't slurp up the entire header.  We need the length in the
1263 15th & 16th octets, then to read everything after that.
1264
1265 So to safely handle v1 and v2, with client-sent-first supported correctly,
1266 we have to do a minimum of 3 read calls, not 1.  Eww.
1267 */
1268
1269 #define PROXY_INITIAL_READ 14
1270 #define PROXY_V2_HEADER_SIZE 16
1271 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1272 # error Code bug in sizes of data to read for proxy usage
1273 #endif
1274
1275 int get_ok = 0;
1276 int size, ret;
1277 int fd = fileno(smtp_in);
1278 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1279 uschar * iptype;  /* To display debug info */
1280 socklen_t vslen = sizeof(struct timeval);
1281 BOOL yield = FALSE;
1282
1283 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1284 ALARM(proxy_protocol_timeout);
1285
1286 do
1287   {
1288   /* The inbound host was declared to be a Proxy Protocol host, so
1289   don't do a PEEK into the data, actually slurp up enough to be
1290   "safe". Can't take it all because TLS-on-connect clients follow
1291   immediately with TLS handshake. */
1292   ret = read(fd, &hdr, PROXY_INITIAL_READ);
1293   }
1294   while (ret == -1 && errno == EINTR && !had_command_timeout);
1295
1296 if (ret == -1)
1297   goto proxyfail;
1298
1299 /* For v2, handle reading the length, and then the rest. */
1300 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1301   {
1302   int retmore;
1303   uint8_t ver;
1304
1305   /* First get the length fields. */
1306   do
1307     {
1308     retmore = read(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ);
1309     } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1310   if (retmore == -1)
1311     goto proxyfail;
1312   ret += retmore;
1313
1314   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1315
1316   /* May 2014: haproxy combined the version and command into one byte to
1317   allow two full bytes for the length field in order to proxy SSL
1318   connections.  SSL Proxy is not supported in this version of Exim, but
1319   must still separate values here. */
1320
1321   if (ver != 0x02)
1322     {
1323     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1324     goto proxyfail;
1325     }
1326
1327   /* The v2 header will always be 16 bytes per the spec. */
1328   size = 16 + ntohs(hdr.v2.len);
1329   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1330       size, (int)sizeof(hdr));
1331
1332   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1333   amount that we need.  Double-check that the size is not unreasonable, then
1334   get the rest. */
1335   if (size > sizeof(hdr))
1336     {
1337     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1338     goto proxyfail;
1339     }
1340
1341   do
1342     {
1343     do
1344       {
1345       retmore = read(fd, (uschar*)&hdr + ret, size-ret);
1346       } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1347     if (retmore == -1)
1348       goto proxyfail;
1349     ret += retmore;
1350     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1351     } while (ret < size);
1352
1353   } /* end scope for getting rest of data for v2 */
1354
1355 /* At this point: if PROXYv2, we've read the exact size required for all data;
1356 if PROXYv1 then we've read "less than required for any valid line" and should
1357 read the rest". */
1358
1359 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1360   {
1361   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1362
1363   switch (cmd)
1364     {
1365     case 0x01: /* PROXY command */
1366       switch (hdr.v2.fam)
1367         {
1368         case 0x11:  /* TCPv4 address type */
1369           iptype = US"IPv4";
1370           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1371           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1372           if (!string_is_ip_address(US tmpip, NULL))
1373             {
1374             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1375             goto proxyfail;
1376             }
1377           proxy_local_address = sender_host_address;
1378           sender_host_address = string_copy(US tmpip);
1379           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1380           proxy_local_port    = sender_host_port;
1381           sender_host_port    = tmpport;
1382           /* Save dest ip/port */
1383           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1384           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1385           if (!string_is_ip_address(US tmpip, NULL))
1386             {
1387             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1388             goto proxyfail;
1389             }
1390           proxy_external_address = string_copy(US tmpip);
1391           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1392           proxy_external_port  = tmpport;
1393           goto done;
1394         case 0x21:  /* TCPv6 address type */
1395           iptype = US"IPv6";
1396           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1397           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1398           if (!string_is_ip_address(US tmpip6, NULL))
1399             {
1400             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1401             goto proxyfail;
1402             }
1403           proxy_local_address = sender_host_address;
1404           sender_host_address = string_copy(US tmpip6);
1405           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1406           proxy_local_port    = sender_host_port;
1407           sender_host_port    = tmpport;
1408           /* Save dest ip/port */
1409           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1410           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1411           if (!string_is_ip_address(US tmpip6, NULL))
1412             {
1413             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1414             goto proxyfail;
1415             }
1416           proxy_external_address = string_copy(US tmpip6);
1417           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1418           proxy_external_port  = tmpport;
1419           goto done;
1420         default:
1421           DEBUG(D_receive)
1422             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1423                          hdr.v2.fam);
1424           goto proxyfail;
1425         }
1426       /* Unsupported protocol, keep local connection address */
1427       break;
1428     case 0x00: /* LOCAL command */
1429       /* Keep local connection address for LOCAL */
1430       iptype = US"local";
1431       break;
1432     default:
1433       DEBUG(D_receive)
1434         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1435       goto proxyfail;
1436     }
1437   }
1438 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1439   {
1440   uschar *p;
1441   uschar *end;
1442   uschar *sp;     /* Utility variables follow */
1443   int     tmp_port;
1444   int     r2;
1445   char   *endc;
1446
1447   /* get the rest of the line */
1448   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1449   if (r2 == -1)
1450     goto proxyfail;
1451   ret += r2;
1452
1453   p = string_copy(hdr.v1.line);
1454   end = memchr(p, '\r', ret - 1);
1455
1456   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1457     {
1458     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1459     goto proxyfail;
1460     }
1461   *end = '\0'; /* Terminate the string */
1462   size = end + 2 - p; /* Skip header + CRLF */
1463   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1464   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1465   /* Step through the string looking for the required fields. Ensure
1466   strict adherence to required formatting, exit for any error. */
1467   p += 5;
1468   if (!isspace(*(p++)))
1469     {
1470     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1471     goto proxyfail;
1472     }
1473   if (!Ustrncmp(p, CCS"TCP4", 4))
1474     iptype = US"IPv4";
1475   else if (!Ustrncmp(p,CCS"TCP6", 4))
1476     iptype = US"IPv6";
1477   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1478     {
1479     iptype = US"Unknown";
1480     goto done;
1481     }
1482   else
1483     {
1484     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1485     goto proxyfail;
1486     }
1487
1488   p += Ustrlen(iptype);
1489   if (!isspace(*(p++)))
1490     {
1491     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1492     goto proxyfail;
1493     }
1494   /* Find the end of the arg */
1495   if ((sp = Ustrchr(p, ' ')) == NULL)
1496     {
1497     DEBUG(D_receive)
1498       debug_printf("Did not find proxied src %s\n", iptype);
1499     goto proxyfail;
1500     }
1501   *sp = '\0';
1502   if(!string_is_ip_address(p, NULL))
1503     {
1504     DEBUG(D_receive)
1505       debug_printf("Proxied src arg is not an %s address\n", iptype);
1506     goto proxyfail;
1507     }
1508   proxy_local_address = sender_host_address;
1509   sender_host_address = p;
1510   p = sp + 1;
1511   if ((sp = Ustrchr(p, ' ')) == NULL)
1512     {
1513     DEBUG(D_receive)
1514       debug_printf("Did not find proxy dest %s\n", iptype);
1515     goto proxyfail;
1516     }
1517   *sp = '\0';
1518   if(!string_is_ip_address(p, NULL))
1519     {
1520     DEBUG(D_receive)
1521       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1522     goto proxyfail;
1523     }
1524   proxy_external_address = p;
1525   p = sp + 1;
1526   if ((sp = Ustrchr(p, ' ')) == NULL)
1527     {
1528     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1529     goto proxyfail;
1530     }
1531   *sp = '\0';
1532   tmp_port = strtol(CCS p, &endc, 10);
1533   if (*endc || tmp_port == 0)
1534     {
1535     DEBUG(D_receive)
1536       debug_printf("Proxied src port '%s' not an integer\n", p);
1537     goto proxyfail;
1538     }
1539   proxy_local_port = sender_host_port;
1540   sender_host_port = tmp_port;
1541   p = sp + 1;
1542   if ((sp = Ustrchr(p, '\0')) == NULL)
1543     {
1544     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1545     goto proxyfail;
1546     }
1547   tmp_port = strtol(CCS p, &endc, 10);
1548   if (*endc || tmp_port == 0)
1549     {
1550     DEBUG(D_receive)
1551       debug_printf("Proxy dest port '%s' not an integer\n", p);
1552     goto proxyfail;
1553     }
1554   proxy_external_port = tmp_port;
1555   /* Already checked for /r /n above. Good V1 header received. */
1556   }
1557 else
1558   {
1559   /* Wrong protocol */
1560   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1561   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1562   goto proxyfail;
1563   }
1564
1565 done:
1566   DEBUG(D_receive)
1567     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1568   yield = proxy_session;
1569
1570 /* Don't flush any potential buffer contents. Any input on proxyfail
1571 should cause a synchronization failure */
1572
1573 proxyfail:
1574   DEBUG(D_receive) if (had_command_timeout)
1575     debug_printf("Timeout while reading proxy header\n");
1576
1577 bad:
1578   if (yield)
1579     {
1580     sender_host_name = NULL;
1581     (void) host_name_lookup();
1582     host_build_sender_fullhost();
1583     }
1584   else
1585     {
1586     f.proxy_session_failed = TRUE;
1587     DEBUG(D_receive)
1588       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1589     }
1590
1591 ALARM(0);
1592 return;
1593 }
1594 #endif
1595
1596 /*************************************************
1597 *           Read one command line                *
1598 *************************************************/
1599
1600 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1601 There are sites that don't do this, and in any case internal SMTP probably
1602 should check only for LF. Consequently, we check here for LF only. The line
1603 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1604 an unknown command. The command is read into the global smtp_cmd_buffer so that
1605 it is available via $smtp_command.
1606
1607 The character reading routine sets up a timeout for each block actually read
1608 from the input (which may contain more than one command). We set up a special
1609 signal handler that closes down the session on a timeout. Control does not
1610 return when it runs.
1611
1612 Arguments:
1613   check_sync    if TRUE, check synchronization rules if global option is TRUE
1614   buffer_lim    maximum to buffer in lower layer
1615
1616 Returns:       a code identifying the command (enumerated above)
1617 */
1618
1619 static int
1620 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1621 {
1622 int c;
1623 int ptr = 0;
1624 BOOL hadnull = FALSE;
1625
1626 had_command_timeout = 0;
1627 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1628
1629 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1630   {
1631   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1632     {
1633     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1634     return OTHER_CMD;
1635     }
1636   if (c == 0)
1637     {
1638     hadnull = TRUE;
1639     c = '?';
1640     }
1641   smtp_cmd_buffer[ptr++] = c;
1642   }
1643
1644 receive_linecount++;    /* For BSMTP errors */
1645 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1646
1647 /* If hit end of file, return pseudo EOF command. Whether we have a
1648 part-line already read doesn't matter, since this is an error state. */
1649
1650 if (c == EOF) return EOF_CMD;
1651
1652 /* Remove any CR and white space at the end of the line, and terminate the
1653 string. */
1654
1655 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1656 smtp_cmd_buffer[ptr] = 0;
1657
1658 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1659
1660 /* NULLs are not allowed in SMTP commands */
1661
1662 if (hadnull) return BADCHAR_CMD;
1663
1664 /* Scan command list and return identity, having set the data pointer
1665 to the start of the actual data characters. Check for SMTP synchronization
1666 if required. */
1667
1668 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1669   {
1670 #ifdef SUPPORT_PROXY
1671   /* Only allow QUIT command if Proxy Protocol parsing failed */
1672   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1673     continue;
1674 #endif
1675   if (  p->len
1676      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1677      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1678         || smtp_cmd_buffer[p->len] == 0
1679         || smtp_cmd_buffer[p->len] == ' '
1680      )  )
1681     {
1682     if (   smtp_inptr < smtp_inend              /* Outstanding input */
1683        &&  p->cmd < sync_cmd_limit              /* Command should sync */
1684        &&  check_sync                           /* Local flag set */
1685        &&  smtp_enforce_sync                    /* Global flag set */
1686        &&  sender_host_address != NULL          /* Not local input */
1687        &&  !f.sender_host_notsocket             /* Really is a socket */
1688        )
1689       return BADSYN_CMD;
1690
1691     /* The variables $smtp_command and $smtp_command_argument point into the
1692     unmodified input buffer. A copy of the latter is taken for actual
1693     processing, so that it can be chopped up into separate parts if necessary,
1694     for example, when processing a MAIL command options such as SIZE that can
1695     follow the sender address. */
1696
1697     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1698     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1699     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1700     smtp_cmd_data = smtp_data_buffer;
1701
1702     /* Count non-mail commands from those hosts that are controlled in this
1703     way. The default is all hosts. We don't waste effort checking the list
1704     until we get a non-mail command, but then cache the result to save checking
1705     again. If there's a DEFER while checking the host, assume it's in the list.
1706
1707     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1708     start of each incoming message by fiddling with the value in the table. */
1709
1710     if (!p->is_mail_cmd)
1711       {
1712       if (count_nonmail == TRUE_UNSET) count_nonmail =
1713         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1714       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1715         return TOO_MANY_NONMAIL_CMD;
1716       }
1717
1718     /* If there is data for a command that does not expect it, generate the
1719     error here. */
1720
1721     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1722     }
1723   }
1724
1725 #ifdef SUPPORT_PROXY
1726 /* Only allow QUIT command if Proxy Protocol parsing failed */
1727 if (proxy_session && f.proxy_session_failed)
1728   return PROXY_FAIL_IGNORE_CMD;
1729 #endif
1730
1731 /* Enforce synchronization for unknown commands */
1732
1733 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1734    && check_sync                        /* Local flag set */
1735    && smtp_enforce_sync                 /* Global flag set */
1736    && sender_host_address               /* Not local input */
1737    && !f.sender_host_notsocket          /* Really is a socket */
1738    )
1739   return BADSYN_CMD;
1740
1741 return OTHER_CMD;
1742 }
1743
1744
1745
1746 /*************************************************
1747 *          Forced closedown of call              *
1748 *************************************************/
1749
1750 /* This function is called from log.c when Exim is dying because of a serious
1751 disaster, and also from some other places. If an incoming non-batched SMTP
1752 channel is open, it swallows the rest of the incoming message if in the DATA
1753 phase, sends the reply string, and gives an error to all subsequent commands
1754 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1755 smtp_in.
1756
1757 Arguments:
1758   message   SMTP reply string to send, excluding the code
1759
1760 Returns:    nothing
1761 */
1762
1763 void
1764 smtp_closedown(uschar *message)
1765 {
1766 if (!smtp_in || smtp_batched_input) return;
1767 receive_swallow_smtp();
1768 smtp_printf("421 %s\r\n", FALSE, message);
1769
1770 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1771   {
1772   case EOF_CMD:
1773     return;
1774
1775   case QUIT_CMD:
1776     f.smtp_in_quit = TRUE;
1777     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1778     mac_smtp_fflush();
1779     return;
1780
1781   case RSET_CMD:
1782     smtp_printf("250 Reset OK\r\n", FALSE);
1783     break;
1784
1785   default:
1786     smtp_printf("421 %s\r\n", FALSE, message);
1787     break;
1788   }
1789 }
1790
1791
1792
1793
1794 /*************************************************
1795 *        Set up connection info for logging      *
1796 *************************************************/
1797
1798 /* This function is called when logging information about an SMTP connection.
1799 It sets up appropriate source information, depending on the type of connection.
1800 If sender_fullhost is NULL, we are at a very early stage of the connection;
1801 just use the IP address.
1802
1803 Argument:    none
1804 Returns:     a string describing the connection
1805 */
1806
1807 uschar *
1808 smtp_get_connection_info(void)
1809 {
1810 const uschar * hostname = sender_fullhost
1811   ? sender_fullhost : sender_host_address;
1812
1813 if (host_checking)
1814   return string_sprintf("SMTP connection from %s", hostname);
1815
1816 if (f.sender_host_unknown || f.sender_host_notsocket)
1817   return string_sprintf("SMTP connection from %s", sender_ident);
1818
1819 if (f.is_inetd)
1820   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1821
1822 if (LOGGING(incoming_interface) && interface_address)
1823   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1824     interface_address, interface_port);
1825
1826 return string_sprintf("SMTP connection from %s", hostname);
1827 }
1828
1829
1830
1831 #ifndef DISABLE_TLS
1832 /* Append TLS-related information to a log line
1833
1834 Arguments:
1835   g             String under construction: allocated string to extend, or NULL
1836
1837 Returns:        Allocated string or NULL
1838 */
1839 static gstring *
1840 s_tlslog(gstring * g)
1841 {
1842 if (LOGGING(tls_cipher) && tls_in.cipher)
1843   {
1844   g = string_append(g, 2, US" X=", tls_in.cipher);
1845 #ifndef DISABLE_TLS_RESUME
1846   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1847     g = string_catn(g, US"*", 1);
1848 #endif
1849   }
1850 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1851   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1852 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1853   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1854 if (LOGGING(tls_sni) && tls_in.sni)
1855   g = string_append(g, 2, US" SNI=", string_printing2(tls_in.sni, SP_TAB|SP_SPACE));
1856 return g;
1857 }
1858 #endif
1859
1860
1861
1862 static gstring *
1863 s_connhad_log(gstring * g)
1864 {
1865 const uschar * sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE
1866   ? US" C=..." : US" C=";
1867
1868 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1869   if (smtp_connection_had[i] != SCH_NONE)
1870     {
1871     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1872     sep = US",";
1873     }
1874 for (int i = 0; i < smtp_ch_index; i++, sep = US",")
1875   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1876 return g;
1877 }
1878
1879
1880 /*************************************************
1881 *      Log lack of MAIL if so configured         *
1882 *************************************************/
1883
1884 /* This function is called when an SMTP session ends. If the log selector
1885 smtp_no_mail is set, write a log line giving some details of what has happened
1886 in the SMTP session.
1887
1888 Arguments:   none
1889 Returns:     nothing
1890 */
1891
1892 void
1893 smtp_log_no_mail(void)
1894 {
1895 uschar * s;
1896 gstring * g = NULL;
1897
1898 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1899   return;
1900
1901 if (sender_host_authenticated)
1902   {
1903   g = string_append(g, 2, US" A=", sender_host_authenticated);
1904   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1905   }
1906
1907 #ifndef DISABLE_TLS
1908 g = s_tlslog(g);
1909 #endif
1910
1911 g = s_connhad_log(g);
1912
1913 if (!(s = string_from_gstring(g))) s = US"";
1914
1915 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1916   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1917   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1918 }
1919
1920
1921 /* Return list of recent smtp commands */
1922
1923 uschar *
1924 smtp_cmd_hist(void)
1925 {
1926 gstring * list = NULL;
1927 uschar * s;
1928
1929 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1930   if (smtp_connection_had[i] != SCH_NONE)
1931     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1932
1933 for (int i = 0; i < smtp_ch_index; i++)
1934   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1935
1936 s = string_from_gstring(list);
1937 return s ? s : US"";
1938 }
1939
1940
1941
1942
1943 /*************************************************
1944 *   Check HELO line and set sender_helo_name     *
1945 *************************************************/
1946
1947 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1948 the domain name of the sending host, or an ip literal in square brackets. The
1949 argument is placed in sender_helo_name, which is in malloc store, because it
1950 must persist over multiple incoming messages. If helo_accept_junk is set, this
1951 host is permitted to send any old junk (needed for some broken hosts).
1952 Otherwise, helo_allow_chars can be used for rogue characters in general
1953 (typically people want to let in underscores).
1954
1955 Argument:
1956   s       the data portion of the line (already past any white space)
1957
1958 Returns:  TRUE or FALSE
1959 */
1960
1961 static BOOL
1962 check_helo(uschar *s)
1963 {
1964 uschar *start = s;
1965 uschar *end = s + Ustrlen(s);
1966 BOOL yield = fl.helo_accept_junk;
1967
1968 /* Discard any previous helo name */
1969
1970 sender_helo_name = NULL;
1971
1972 /* Skip tests if junk is permitted. */
1973
1974 if (!yield)
1975
1976   /* Allow the new standard form for IPv6 address literals, namely,
1977   [IPv6:....], and because someone is bound to use it, allow an equivalent
1978   IPv4 form. Allow plain addresses as well. */
1979
1980   if (*s == '[')
1981     {
1982     if (end[-1] == ']')
1983       {
1984       end[-1] = 0;
1985       if (strncmpic(s, US"[IPv6:", 6) == 0)
1986         yield = (string_is_ip_address(s+6, NULL) == 6);
1987       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1988         yield = (string_is_ip_address(s+6, NULL) == 4);
1989       else
1990         yield = (string_is_ip_address(s+1, NULL) != 0);
1991       end[-1] = ']';
1992       }
1993     }
1994
1995   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1996   that have been configured (usually underscore - sigh). */
1997
1998   else if (*s)
1999     for (yield = TRUE; *s; s++)
2000       if (!isalnum(*s) && *s != '.' && *s != '-' &&
2001           Ustrchr(helo_allow_chars, *s) == NULL)
2002         {
2003         yield = FALSE;
2004         break;
2005         }
2006
2007 /* Save argument if OK */
2008
2009 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
2010 return yield;
2011 }
2012
2013
2014
2015
2016
2017 /*************************************************
2018 *         Extract SMTP command option            *
2019 *************************************************/
2020
2021 /* This function picks the next option setting off the end of smtp_cmd_data. It
2022 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
2023 things that can appear there.
2024
2025 Arguments:
2026    name           point this at the name
2027    value          point this at the data string
2028
2029 Returns:          TRUE if found an option
2030 */
2031
2032 static BOOL
2033 extract_option(uschar **name, uschar **value)
2034 {
2035 uschar *n;
2036 uschar *v;
2037 if (Ustrlen(smtp_cmd_data) <= 0) return FALSE;
2038 v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
2039 while (v > smtp_cmd_data && isspace(*v)) v--;
2040 v[1] = 0;
2041
2042 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
2043   {
2044   /* Take care to not stop at a space embedded in a quoted local-part */
2045   if (*v == '"')
2046     {
2047     do v--; while (v > smtp_cmd_data && *v != '"');
2048     if (v <= smtp_cmd_data) return FALSE;
2049     }
2050   v--;
2051   }
2052 if (v <= smtp_cmd_data) return FALSE;
2053
2054 n = v;
2055 if (*v == '=')
2056   {
2057   while (n > smtp_cmd_data && isalpha(n[-1])) n--;
2058   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2059   if (n <= smtp_cmd_data || !isspace(n[-1])) return FALSE;
2060   n[-1] = 0;
2061   }
2062 else
2063   {
2064   n++;
2065   }
2066 *v++ = 0;
2067 *name = n;
2068 *value = v;
2069 return TRUE;
2070 }
2071
2072
2073
2074
2075
2076 /*************************************************
2077 *         Reset for new message                  *
2078 *************************************************/
2079
2080 /* This function is called whenever the SMTP session is reset from
2081 within either of the setup functions; also from the daemon loop.
2082
2083 Argument:   the stacking pool storage reset point
2084 Returns:    nothing
2085 */
2086
2087 void *
2088 smtp_reset(void *reset_point)
2089 {
2090 recipients_list = NULL;
2091 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2092   raw_recipients_count = recipients_count = recipients_list_max = 0;
2093 message_linecount = 0;
2094 message_size = -1;
2095 message_body = message_body_end = NULL;
2096 acl_added_headers = NULL;
2097 acl_removed_headers = NULL;
2098 f.queue_only_policy = FALSE;
2099 rcpt_smtp_response = NULL;
2100 fl.rcpt_smtp_response_same = TRUE;
2101 fl.rcpt_in_progress = FALSE;
2102 f.deliver_freeze = FALSE;                               /* Can be set by ACL */
2103 freeze_tell = freeze_tell_config;                       /* Can be set by ACL */
2104 fake_response = OK;                                     /* Can be set by ACL */
2105 #ifdef WITH_CONTENT_SCAN
2106 f.no_mbox_unspool = FALSE;                              /* Can be set by ACL */
2107 #endif
2108 f.submission_mode = FALSE;                              /* Can be set by ACL */
2109 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2110 f.active_local_from_check = local_from_check;           /* Can be set by ACL */
2111 f.active_local_sender_retain = local_sender_retain;     /* Can be set by ACL */
2112 sending_ip_address = NULL;
2113 return_path = sender_address = NULL;
2114 deliver_localpart_data = deliver_domain_data =
2115 recipient_data = sender_data = NULL;                    /* Can be set by ACL */
2116 recipient_verify_failure = NULL;
2117 deliver_localpart_parent = deliver_localpart_orig = NULL;
2118 deliver_domain_parent = deliver_domain_orig = NULL;
2119 callout_address = NULL;
2120 submission_name = NULL;                                 /* Can be set by ACL */
2121 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2122 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2123 sender_verified_list = NULL;        /* No senders verified */
2124 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2125 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2126
2127 authenticated_sender = NULL;
2128 #ifdef EXPERIMENTAL_BRIGHTMAIL
2129 bmi_run = 0;
2130 bmi_verdicts = NULL;
2131 #endif
2132 dnslist_domain = dnslist_matched = NULL;
2133 #ifdef SUPPORT_SPF
2134 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2135 spf_result_guessed = FALSE;
2136 #endif
2137 #ifndef DISABLE_DKIM
2138 dkim_cur_signer = dkim_signers =
2139 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2140 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2141 f.dkim_disable_verify = FALSE;
2142 dkim_collect_input = 0;
2143 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2144 dkim_key_length = 0;
2145 #endif
2146 #ifdef SUPPORT_DMARC
2147 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2148 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2149 dmarc_used_domain = NULL;
2150 #endif
2151 #ifdef EXPERIMENTAL_ARC
2152 arc_state = arc_state_reason = NULL;
2153 arc_received_instance = 0;
2154 #endif
2155 dsn_ret = 0;
2156 dsn_envid = NULL;
2157 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2158 #ifndef DISABLE_PRDR
2159 prdr_requested = FALSE;
2160 #endif
2161 #ifdef SUPPORT_I18N
2162 message_smtputf8 = FALSE;
2163 #endif
2164 body_linecount = body_zerocount = 0;
2165
2166 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2167 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2168                    /* Note that ratelimiters_conn persists across resets. */
2169
2170 /* Reset message ACL variables */
2171
2172 acl_var_m = NULL;
2173
2174 /* Warning log messages are saved in malloc store. They are saved to avoid
2175 repetition in the same message, but it seems right to repeat them for different
2176 messages. */
2177
2178 while (acl_warn_logged)
2179   {
2180   string_item *this = acl_warn_logged;
2181   acl_warn_logged = acl_warn_logged->next;
2182   store_free(this);
2183   }
2184
2185 message_tidyup();
2186 store_reset(reset_point);
2187
2188 message_start();
2189 return store_mark();
2190 }
2191
2192
2193
2194
2195
2196 /*************************************************
2197 *  Initialize for incoming batched SMTP message  *
2198 *************************************************/
2199
2200 /* This function is called from smtp_setup_msg() in the case when
2201 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2202 of messages in one file with SMTP commands between them. All errors must be
2203 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2204 relevant. After an error on a sender, or an invalid recipient, the remainder
2205 of the message is skipped. The value of received_protocol is already set.
2206
2207 Argument: none
2208 Returns:  > 0 message successfully started (reached DATA)
2209           = 0 QUIT read or end of file reached
2210           < 0 should not occur
2211 */
2212
2213 static int
2214 smtp_setup_batch_msg(void)
2215 {
2216 int done = 0;
2217 rmark reset_point = store_mark();
2218
2219 /* Save the line count at the start of each transaction - single commands
2220 like HELO and RSET count as whole transactions. */
2221
2222 bsmtp_transaction_linecount = receive_linecount;
2223
2224 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2225
2226 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2227 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2228
2229 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2230 value. The values are 2 larger than the required yield of the function. */
2231
2232 while (done <= 0)
2233   {
2234   uschar *errmess;
2235   uschar *recipient = NULL;
2236   int start, end, sender_domain, recipient_domain;
2237
2238   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2239     {
2240     /* The HELO/EHLO commands set sender_address_helo if they have
2241     valid data; otherwise they are ignored, except that they do
2242     a reset of the state. */
2243
2244     case HELO_CMD:
2245     case EHLO_CMD:
2246
2247       check_helo(smtp_cmd_data);
2248       /* Fall through */
2249
2250     case RSET_CMD:
2251       cancel_cutthrough_connection(TRUE, US"RSET received");
2252       reset_point = smtp_reset(reset_point);
2253       bsmtp_transaction_linecount = receive_linecount;
2254       break;
2255
2256
2257     /* The MAIL FROM command requires an address as an operand. All we
2258     do here is to parse it for syntactic correctness. The form "<>" is
2259     a special case which converts into an empty string. The start/end
2260     pointers in the original are not used further for this address, as
2261     it is the canonical extracted address which is all that is kept. */
2262
2263     case MAIL_CMD:
2264       smtp_mailcmd_count++;              /* Count for no-mail log */
2265       if (sender_address)
2266         /* The function moan_smtp_batch() does not return. */
2267         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2268
2269       if (smtp_cmd_data[0] == 0)
2270         /* The function moan_smtp_batch() does not return. */
2271         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2272
2273       /* Reset to start of message */
2274
2275       cancel_cutthrough_connection(TRUE, US"MAIL received");
2276       reset_point = smtp_reset(reset_point);
2277
2278       /* Apply SMTP rewrite */
2279
2280       raw_sender = rewrite_existflags & rewrite_smtp
2281         /* deconst ok as smtp_cmd_data was not const */
2282         ? US rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL,
2283                       FALSE, US"", global_rewrite_rules)
2284         : smtp_cmd_data;
2285
2286       /* Extract the address; the TRUE flag allows <> as valid */
2287
2288       raw_sender =
2289         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2290           TRUE);
2291
2292       if (!raw_sender)
2293         /* The function moan_smtp_batch() does not return. */
2294         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2295
2296       sender_address = string_copy(raw_sender);
2297
2298       /* Qualify unqualified sender addresses if permitted to do so. */
2299
2300       if (  !sender_domain
2301          && sender_address[0] != 0 && sender_address[0] != '@')
2302         if (f.allow_unqualified_sender)
2303           {
2304           /* deconst ok as sender_address was not const */
2305           sender_address = US rewrite_address_qualify(sender_address, FALSE);
2306           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2307             "and rewritten\n", raw_sender);
2308           }
2309         /* The function moan_smtp_batch() does not return. */
2310         else
2311           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2312             "a domain");
2313       break;
2314
2315
2316     /* The RCPT TO command requires an address as an operand. All we do
2317     here is to parse it for syntactic correctness. There may be any number
2318     of RCPT TO commands, specifying multiple senders. We build them all into
2319     a data structure that is in argc/argv format. The start/end values
2320     given by parse_extract_address are not used, as we keep only the
2321     extracted address. */
2322
2323     case RCPT_CMD:
2324       if (!sender_address)
2325         /* The function moan_smtp_batch() does not return. */
2326         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2327
2328       if (smtp_cmd_data[0] == 0)
2329         /* The function moan_smtp_batch() does not return. */
2330         moan_smtp_batch(smtp_cmd_buffer,
2331           "501 RCPT TO must have an address operand");
2332
2333       /* Check maximum number allowed */
2334
2335       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2336         /* The function moan_smtp_batch() does not return. */
2337         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2338           recipients_max_reject? "552": "452");
2339
2340       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2341       recipient address */
2342
2343       recipient = rewrite_existflags & rewrite_smtp
2344         /* deconst ok as smtp_cmd_data was not const */
2345         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2346                       global_rewrite_rules)
2347         : smtp_cmd_data;
2348
2349       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2350         &recipient_domain, FALSE);
2351
2352       if (!recipient)
2353         /* The function moan_smtp_batch() does not return. */
2354         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2355
2356       /* If the recipient address is unqualified, qualify it if permitted. Then
2357       add it to the list of recipients. */
2358
2359       if (!recipient_domain)
2360         if (f.allow_unqualified_recipient)
2361           {
2362           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2363             recipient);
2364           /* deconst ok as recipient was not const */
2365           recipient = US rewrite_address_qualify(recipient, TRUE);
2366           }
2367         /* The function moan_smtp_batch() does not return. */
2368         else
2369           moan_smtp_batch(smtp_cmd_buffer,
2370             "501 recipient address must contain a domain");
2371
2372       receive_add_recipient(recipient, -1);
2373       break;
2374
2375
2376     /* The DATA command is legal only if it follows successful MAIL FROM
2377     and RCPT TO commands. This function is complete when a valid DATA
2378     command is encountered. */
2379
2380     case DATA_CMD:
2381       if (!sender_address || recipients_count <= 0)
2382         /* The function moan_smtp_batch() does not return. */
2383         if (!sender_address)
2384           moan_smtp_batch(smtp_cmd_buffer,
2385             "503 MAIL FROM:<sender> command must precede DATA");
2386         else
2387           moan_smtp_batch(smtp_cmd_buffer,
2388             "503 RCPT TO:<recipient> must precede DATA");
2389       else
2390         {
2391         done = 3;                      /* DATA successfully achieved */
2392         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2393         }
2394       break;
2395
2396
2397     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2398
2399     case VRFY_CMD:
2400     case EXPN_CMD:
2401     case HELP_CMD:
2402     case NOOP_CMD:
2403     case ETRN_CMD:
2404       bsmtp_transaction_linecount = receive_linecount;
2405       break;
2406
2407
2408     case QUIT_CMD:
2409       f.smtp_in_quit = TRUE;
2410     case EOF_CMD:
2411       done = 2;
2412       break;
2413
2414
2415     case BADARG_CMD:
2416       /* The function moan_smtp_batch() does not return. */
2417       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2418       break;
2419
2420
2421     case BADCHAR_CMD:
2422       /* The function moan_smtp_batch() does not return. */
2423       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2424       break;
2425
2426
2427     default:
2428       /* The function moan_smtp_batch() does not return. */
2429       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2430       break;
2431     }
2432   }
2433
2434 return done - 2;  /* Convert yield values */
2435 }
2436
2437
2438
2439
2440 #ifndef DISABLE_TLS
2441 static BOOL
2442 smtp_log_tls_fail(const uschar * errstr)
2443 {
2444 const uschar * conn_info = smtp_get_connection_info();
2445
2446 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2447 /* I'd like to get separated H= here, but too hard for now */
2448
2449 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2450 return FALSE;
2451 }
2452 #endif
2453
2454
2455
2456
2457 #ifdef TCP_FASTOPEN
2458 static void
2459 tfo_in_check(void)
2460 {
2461 # ifdef __FreeBSD__
2462 int is_fastopen;
2463 socklen_t len = sizeof(is_fastopen);
2464
2465 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2466 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2467
2468 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2469   {
2470   if (is_fastopen)
2471     {
2472     DEBUG(D_receive)
2473       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2474     f.tcp_in_fastopen = TRUE;
2475     }
2476   }
2477 else DEBUG(D_receive)
2478   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2479
2480 # elif defined(TCP_INFO)
2481 struct tcp_info tinfo;
2482 socklen_t len = sizeof(tinfo);
2483
2484 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2485 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2486   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2487     {
2488     DEBUG(D_receive)
2489       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2490     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2491     }
2492   else
2493 #  endif
2494     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2495     {
2496     DEBUG(D_receive)
2497       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2498     f.tcp_in_fastopen = TRUE;
2499     }
2500 else DEBUG(D_receive)
2501   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2502 # endif
2503 }
2504 #endif
2505
2506
2507 /*************************************************
2508 *          Start an SMTP session                 *
2509 *************************************************/
2510
2511 /* This function is called at the start of an SMTP session. Thereafter,
2512 smtp_setup_msg() is called to initiate each separate message. This
2513 function does host-specific testing, and outputs the banner line.
2514
2515 Arguments:     none
2516 Returns:       FALSE if the session can not continue; something has
2517                gone wrong, or the connection to the host is blocked
2518 */
2519
2520 BOOL
2521 smtp_start_session(void)
2522 {
2523 int esclen;
2524 uschar *user_msg, *log_msg;
2525 uschar *code, *esc;
2526 uschar *p, *s;
2527 gstring * ss;
2528
2529 gettimeofday(&smtp_connection_start, NULL);
2530 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2531   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2532 smtp_ch_index = 0;
2533
2534 /* Default values for certain variables */
2535
2536 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2537 smtp_mailcmd_count = 0;
2538 count_nonmail = TRUE_UNSET;
2539 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2540 smtp_delay_mail = smtp_rlm_base;
2541 fl.auth_advertised = FALSE;
2542 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2543 f.pipelining_enable = TRUE;
2544 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2545 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2546
2547 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2548 authentication settings from -oMaa to remain in force. */
2549
2550 if (!host_checking && !f.sender_host_notsocket)
2551   sender_host_auth_pubname = sender_host_authenticated = NULL;
2552 authenticated_by = NULL;
2553
2554 #ifndef DISABLE_TLS
2555 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2556 tls_in.ourcert = tls_in.peercert = NULL;
2557 tls_in.sni = NULL;
2558 tls_in.ocsp = OCSP_NOT_REQ;
2559 fl.tls_advertised = FALSE;
2560 #endif
2561 fl.dsn_advertised = FALSE;
2562 #ifdef SUPPORT_I18N
2563 fl.smtputf8_advertised = FALSE;
2564 #endif
2565
2566 /* Reset ACL connection variables */
2567
2568 acl_var_c = NULL;
2569
2570 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2571
2572 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, GET_TAINTED);
2573
2574 smtp_cmd_buffer[0] = 0;
2575 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2576
2577 /* For batched input, the protocol setting can be overridden from the
2578 command line by a trusted caller. */
2579
2580 if (smtp_batched_input)
2581   {
2582   if (!received_protocol) received_protocol = US"local-bsmtp";
2583   }
2584
2585 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2586 reset later if any of EHLO/AUTH/STARTTLS are received. */
2587
2588 else
2589   received_protocol =
2590     (sender_host_address ? protocols : protocols_local) [pnormal];
2591
2592 /* Set up the buffer for inputting using direct read() calls, and arrange to
2593 call the local functions instead of the standard C ones. */
2594
2595 smtp_buf_init();
2596
2597 receive_getc = smtp_getc;
2598 receive_getbuf = smtp_getbuf;
2599 receive_get_cache = smtp_get_cache;
2600 receive_hasc = smtp_hasc;
2601 receive_ungetc = smtp_ungetc;
2602 receive_feof = smtp_feof;
2603 receive_ferror = smtp_ferror;
2604 lwr_receive_getc = NULL;
2605 lwr_receive_getbuf = NULL;
2606 lwr_receive_hasc = NULL;
2607 lwr_receive_ungetc = NULL;
2608
2609 /* Set up the message size limit; this may be host-specific */
2610
2611 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2612 if (expand_string_message)
2613   {
2614   if (thismessage_size_limit == -1)
2615     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2616       "%s", expand_string_message);
2617   else
2618     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2619       "%s", expand_string_message);
2620   smtp_closedown(US"Temporary local problem - please try later");
2621   return FALSE;
2622   }
2623
2624 /* When a message is input locally via the -bs or -bS options, sender_host_
2625 unknown is set unless -oMa was used to force an IP address, in which case it
2626 is checked like a real remote connection. When -bs is used from inetd, this
2627 flag is not set, causing the sending host to be checked. The code that deals
2628 with IP source routing (if configured) is never required for -bs or -bS and
2629 the flag sender_host_notsocket is used to suppress it.
2630
2631 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2632 reserve for certain hosts and/or networks. */
2633
2634 if (!f.sender_host_unknown)
2635   {
2636   int rc;
2637   BOOL reserved_host = FALSE;
2638
2639   /* Look up IP options (source routing info) on the socket if this is not an
2640   -oMa "host", and if any are found, log them and drop the connection.
2641
2642   Linux (and others now, see below) is different to everyone else, so there
2643   has to be some conditional compilation here. Versions of Linux before 2.1.15
2644   used a structure whose name was "options". Somebody finally realized that
2645   this name was silly, and it got changed to "ip_options". I use the
2646   newer name here, but there is a fudge in the script that sets up os.h
2647   to define a macro in older Linux systems.
2648
2649   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2650   glibc 2, which has chosen ip_opts for the structure name. This is now
2651   really a glibc thing rather than a Linux thing, so the condition name
2652   has been changed to reflect this. It is relevant also to GNU/Hurd.
2653
2654   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2655   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2656   a special macro defined in the os.h file.
2657
2658   Some DGUX versions on older hardware appear not to support IP options at
2659   all, so there is now a general macro which can be set to cut out this
2660   support altogether.
2661
2662   How to do this properly in IPv6 is not yet known. */
2663
2664 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2665
2666   #ifdef GLIBC_IP_OPTIONS
2667     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2668     #define OPTSTYLE 1
2669     #else
2670     #define OPTSTYLE 2
2671     #endif
2672   #elif defined DARWIN_IP_OPTIONS
2673     #define OPTSTYLE 2
2674   #else
2675     #define OPTSTYLE 3
2676   #endif
2677
2678   if (!host_checking && !f.sender_host_notsocket)
2679     {
2680     #if OPTSTYLE == 1
2681     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2682     struct ip_options *ipopt = store_get(optlen, GET_UNTAINTED);
2683     #elif OPTSTYLE == 2
2684     struct ip_opts ipoptblock;
2685     struct ip_opts *ipopt = &ipoptblock;
2686     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2687     #else
2688     struct ipoption ipoptblock;
2689     struct ipoption *ipopt = &ipoptblock;
2690     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2691     #endif
2692
2693     /* Occasional genuine failures of getsockopt() have been seen - for
2694     example, "reset by peer". Therefore, just log and give up on this
2695     call, unless the error is ENOPROTOOPT. This error is given by systems
2696     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2697     of writing. So for that error, carry on - we just can't do an IP options
2698     check. */
2699
2700     DEBUG(D_receive) debug_printf("checking for IP options\n");
2701
2702     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2703           &optlen) < 0)
2704       {
2705       if (errno != ENOPROTOOPT)
2706         {
2707         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2708           host_and_ident(FALSE), strerror(errno));
2709         smtp_printf("451 SMTP service not available\r\n", FALSE);
2710         return FALSE;
2711         }
2712       }
2713
2714     /* Deal with any IP options that are set. On the systems I have looked at,
2715     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2716     more logging data than will fit in big_buffer. Nevertheless, after somebody
2717     questioned this code, I've added in some paranoid checking. */
2718
2719     else if (optlen > 0)
2720       {
2721       uschar *p = big_buffer;
2722       uschar *pend = big_buffer + big_buffer_size;
2723       uschar *adptr;
2724       int optcount;
2725       struct in_addr addr;
2726
2727       #if OPTSTYLE == 1
2728       uschar *optstart = US (ipopt->__data);
2729       #elif OPTSTYLE == 2
2730       uschar *optstart = US (ipopt->ip_opts);
2731       #else
2732       uschar *optstart = US (ipopt->ipopt_list);
2733       #endif
2734
2735       DEBUG(D_receive) debug_printf("IP options exist\n");
2736
2737       Ustrcpy(p, "IP options on incoming call:");
2738       p += Ustrlen(p);
2739
2740       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2741         switch (*opt)
2742           {
2743           case IPOPT_EOL:
2744           opt = NULL;
2745           break;
2746
2747           case IPOPT_NOP:
2748           opt++;
2749           break;
2750
2751           case IPOPT_SSRR:
2752           case IPOPT_LSRR:
2753           if (!string_format(p, pend-p, " %s [@%s",
2754                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2755                #if OPTSTYLE == 1
2756                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2757                #elif OPTSTYLE == 2
2758                inet_ntoa(ipopt->ip_dst)))
2759                #else
2760                inet_ntoa(ipopt->ipopt_dst)))
2761                #endif
2762             {
2763             opt = NULL;
2764             break;
2765             }
2766
2767           p += Ustrlen(p);
2768           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2769           adptr = opt + 3;
2770           while (optcount-- > 0)
2771             {
2772             memcpy(&addr, adptr, sizeof(addr));
2773             if (!string_format(p, pend - p - 1, "%s%s",
2774                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2775               {
2776               opt = NULL;
2777               break;
2778               }
2779             p += Ustrlen(p);
2780             adptr += sizeof(struct in_addr);
2781             }
2782           *p++ = ']';
2783           opt += opt[1];
2784           break;
2785
2786           default:
2787             {
2788             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2789             Ustrcat(p, "[ ");
2790             p += 2;
2791             for (int i = 0; i < opt[1]; i++)
2792               p += sprintf(CS p, "%2.2x ", opt[i]);
2793             *p++ = ']';
2794             }
2795           opt += opt[1];
2796           break;
2797           }
2798
2799       *p = 0;
2800       log_write(0, LOG_MAIN, "%s", big_buffer);
2801
2802       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2803
2804       log_write(0, LOG_MAIN|LOG_REJECT,
2805         "connection from %s refused (IP options)", host_and_ident(FALSE));
2806
2807       smtp_printf("554 SMTP service not available\r\n", FALSE);
2808       return FALSE;
2809       }
2810
2811     /* Length of options = 0 => there are no options */
2812
2813     else DEBUG(D_receive) debug_printf("no IP options found\n");
2814     }
2815 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2816
2817   /* Set keep-alive in socket options. The option is on by default. This
2818   setting is an attempt to get rid of some hanging connections that stick in
2819   read() when the remote end (usually a dialup) goes away. */
2820
2821   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2822     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2823
2824   /* If the current host matches host_lookup, set the name by doing a
2825   reverse lookup. On failure, sender_host_name will be NULL and
2826   host_lookup_failed will be TRUE. This may or may not be serious - optional
2827   checks later. */
2828
2829   if (verify_check_host(&host_lookup) == OK)
2830     {
2831     (void)host_name_lookup();
2832     host_build_sender_fullhost();
2833     }
2834
2835   /* Delay this until we have the full name, if it is looked up. */
2836
2837   set_process_info("handling incoming connection from %s",
2838     host_and_ident(FALSE));
2839
2840   /* Expand smtp_receive_timeout, if needed */
2841
2842   if (smtp_receive_timeout_s)
2843     {
2844     uschar * exp;
2845     if (  !(exp = expand_string(smtp_receive_timeout_s))
2846        || !(*exp)
2847        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2848        )
2849       log_write(0, LOG_MAIN|LOG_PANIC,
2850         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2851     }
2852
2853   /* Test for explicit connection rejection */
2854
2855   if (verify_check_host(&host_reject_connection) == OK)
2856     {
2857     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2858       "from %s (host_reject_connection)", host_and_ident(FALSE));
2859     smtp_printf("554 SMTP service not available\r\n", FALSE);
2860     return FALSE;
2861     }
2862
2863   /* Test with TCP Wrappers if so configured. There is a problem in that
2864   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2865   such as disks dying. In these cases, it is desirable to reject with a 4xx
2866   error instead of a 5xx error. There isn't a "right" way to detect such
2867   problems. The following kludge is used: errno is zeroed before calling
2868   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2869   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2870   not exist). */
2871
2872 #ifdef USE_TCP_WRAPPERS
2873   errno = 0;
2874   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2875     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2876       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2877         expand_string_message);
2878
2879   if (!hosts_ctl(tcp_wrappers_name,
2880          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2881          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2882          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2883     {
2884     if (errno == 0 || errno == ENOENT)
2885       {
2886       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2887       log_write(L_connection_reject,
2888                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2889                 "(tcp wrappers)", host_and_ident(FALSE));
2890       smtp_printf("554 SMTP service not available\r\n", FALSE);
2891       }
2892     else
2893       {
2894       int save_errno = errno;
2895       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2896         "errno value %d\n", save_errno);
2897       log_write(L_connection_reject,
2898                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2899                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2900       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2901       }
2902     return FALSE;
2903     }
2904 #endif
2905
2906   /* Check for reserved slots. The value of smtp_accept_count has already been
2907   incremented to include this process. */
2908
2909   if (smtp_accept_max > 0 &&
2910       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2911     {
2912     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2913       {
2914       log_write(L_connection_reject,
2915         LOG_MAIN, "temporarily refused connection from %s: not in "
2916         "reserve list: connected=%d max=%d reserve=%d%s",
2917         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2918         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2919       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2920         "please try again later\r\n", FALSE, smtp_active_hostname);
2921       return FALSE;
2922       }
2923     reserved_host = TRUE;
2924     }
2925
2926   /* If a load level above which only messages from reserved hosts are
2927   accepted is set, check the load. For incoming calls via the daemon, the
2928   check is done in the superior process if there are no reserved hosts, to
2929   save a fork. In all cases, the load average will already be available
2930   in a global variable at this point. */
2931
2932   if (smtp_load_reserve >= 0 &&
2933        load_average > smtp_load_reserve &&
2934        !reserved_host &&
2935        verify_check_host(&smtp_reserve_hosts) != OK)
2936     {
2937     log_write(L_connection_reject,
2938       LOG_MAIN, "temporarily refused connection from %s: not in "
2939       "reserve list and load average = %.2f", host_and_ident(FALSE),
2940       (double)load_average/1000.0);
2941     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2942       smtp_active_hostname);
2943     return FALSE;
2944     }
2945
2946   /* Determine whether unqualified senders or recipients are permitted
2947   for this host. Unfortunately, we have to do this every time, in order to
2948   set the flags so that they can be inspected when considering qualifying
2949   addresses in the headers. For a site that permits no qualification, this
2950   won't take long, however. */
2951
2952   f.allow_unqualified_sender =
2953     verify_check_host(&sender_unqualified_hosts) == OK;
2954
2955   f.allow_unqualified_recipient =
2956     verify_check_host(&recipient_unqualified_hosts) == OK;
2957
2958   /* Determine whether HELO/EHLO is required for this host. The requirement
2959   can be hard or soft. */
2960
2961   fl.helo_verify_required = verify_check_host(&helo_verify_hosts) == OK;
2962   if (!fl.helo_verify_required)
2963     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2964
2965   /* Determine whether this hosts is permitted to send syntactic junk
2966   after a HELO or EHLO command. */
2967
2968   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2969   }
2970
2971 /* For batch SMTP input we are now done. */
2972
2973 if (smtp_batched_input) return TRUE;
2974
2975 /* If valid Proxy Protocol source is connecting, set up session.
2976 Failure will not allow any SMTP function other than QUIT. */
2977
2978 #ifdef SUPPORT_PROXY
2979 proxy_session = FALSE;
2980 f.proxy_session_failed = FALSE;
2981 if (check_proxy_protocol_host())
2982   setup_proxy_protocol_host();
2983 #endif
2984
2985 /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2986 smtps port for use with older style SSL MTAs. */
2987
2988 #ifndef DISABLE_TLS
2989 if (tls_in.on_connect)
2990   {
2991   if (tls_server_start(&user_msg) != OK)
2992     return smtp_log_tls_fail(user_msg);
2993   cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2994   }
2995 #endif
2996
2997 /* Run the connect ACL if it exists */
2998
2999 user_msg = NULL;
3000 if (acl_smtp_connect)
3001   {
3002   int rc;
3003   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
3004                       &log_msg)) != OK)
3005     {
3006     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
3007     return FALSE;
3008     }
3009   }
3010
3011 /* Output the initial message for a two-way SMTP connection. It may contain
3012 newlines, which then cause a multi-line response to be given. */
3013
3014 code = US"220";   /* Default status code */
3015 esc = US"";       /* Default extended status code */
3016 esclen = 0;       /* Length of esc */
3017
3018 if (!user_msg)
3019   {
3020   if (!(s = expand_string(smtp_banner)))
3021     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
3022       "failed: %s", smtp_banner, expand_string_message);
3023   }
3024 else
3025   {
3026   int codelen = 3;
3027   s = user_msg;
3028   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
3029   if (codelen > 4)
3030     {
3031     esc = code + 4;
3032     esclen = codelen - 4;
3033     }
3034   }
3035
3036 /* Remove any terminating newlines; might as well remove trailing space too */
3037
3038 p = s + Ustrlen(s);
3039 while (p > s && isspace(p[-1])) p--;
3040 s = string_copyn(s, p-s);
3041
3042 /* It seems that CC:Mail is braindead, and assumes that the greeting message
3043 is all contained in a single IP packet. The original code wrote out the
3044 greeting using several calls to fprint/fputc, and on busy servers this could
3045 cause it to be split over more than one packet - which caused CC:Mail to fall
3046 over when it got the second part of the greeting after sending its first
3047 command. Sigh. To try to avoid this, build the complete greeting message
3048 first, and output it in one fell swoop. This gives a better chance of it
3049 ending up as a single packet. */
3050
3051 ss = string_get(256);
3052
3053 p = s;
3054 do       /* At least once, in case we have an empty string */
3055   {
3056   int len;
3057   uschar *linebreak = Ustrchr(p, '\n');
3058   ss = string_catn(ss, code, 3);
3059   if (!linebreak)
3060     {
3061     len = Ustrlen(p);
3062     ss = string_catn(ss, US" ", 1);
3063     }
3064   else
3065     {
3066     len = linebreak - p;
3067     ss = string_catn(ss, US"-", 1);
3068     }
3069   ss = string_catn(ss, esc, esclen);
3070   ss = string_catn(ss, p, len);
3071   ss = string_catn(ss, US"\r\n", 2);
3072   p += len;
3073   if (linebreak) p++;
3074   }
3075 while (*p);
3076
3077 /* Before we write the banner, check that there is no input pending, unless
3078 this synchronisation check is disabled. */
3079
3080 #ifndef DISABLE_PIPE_CONNECT
3081 fl.pipe_connect_acceptable =
3082   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3083
3084 if (!check_sync())
3085   if (fl.pipe_connect_acceptable)
3086     f.smtp_in_early_pipe_used = TRUE;
3087   else
3088 #else
3089 if (!check_sync())
3090 #endif
3091     {
3092     unsigned n = smtp_inend - smtp_inptr;
3093     if (n > 128) n = 128;
3094
3095     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3096       "synchronization error (input sent without waiting for greeting): "
3097       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3098       string_printing(string_copyn(smtp_inptr, n)));
3099     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3100     return FALSE;
3101     }
3102
3103 /* Now output the banner */
3104 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3105
3106 smtp_printf("%s",
3107 #ifndef DISABLE_PIPE_CONNECT
3108   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3109 #else
3110   FALSE,
3111 #endif
3112   string_from_gstring(ss));
3113
3114 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3115 handshake arrived.  If so we must have managed a TFO. */
3116
3117 #ifdef TCP_FASTOPEN
3118 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3119 #endif
3120
3121 return TRUE;
3122 }
3123
3124
3125
3126
3127
3128 /*************************************************
3129 *     Handle SMTP syntax and protocol errors     *
3130 *************************************************/
3131
3132 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3133 to do so. Then transmit the error response. The return value depends on the
3134 number of syntax and protocol errors in this SMTP session.
3135
3136 Arguments:
3137   type      error type, given as a log flag bit
3138   code      response code; <= 0 means don't send a response
3139   data      data to reflect in the response (can be NULL)
3140   errmess   the error message
3141
3142 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3143             +1   limit of syntax/protocol errors IS exceeded
3144
3145 These values fit in with the values of the "done" variable in the main
3146 processing loop in smtp_setup_msg(). */
3147
3148 static int
3149 synprot_error(int type, int code, uschar *data, uschar *errmess)
3150 {
3151 int yield = -1;
3152
3153 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3154   type == L_smtp_syntax_error ? "syntax" : "protocol",
3155   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3156
3157 if (++synprot_error_count > smtp_max_synprot_errors)
3158   {
3159   yield = 1;
3160   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3161     "syntax or protocol errors (last command was \"%s\", %s)",
3162     host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
3163     string_from_gstring(s_connhad_log(NULL))
3164     );
3165   }
3166
3167 if (code > 0)
3168   {
3169   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3170     data ? data : US"", data ? US": " : US"", errmess);
3171   if (yield == 1)
3172     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3173   }
3174
3175 return yield;
3176 }
3177
3178
3179
3180
3181 /*************************************************
3182 *    Send SMTP response, possibly multiline      *
3183 *************************************************/
3184
3185 /* There are, it seems, broken clients out there that cannot handle multiline
3186 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3187 output nothing for non-final calls, and only the first line for anything else.
3188
3189 Arguments:
3190   code          SMTP code, may involve extended status codes
3191   codelen       length of smtp code; if > 4 there's an ESC
3192   final         FALSE if the last line isn't the final line
3193   msg           message text, possibly containing newlines
3194
3195 Returns:        nothing
3196 */
3197
3198 void
3199 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3200 {
3201 int esclen = 0;
3202 uschar *esc = US"";
3203
3204 if (!final && f.no_multiline_responses) return;
3205
3206 if (codelen > 4)
3207   {
3208   esc = code + 4;
3209   esclen = codelen - 4;
3210   }
3211
3212 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3213 have had the same. Note: this code is also present in smtp_printf(). It would
3214 be tidier to have it only in one place, but when it was added, it was easier to
3215 do it that way, so as not to have to mess with the code for the RCPT command,
3216 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3217
3218 if (fl.rcpt_in_progress)
3219   {
3220   if (!rcpt_smtp_response)
3221     rcpt_smtp_response = string_copy(msg);
3222   else if (fl.rcpt_smtp_response_same &&
3223            Ustrcmp(rcpt_smtp_response, msg) != 0)
3224     fl.rcpt_smtp_response_same = FALSE;
3225   fl.rcpt_in_progress = FALSE;
3226   }
3227
3228 /* Now output the message, splitting it up into multiple lines if necessary.
3229 We only handle pipelining these responses as far as nonfinal/final groups,
3230 not the whole MAIL/RCPT/DATA response set. */
3231
3232 for (;;)
3233   {
3234   uschar *nl = Ustrchr(msg, '\n');
3235   if (!nl)
3236     {
3237     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3238     return;
3239     }
3240   else if (nl[1] == 0 || f.no_multiline_responses)
3241     {
3242     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3243       (int)(nl - msg), msg);
3244     return;
3245     }
3246   else
3247     {
3248     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3249     msg = nl + 1;
3250     Uskip_whitespace(&msg);
3251     }
3252   }
3253 }
3254
3255
3256
3257
3258 /*************************************************
3259 *            Parse user SMTP message             *
3260 *************************************************/
3261
3262 /* This function allows for user messages overriding the response code details
3263 by providing a suitable response code string at the start of the message
3264 user_msg. Check the message for starting with a response code and optionally an
3265 extended status code. If found, check that the first digit is valid, and if so,
3266 change the code pointer and length to use the replacement. An invalid code
3267 causes a panic log; in this case, if the log messages is the same as the user
3268 message, we must also adjust the value of the log message to show the code that
3269 is actually going to be used (the original one).
3270
3271 This function is global because it is called from receive.c as well as within
3272 this module.
3273
3274 Note that the code length returned includes the terminating whitespace
3275 character, which is always included in the regex match.
3276
3277 Arguments:
3278   code          SMTP code, may involve extended status codes
3279   codelen       length of smtp code; if > 4 there's an ESC
3280   msg           message text
3281   log_msg       optional log message, to be adjusted with the new SMTP code
3282   check_valid   if true, verify the response code
3283
3284 Returns:        nothing
3285 */
3286
3287 void
3288 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3289   BOOL check_valid)
3290 {
3291 uschar * match;
3292 int len;
3293
3294 if (!msg || !*msg || !regex_match(regex_smtp_code, *msg, -1, &match))
3295   return;
3296
3297 len = Ustrlen(match);
3298 if (check_valid && (*msg)[0] != (*code)[0])
3299   {
3300   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3301     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3302   if (log_msg && *log_msg == *msg)
3303     *log_msg = string_sprintf("%s %s", *code, *log_msg + len);
3304   }
3305 else
3306   {
3307   *code = *msg;
3308   *codelen = len;    /* Includes final space */
3309   }
3310 *msg += len;         /* Chop the code off the message */
3311 return;
3312 }
3313
3314
3315
3316
3317 /*************************************************
3318 *           Handle an ACL failure                *
3319 *************************************************/
3320
3321 /* This function is called when acl_check() fails. As well as calls from within
3322 this module, it is called from receive.c for an ACL after DATA. It sorts out
3323 logging the incident, and sends the error response. A message containing
3324 newlines is turned into a multiline SMTP response, but for logging, only the
3325 first line is used.
3326
3327 There's a table of default permanent failure response codes to use in
3328 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3329 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3330 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3331 state, because there are broken clients that try VRFY before RCPT. A 5xx
3332 response should be given only when the address is positively known to be
3333 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3334 no explicit code, but if there is one we let it know best.
3335 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3336
3337 From Exim 4.63, it is possible to override the response code details by
3338 providing a suitable response code string at the start of the message provided
3339 in user_msg. The code's first digit is checked for validity.
3340
3341 Arguments:
3342   where        where the ACL was called from
3343   rc           the failure code
3344   user_msg     a message that can be included in an SMTP response
3345   log_msg      a message for logging
3346
3347 Returns:     0 in most cases
3348              2 if the failure code was FAIL_DROP, in which case the
3349                SMTP connection should be dropped (this value fits with the
3350                "done" variable in smtp_setup_msg() below)
3351 */
3352
3353 int
3354 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3355 {
3356 BOOL drop = rc == FAIL_DROP;
3357 int codelen = 3;
3358 uschar *smtp_code;
3359 uschar *lognl;
3360 uschar *sender_info = US"";
3361 uschar *what;
3362
3363 if (drop) rc = FAIL;
3364
3365 /* Set the default SMTP code, and allow a user message to change it. */
3366
3367 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3368 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3369   where != ACL_WHERE_VRFY);
3370
3371 /* We used to have sender_address here; however, there was a bug that was not
3372 updating sender_address after a rewrite during a verify. When this bug was
3373 fixed, sender_address at this point became the rewritten address. I'm not sure
3374 this is what should be logged, so I've changed to logging the unrewritten
3375 address to retain backward compatibility. */
3376
3377 switch (where)
3378   {
3379 #ifdef WITH_CONTENT_SCAN
3380   case ACL_WHERE_MIME:          what = US"during MIME ACL checks";      break;
3381 #endif
3382   case ACL_WHERE_PREDATA:       what = US"DATA";                        break;
3383   case ACL_WHERE_DATA:          what = US"after DATA";                  break;
3384 #ifndef DISABLE_PRDR
3385   case ACL_WHERE_PRDR:          what = US"after DATA PRDR";             break;
3386 #endif
3387   default:
3388     {
3389     uschar * place = smtp_cmd_data ? smtp_cmd_data : US"in \"connect\" ACL";
3390     int lim = 100;
3391
3392     if (where == ACL_WHERE_AUTH)        /* avoid logging auth creds */
3393       {
3394       uschar * s;
3395       for (s = smtp_cmd_data; *s && !isspace(*s); ) s++;
3396       lim = s - smtp_cmd_data;  /* atop after method */
3397       }
3398     what = string_sprintf("%s %.*s", acl_wherenames[where], lim, place);
3399     }
3400   }
3401 switch (where)
3402   {
3403   case ACL_WHERE_RCPT:
3404   case ACL_WHERE_DATA:
3405 #ifdef WITH_CONTENT_SCAN
3406   case ACL_WHERE_MIME:
3407 #endif
3408     sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3409       sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3410       sender_host_authenticated ? US" A="                                    : US"",
3411       sender_host_authenticated ? sender_host_authenticated                  : US"",
3412       sender_host_authenticated && authenticated_id ? US":"                  : US"",
3413       sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3414       );
3415   break;
3416   }
3417
3418 /* If there's been a sender verification failure with a specific message, and
3419 we have not sent a response about it yet, do so now, as a preliminary line for
3420 failures, but not defers. However, always log it for defer, and log it for fail
3421 unless the sender_verify_fail log selector has been turned off. */
3422
3423 if (sender_verified_failed &&
3424     !testflag(sender_verified_failed, af_sverify_told))
3425   {
3426   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3427   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3428
3429   setflag(sender_verified_failed, af_sverify_told);
3430
3431   if (rc != FAIL || LOGGING(sender_verify_fail))
3432     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3433       host_and_ident(TRUE),
3434       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3435       sender_verified_failed->address,
3436       (sender_verified_failed->message == NULL)? US"" :
3437       string_sprintf(": %s", sender_verified_failed->message));
3438
3439   if (rc == FAIL && sender_verified_failed->user_message)
3440     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3441         testflag(sender_verified_failed, af_verify_pmfail)?
3442           "Postmaster verification failed while checking <%s>\n%s\n"
3443           "Several RFCs state that you are required to have a postmaster\n"
3444           "mailbox for each mail domain. This host does not accept mail\n"
3445           "from domains whose servers reject the postmaster address."
3446           :
3447         testflag(sender_verified_failed, af_verify_nsfail)?
3448           "Callback setup failed while verifying <%s>\n%s\n"
3449           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3450           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3451           "RFC requirements, and stops you from receiving standard bounce\n"
3452           "messages. This host does not accept mail from domains whose servers\n"
3453           "refuse bounces."
3454           :
3455           "Verification failed for <%s>\n%s",
3456         sender_verified_failed->address,
3457         sender_verified_failed->user_message));
3458
3459   fl.rcpt_in_progress = save_rcpt_in_progress;
3460   }
3461
3462 /* Sort out text for logging */
3463
3464 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3465 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3466
3467 /* Send permanent failure response to the command, but the code used isn't
3468 always a 5xx one - see comments at the start of this function. If the original
3469 rc was FAIL_DROP we drop the connection and yield 2. */
3470
3471 if (rc == FAIL)
3472   smtp_respond(smtp_code, codelen, TRUE,
3473     user_msg ? user_msg : US"Administrative prohibition");
3474
3475 /* Send temporary failure response to the command. Don't give any details,
3476 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3477 verb, and for a header verify when smtp_return_error_details is set.
3478
3479 This conditional logic is all somewhat of a mess because of the odd
3480 interactions between temp_details and return_error_details. One day it should
3481 be re-implemented in a tidier fashion. */
3482
3483 else
3484   if (f.acl_temp_details && user_msg)
3485     {
3486     if (  smtp_return_error_details
3487        && sender_verified_failed
3488        && sender_verified_failed->message
3489        )
3490       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3491
3492     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3493     }
3494   else
3495     smtp_respond(smtp_code, codelen, TRUE,
3496       US"Temporary local problem - please try later");
3497
3498 /* Log the incident to the logs that are specified by log_reject_target
3499 (default main, reject). This can be empty to suppress logging of rejections. If
3500 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3501 is closing if required and return 2.  */
3502
3503 if (log_reject_target != 0)
3504   {
3505 #ifndef DISABLE_TLS
3506   gstring * g = s_tlslog(NULL);
3507   uschar * tls = string_from_gstring(g);
3508   if (!tls) tls = US"";
3509 #else
3510   uschar * tls = US"";
3511 #endif
3512   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3513     log_reject_target, "%s%s%s %s%srejected %s%s",
3514     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3515     host_and_ident(TRUE),
3516     tls,
3517     sender_info,
3518     rc == FAIL ? US"" : US"temporarily ",
3519     what, log_msg);
3520   }
3521
3522 if (!drop) return 0;
3523
3524 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3525   smtp_get_connection_info());
3526
3527 /* Run the not-quit ACL, but without any custom messages. This should not be a
3528 problem, because we get here only if some other ACL has issued "drop", and
3529 in that case, *its* custom messages will have been used above. */
3530
3531 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3532 return 2;
3533 }
3534
3535
3536
3537
3538 /*************************************************
3539 *     Handle SMTP exit when QUIT is not given    *
3540 *************************************************/
3541
3542 /* This function provides a logging/statistics hook for when an SMTP connection
3543 is dropped on the floor or the other end goes away. It's a global function
3544 because it's called from receive.c as well as this module. As well as running
3545 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3546 response, either with a custom message from the ACL, or using a default. There
3547 is one case, however, when no message is output - after "drop". In that case,
3548 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3549 passed to this function.
3550
3551 In case things go wrong while processing this function, causing an error that
3552 may re-enter this function, there is a recursion check.
3553
3554 Arguments:
3555   reason          What $smtp_notquit_reason will be set to in the ACL;
3556                     if NULL, the ACL is not run
3557   code            The error code to return as part of the response
3558   defaultrespond  The default message if there's no user_msg
3559
3560 Returns:          Nothing
3561 */
3562
3563 void
3564 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3565 {
3566 int rc;
3567 uschar *user_msg = NULL;
3568 uschar *log_msg = NULL;
3569
3570 /* Check for recursive call */
3571
3572 if (fl.smtp_exit_function_called)
3573   {
3574   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3575     reason);
3576   return;
3577   }
3578 fl.smtp_exit_function_called = TRUE;
3579
3580 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3581
3582 if (acl_smtp_notquit && reason)
3583   {
3584   smtp_notquit_reason = reason;
3585   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3586                       &log_msg)) == ERROR)
3587     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3588       log_msg);
3589   }
3590
3591 /* If the connection was dropped, we certainly are no longer talking TLS */
3592 tls_in.active.sock = -1;
3593
3594 /* Write an SMTP response if we are expected to give one. As the default
3595 responses are all internal, they should be reasonable size. */
3596
3597 if (code && defaultrespond)
3598   {
3599   if (user_msg)
3600     smtp_respond(code, 3, TRUE, user_msg);
3601   else
3602     {
3603     gstring * g;
3604     va_list ap;
3605
3606     va_start(ap, defaultrespond);
3607     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3608     va_end(ap);
3609     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3610     }
3611   mac_smtp_fflush();
3612   }
3613 }
3614
3615
3616
3617
3618 /*************************************************
3619 *             Verify HELO argument               *
3620 *************************************************/
3621
3622 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3623 matched. It is also called from ACL processing if verify = helo is used and
3624 verification was not previously tried (i.e. helo_try_verify_hosts was not
3625 matched). The result of its processing is to set helo_verified and
3626 helo_verify_failed. These variables should both be FALSE for this function to
3627 be called.
3628
3629 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3630 for IPv6 ::ffff: literals.
3631
3632 Argument:   none
3633 Returns:    TRUE if testing was completed;
3634             FALSE on a temporary failure
3635 */
3636
3637 BOOL
3638 smtp_verify_helo(void)
3639 {
3640 BOOL yield = TRUE;
3641
3642 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3643   sender_helo_name);
3644
3645 if (sender_helo_name == NULL)
3646   {
3647   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3648   }
3649
3650 /* Deal with the case of -bs without an IP address */
3651
3652 else if (sender_host_address == NULL)
3653   {
3654   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3655   f.helo_verified = TRUE;
3656   }
3657
3658 /* Deal with the more common case when there is a sending IP address */
3659
3660 else if (sender_helo_name[0] == '[')
3661   {
3662   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3663     Ustrlen(sender_host_address)) == 0;
3664
3665 #if HAVE_IPV6
3666   if (!f.helo_verified)
3667     {
3668     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3669       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3670         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3671     }
3672 #endif
3673
3674   HDEBUG(D_receive)
3675     { if (f.helo_verified) debug_printf("matched host address\n"); }
3676   }
3677
3678 /* Do a reverse lookup if one hasn't already given a positive or negative
3679 response. If that fails, or the name doesn't match, try checking with a forward
3680 lookup. */
3681
3682 else
3683   {
3684   if (sender_host_name == NULL && !host_lookup_failed)
3685     yield = host_name_lookup() != DEFER;
3686
3687   /* If a host name is known, check it and all its aliases. */
3688
3689   if (sender_host_name)
3690     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3691       {
3692       sender_helo_dnssec = sender_host_dnssec;
3693       HDEBUG(D_receive) debug_printf("matched host name\n");
3694       }
3695     else
3696       {
3697       uschar **aliases = sender_host_aliases;
3698       while (*aliases)
3699         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3700           {
3701           sender_helo_dnssec = sender_host_dnssec;
3702           break;
3703           }
3704
3705       HDEBUG(D_receive) if (f.helo_verified)
3706           debug_printf("matched alias %s\n", *(--aliases));
3707       }
3708
3709   /* Final attempt: try a forward lookup of the helo name */
3710
3711   if (!f.helo_verified)
3712     {
3713     int rc;
3714     host_item h =
3715       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3716     dnssec_domains d =
3717       {.request = US"*", .require = US""};
3718
3719     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3720       sender_helo_name);
3721     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3722                           NULL, NULL, NULL, &d, NULL, NULL);
3723     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3724       for (host_item * hh = &h; hh; hh = hh->next)
3725         if (Ustrcmp(hh->address, sender_host_address) == 0)
3726           {
3727           f.helo_verified = TRUE;
3728           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3729           HDEBUG(D_receive)
3730             debug_printf("IP address for %s matches calling address\n"
3731               "Forward DNS security status: %sverified\n",
3732               sender_helo_name, sender_helo_dnssec ? "" : "un");
3733           break;
3734           }
3735     }
3736   }
3737
3738 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3739 return yield;
3740 }
3741
3742
3743
3744
3745 /*************************************************
3746 *        Send user response message              *
3747 *************************************************/
3748
3749 /* This function is passed a default response code and a user message. It calls
3750 smtp_message_code() to check and possibly modify the response code, and then
3751 calls smtp_respond() to transmit the response. I put this into a function
3752 just to avoid a lot of repetition.
3753
3754 Arguments:
3755   code         the response code
3756   user_msg     the user message
3757
3758 Returns:       nothing
3759 */
3760
3761 static void
3762 smtp_user_msg(uschar *code, uschar *user_msg)
3763 {
3764 int len = 3;
3765 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3766 smtp_respond(code, len, TRUE, user_msg);
3767 }
3768
3769
3770
3771 static int
3772 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3773 {
3774 const uschar *set_id = NULL;
3775 int rc;
3776
3777 /* Set up globals for error messages */
3778
3779 authenticator_name = au->name;
3780 driver_srcfile = au->srcfile;
3781 driver_srcline = au->srcline;
3782
3783 /* Run the checking code, passing the remainder of the command line as
3784 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3785 it as the only set numerical variable. The authenticator may set $auth<n>
3786 and also set other numeric variables. The $auth<n> variables are preferred
3787 nowadays; the numerical variables remain for backwards compatibility.
3788
3789 Afterwards, have a go at expanding the set_id string, even if
3790 authentication failed - for bad passwords it can be useful to log the
3791 userid. On success, require set_id to expand and exist, and put it in
3792 authenticated_id. Save this in permanent store, as the working store gets
3793 reset at HELO, RSET, etc. */
3794
3795 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3796 expand_nmax = 0;
3797 expand_nlength[0] = 0;   /* $0 contains nothing */
3798
3799 rc = (au->info->servercode)(au, smtp_cmd_data);
3800 if (au->set_id) set_id = expand_string(au->set_id);
3801 expand_nmax = -1;        /* Reset numeric variables */
3802 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3803 driver_srcfile = authenticator_name = NULL; driver_srcline = 0;
3804
3805 /* The value of authenticated_id is stored in the spool file and printed in
3806 log lines. It must not contain binary zeros or newline characters. In
3807 normal use, it never will, but when playing around or testing, this error
3808 can (did) happen. To guard against this, ensure that the id contains only
3809 printing characters. */
3810
3811 if (set_id) set_id = string_printing(set_id);
3812
3813 /* For the non-OK cases, set up additional logging data if set_id
3814 is not empty. */
3815
3816 if (rc != OK)
3817   set_id = set_id && *set_id
3818     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3819
3820 /* Switch on the result */
3821
3822 switch(rc)
3823   {
3824   case OK:
3825     if (!au->set_id || set_id)    /* Complete success */
3826       {
3827       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3828       sender_host_authenticated = au->name;
3829       sender_host_auth_pubname  = au->public_name;
3830       authentication_failed = FALSE;
3831       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3832
3833       received_protocol =
3834         (sender_host_address ? protocols : protocols_local)
3835           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3836       *s = *ss = US"235 Authentication succeeded";
3837       authenticated_by = au;
3838       break;
3839       }
3840
3841     /* Authentication succeeded, but we failed to expand the set_id string.
3842     Treat this as a temporary error. */
3843
3844     auth_defer_msg = expand_string_message;
3845     /* Fall through */
3846
3847   case DEFER:
3848     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3849     *s = string_sprintf("435 Unable to authenticate at present%s",
3850       auth_defer_user_msg);
3851     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3852       set_id, auth_defer_msg);
3853     break;
3854
3855   case BAD64:
3856     *s = *ss = US"501 Invalid base64 data";
3857     break;
3858
3859   case CANCELLED:
3860     *s = *ss = US"501 Authentication cancelled";
3861     break;
3862
3863   case UNEXPECTED:
3864     *s = *ss = US"553 Initial data not expected";
3865     break;
3866
3867   case FAIL:
3868     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3869     *s = US"535 Incorrect authentication data";
3870     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3871     break;
3872
3873   default:
3874     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3875     *s = US"435 Internal error";
3876     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3877       "check", set_id, rc);
3878     break;
3879   }
3880
3881 return rc;
3882 }
3883
3884
3885
3886
3887
3888 static int
3889 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3890 {
3891 int rd;
3892 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3893   {
3894   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3895     *recipient);
3896   rd = Ustrlen(recipient) + 1;
3897   /* deconst ok as *recipient was not const */
3898   *recipient = US rewrite_address_qualify(*recipient, TRUE);
3899   return rd;
3900   }
3901 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3902   smtp_cmd_data);
3903 log_write(L_smtp_syntax_error,
3904   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3905   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3906 return 0;
3907 }
3908
3909
3910
3911
3912 static void
3913 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3914 {
3915 HAD(SCH_QUIT);
3916 f.smtp_in_quit = TRUE;
3917 incomplete_transaction_log(US"QUIT");
3918 if (  acl_smtp_quit
3919    && acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp)
3920         == ERROR)
3921     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3922       *log_msgp);
3923
3924 #ifdef EXIM_TCP_CORK
3925 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, EXIM_TCP_CORK, US &on, sizeof(on));
3926 #endif
3927
3928 if (*user_msgp)
3929   smtp_respond(US"221", 3, TRUE, *user_msgp);
3930 else
3931   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3932
3933 #ifdef SERVERSIDE_CLOSE_NOWAIT
3934 # ifndef DISABLE_TLS
3935 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3936 # endif
3937
3938 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3939   smtp_get_connection_info());
3940 #else
3941
3942 # ifndef DISABLE_TLS
3943 tls_close(NULL, TLS_SHUTDOWN_WAIT);
3944 # endif
3945
3946 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3947   smtp_get_connection_info());
3948
3949 /* Pause, hoping client will FIN first so that they get the TIME_WAIT.
3950 The socket should become readble (though with no data) */
3951
3952 (void) poll_one_fd(fileno(smtp_in), POLLIN, 200);
3953 #endif  /*!SERVERSIDE_CLOSE_NOWAIT*/
3954 }
3955
3956
3957 static void
3958 smtp_rset_handler(void)
3959 {
3960 HAD(SCH_RSET);
3961 incomplete_transaction_log(US"RSET");
3962 smtp_printf("250 Reset OK\r\n", FALSE);
3963 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3964 }
3965
3966
3967 static int
3968 expand_mailmax(const uschar * s)
3969 {
3970 if (!(s = expand_cstring(s)))
3971   log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand smtp_accept_max_per_connection");
3972 return *s ? Uatoi(s) : 0;
3973 }
3974
3975 /*************************************************
3976 *       Initialize for SMTP incoming message     *
3977 *************************************************/
3978
3979 /* This function conducts the initial dialogue at the start of an incoming SMTP
3980 message, and builds a list of recipients. However, if the incoming message
3981 is part of a batch (-bS option) a separate function is called since it would
3982 be messy having tests splattered about all over this function. This function
3983 therefore handles the case where interaction is occurring. The input and output
3984 files are set up in smtp_in and smtp_out.
3985
3986 The global recipients_list is set to point to a vector of recipient_item
3987 blocks, whose number is given by recipients_count. This is extended by the
3988 receive_add_recipient() function. The global variable sender_address is set to
3989 the sender's address. The yield is +1 if a message has been successfully
3990 started, 0 if a QUIT command was encountered or the connection was refused from
3991 the particular host, or -1 if the connection was lost.
3992
3993 Argument: none
3994
3995 Returns:  > 0 message successfully started (reached DATA)
3996           = 0 QUIT read or end of file reached or call refused
3997           < 0 lost connection
3998 */
3999
4000 int
4001 smtp_setup_msg(void)
4002 {
4003 int done = 0;
4004 BOOL toomany = FALSE;
4005 BOOL discarded = FALSE;
4006 BOOL last_was_rej_mail = FALSE;
4007 BOOL last_was_rcpt = FALSE;
4008 rmark reset_point = store_mark();
4009
4010 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
4011
4012 /* Reset for start of new message. We allow one RSET not to be counted as a
4013 nonmail command, for those MTAs that insist on sending it between every
4014 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
4015 TLS between messages (an Exim client may do this if it has messages queued up
4016 for the host). Note: we do NOT reset AUTH at this point. */
4017
4018 reset_point = smtp_reset(reset_point);
4019 message_ended = END_NOTSTARTED;
4020
4021 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
4022
4023 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
4024 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
4025 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4026 #ifndef DISABLE_TLS
4027 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
4028 #endif
4029
4030 if (lwr_receive_getc != NULL)
4031   {
4032   /* This should have already happened, but if we've gotten confused,
4033   force a reset here. */
4034   DEBUG(D_receive) debug_printf("WARNING: smtp_setup_msg had to restore receive functions to lowers\n");
4035   bdat_pop_receive_functions();
4036   }
4037
4038 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
4039
4040 had_command_sigterm = 0;
4041 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
4042
4043 /* Batched SMTP is handled in a different function. */
4044
4045 if (smtp_batched_input) return smtp_setup_batch_msg();
4046
4047 #ifdef TCP_QUICKACK
4048 if (smtp_in)            /* Avoid pure-ACKs while in cmd pingpong phase */
4049   (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4050           US &off, sizeof(off));
4051 #endif
4052
4053 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
4054 value. The values are 2 larger than the required yield of the function. */
4055
4056 while (done <= 0)
4057   {
4058   const uschar **argv;
4059   uschar *etrn_command;
4060   uschar *etrn_serialize_key;
4061   uschar *errmess;
4062   uschar *log_msg, *smtp_code;
4063   uschar *user_msg = NULL;
4064   uschar *recipient = NULL;
4065   uschar *hello = NULL;
4066   uschar *s, *ss;
4067   BOOL was_rej_mail = FALSE;
4068   BOOL was_rcpt = FALSE;
4069   void (*oldsignal)(int);
4070   pid_t pid;
4071   int start, end, sender_domain, recipient_domain;
4072   int rc;
4073   int c;
4074   uschar *orcpt = NULL;
4075   int dsn_flags;
4076   gstring * g;
4077
4078 #ifdef AUTH_TLS
4079   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
4080   if (  tls_in.active.sock >= 0
4081      && tls_in.peercert
4082      && tls_in.certificate_verified
4083      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
4084      )
4085     {
4086     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
4087
4088     for (auth_instance * au = auths; au; au = au->next)
4089       if (strcmpic(US"tls", au->driver_name) == 0)
4090         {
4091         if (  acl_smtp_auth
4092            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4093                       &user_msg, &log_msg)) != OK
4094            )
4095           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4096         else
4097           {
4098           smtp_cmd_data = NULL;
4099
4100           if (smtp_in_auth(au, &s, &ss) == OK)
4101             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
4102           else
4103             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
4104           }
4105         break;
4106         }
4107     }
4108 #endif
4109
4110   switch(smtp_read_command(
4111 #ifndef DISABLE_PIPE_CONNECT
4112           !fl.pipe_connect_acceptable,
4113 #else
4114           TRUE,
4115 #endif
4116           GETC_BUFFER_UNLIMITED))
4117     {
4118     /* The AUTH command is not permitted to occur inside a transaction, and may
4119     occur successfully only once per connection. Actually, that isn't quite
4120     true. When TLS is started, all previous information about a connection must
4121     be discarded, so a new AUTH is permitted at that time.
4122
4123     AUTH may only be used when it has been advertised. However, it seems that
4124     there are clients that send AUTH when it hasn't been advertised, some of
4125     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4126     So there's a get-out that allows this to happen.
4127
4128     AUTH is initially labelled as a "nonmail command" so that one occurrence
4129     doesn't get counted. We change the label here so that multiple failing
4130     AUTHS will eventually hit the nonmail threshold. */
4131
4132     case AUTH_CMD:
4133       HAD(SCH_AUTH);
4134       authentication_failed = TRUE;
4135       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4136
4137       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4138         {
4139         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4140           US"AUTH command used when not advertised");
4141         break;
4142         }
4143       if (sender_host_authenticated)
4144         {
4145         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4146           US"already authenticated");
4147         break;
4148         }
4149       if (sender_address)
4150         {
4151         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4152           US"not permitted in mail transaction");
4153         break;
4154         }
4155
4156       /* Check the ACL */
4157
4158       if (  acl_smtp_auth
4159          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4160                     &user_msg, &log_msg)) != OK
4161          )
4162         {
4163         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4164         break;
4165         }
4166
4167       /* Find the name of the requested authentication mechanism. */
4168
4169       s = smtp_cmd_data;
4170       for (; (c = *smtp_cmd_data) && !isspace(c); smtp_cmd_data++)
4171         if (!isalnum(c) && c != '-' && c != '_')
4172           {
4173           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4174             US"invalid character in authentication mechanism name");
4175           goto COMMAND_LOOP;
4176           }
4177
4178       /* If not at the end of the line, we must be at white space. Terminate the
4179       name and move the pointer on to any data that may be present. */
4180
4181       if (*smtp_cmd_data)
4182         {
4183         *smtp_cmd_data++ = 0;
4184         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4185         }
4186
4187       /* Search for an authentication mechanism which is configured for use
4188       as a server and which has been advertised (unless, sigh, allow_auth_
4189       unadvertised is set). */
4190
4191         {
4192         auth_instance * au;
4193         for (au = auths; au; au = au->next)
4194           if (strcmpic(s, au->public_name) == 0 && au->server &&
4195               (au->advertised || f.allow_auth_unadvertised))
4196             break;
4197
4198         if (au)
4199           {
4200           c = smtp_in_auth(au, &s, &ss);
4201
4202           smtp_printf("%s\r\n", FALSE, s);
4203           if (c != OK)
4204             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4205               au->name, host_and_ident(FALSE), ss);
4206           }
4207         else
4208           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4209             string_sprintf("%s authentication mechanism not supported", s));
4210         }
4211
4212       break;  /* AUTH_CMD */
4213
4214     /* The HELO/EHLO commands are permitted to appear in the middle of a
4215     session as well as at the beginning. They have the effect of a reset in
4216     addition to their other functions. Their absence at the start cannot be
4217     taken to be an error.
4218
4219     RFC 2821 says:
4220
4221       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4222       or 502 failure replies MUST be returned as appropriate.  The SMTP
4223       server MUST stay in the same state after transmitting these replies
4224       that it was in before the EHLO was received.
4225
4226     Therefore, we do not do the reset until after checking the command for
4227     acceptability. This change was made for Exim release 4.11. Previously
4228     it did the reset first. */
4229
4230     case HELO_CMD:
4231       HAD(SCH_HELO);
4232       hello = US"HELO";
4233       fl.esmtp = FALSE;
4234       goto HELO_EHLO;
4235
4236     case EHLO_CMD:
4237       HAD(SCH_EHLO);
4238       hello = US"EHLO";
4239       fl.esmtp = TRUE;
4240
4241     HELO_EHLO:      /* Common code for HELO and EHLO */
4242       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4243       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4244
4245       /* Reject the HELO if its argument was invalid or non-existent. A
4246       successful check causes the argument to be saved in malloc store. */
4247
4248       if (!check_helo(smtp_cmd_data))
4249         {
4250         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4251
4252         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4253           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4254           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4255                              string_printing(smtp_cmd_argument));
4256
4257         if (++synprot_error_count > smtp_max_synprot_errors)
4258           {
4259           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4260             "syntax or protocol errors (last command was \"%s\", %s)",
4261             host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
4262             string_from_gstring(s_connhad_log(NULL))
4263             );
4264           done = 1;
4265           }
4266
4267         break;
4268         }
4269
4270       /* If sender_host_unknown is true, we have got here via the -bs interface,
4271       not called from inetd. Otherwise, we are running an IP connection and the
4272       host address will be set. If the helo name is the primary name of this
4273       host and we haven't done a reverse lookup, force one now. If helo_verify_required
4274       is set, ensure that the HELO name matches the actual host. If helo_verify
4275       is set, do the same check, but softly. */
4276
4277       if (!f.sender_host_unknown)
4278         {
4279         BOOL old_helo_verified = f.helo_verified;
4280         uschar *p = smtp_cmd_data;
4281
4282         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4283         *p = 0;
4284
4285         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4286         because otherwise the log can be confusing. */
4287
4288         if (  !sender_host_name
4289            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4290                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4291           (void)host_name_lookup();
4292
4293         /* Rebuild the fullhost info to include the HELO name (and the real name
4294         if it was looked up.) */
4295
4296         host_build_sender_fullhost();  /* Rebuild */
4297         set_process_info("handling%s incoming connection from %s",
4298           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4299
4300         /* Verify if configured. This doesn't give much security, but it does
4301         make some people happy to be able to do it. If helo_verify_required is set,
4302         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4303         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4304         now obsolescent, since the verification can now be requested selectively
4305         at ACL time. */
4306
4307         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4308         if (fl.helo_verify_required || fl.helo_verify)
4309           {
4310           BOOL tempfail = !smtp_verify_helo();
4311           if (!f.helo_verified)
4312             {
4313             if (fl.helo_verify_required)
4314               {
4315               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4316                 tempfail? 451 : 550, hello);
4317               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4318                 tempfail? "temporarily " : "",
4319                 hello, sender_helo_name, host_and_ident(FALSE));
4320               f.helo_verified = old_helo_verified;
4321               break;                   /* End of HELO/EHLO processing */
4322               }
4323             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4324               "helo_try_verify_hosts\n", hello);
4325             }
4326           }
4327         }
4328
4329 #ifdef SUPPORT_SPF
4330       /* set up SPF context */
4331       spf_conn_init(sender_helo_name, sender_host_address);
4332 #endif
4333
4334       /* Apply an ACL check if one is defined; afterwards, recheck
4335       synchronization in case the client started sending in a delay. */
4336
4337       if (acl_smtp_helo)
4338         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4339                   &user_msg, &log_msg)) != OK)
4340           {
4341           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4342           sender_helo_name = NULL;
4343           host_build_sender_fullhost();  /* Rebuild */
4344           break;
4345           }
4346 #ifndef DISABLE_PIPE_CONNECT
4347         else if (!fl.pipe_connect_acceptable && !check_sync())
4348 #else
4349         else if (!check_sync())
4350 #endif
4351           goto SYNC_FAILURE;
4352
4353       /* Generate an OK reply. The default string includes the ident if present,
4354       and also the IP address if present. Reflecting back the ident is intended
4355       as a deterrent to mail forgers. For maximum efficiency, and also because
4356       some broken systems expect each response to be in a single packet, arrange
4357       that the entire reply is sent in one write(). */
4358
4359       fl.auth_advertised = FALSE;
4360       f.smtp_in_pipelining_advertised = FALSE;
4361 #ifndef DISABLE_TLS
4362       fl.tls_advertised = FALSE;
4363 #endif
4364       fl.dsn_advertised = FALSE;
4365 #ifdef SUPPORT_I18N
4366       fl.smtputf8_advertised = FALSE;
4367 #endif
4368
4369       /* Expand the per-connection message count limit option */
4370       smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4371
4372       smtp_code = US"250 ";        /* Default response code plus space*/
4373       if (!user_msg)
4374         {
4375         /* sender_host_name below will be tainted, so save on copy when we hit it */
4376         g = string_get_tainted(24, GET_TAINTED);
4377         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4378           smtp_code,
4379           smtp_active_hostname,
4380           sender_ident ? sender_ident : US"",
4381           sender_ident ? US" at " : US"",
4382           sender_host_name ? sender_host_name : sender_helo_name);
4383
4384         if (sender_host_address)
4385           g = string_fmt_append(g, " [%s]", sender_host_address);
4386         }
4387
4388       /* A user-supplied EHLO greeting may not contain more than one line. Note
4389       that the code returned by smtp_message_code() includes the terminating
4390       whitespace character. */
4391
4392       else
4393         {
4394         char *ss;
4395         int codelen = 4;
4396         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4397         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4398         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4399           {
4400           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4401             "newlines: message truncated: %s", string_printing(s));
4402           *ss = 0;
4403           }
4404         g = string_cat(NULL, s);
4405         }
4406
4407       g = string_catn(g, US"\r\n", 2);
4408
4409       /* If we received EHLO, we must create a multiline response which includes
4410       the functions supported. */
4411
4412       if (fl.esmtp)
4413         {
4414         g->s[3] = '-';
4415
4416         /* I'm not entirely happy with this, as an MTA is supposed to check
4417         that it has enough room to accept a message of maximum size before
4418         it sends this. However, there seems little point in not sending it.
4419         The actual size check happens later at MAIL FROM time. By postponing it
4420         till then, VRFY and EXPN can be used after EHLO when space is short. */
4421
4422         if (thismessage_size_limit > 0)
4423           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4424             thismessage_size_limit);
4425         else
4426           {
4427           g = string_catn(g, smtp_code, 3);
4428           g = string_catn(g, US"-SIZE\r\n", 7);
4429           }
4430
4431 #ifdef EXPERIMENTAL_ESMTP_LIMITS
4432         if (  (smtp_mailcmd_max > 0 || recipients_max)
4433            && verify_check_host(&limits_advertise_hosts) == OK)
4434           {
4435           g = string_fmt_append(g, "%.3s-LIMITS", smtp_code);
4436           if (smtp_mailcmd_max > 0)
4437             g = string_fmt_append(g, " MAILMAX=%d", smtp_mailcmd_max);
4438           if (recipients_max)
4439             g = string_fmt_append(g, " RCPTMAX=%d", recipients_max);
4440           g = string_catn(g, US"\r\n", 2);
4441           }
4442 #endif
4443
4444         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4445         clean; if it has an 8-bit character in its hand, it just sends it. It
4446         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4447         However, some users want this option simply in order to stop MUAs
4448         mangling messages that contain top-bit-set characters. It is therefore
4449         provided as an option. */
4450
4451         if (accept_8bitmime)
4452           {
4453           g = string_catn(g, smtp_code, 3);
4454           g = string_catn(g, US"-8BITMIME\r\n", 11);
4455           }
4456
4457         /* Advertise DSN support if configured to do so. */
4458         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4459           {
4460           g = string_catn(g, smtp_code, 3);
4461           g = string_catn(g, US"-DSN\r\n", 6);
4462           fl.dsn_advertised = TRUE;
4463           }
4464
4465         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4466         permitted to issue them; a check is made when any host actually tries. */
4467
4468         if (acl_smtp_etrn)
4469           {
4470           g = string_catn(g, smtp_code, 3);
4471           g = string_catn(g, US"-ETRN\r\n", 7);
4472           }
4473         if (acl_smtp_vrfy)
4474           {
4475           g = string_catn(g, smtp_code, 3);
4476           g = string_catn(g, US"-VRFY\r\n", 7);
4477           }
4478         if (acl_smtp_expn)
4479           {
4480           g = string_catn(g, smtp_code, 3);
4481           g = string_catn(g, US"-EXPN\r\n", 7);
4482           }
4483
4484         /* Exim is quite happy with pipelining, so let the other end know that
4485         it is safe to use it, unless advertising is disabled. */
4486
4487         if (  f.pipelining_enable
4488            && verify_check_host(&pipelining_advertise_hosts) == OK)
4489           {
4490           g = string_catn(g, smtp_code, 3);
4491           g = string_catn(g, US"-PIPELINING\r\n", 13);
4492           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4493           f.smtp_in_pipelining_advertised = TRUE;
4494
4495 #ifndef DISABLE_PIPE_CONNECT
4496           if (fl.pipe_connect_acceptable)
4497             {
4498             f.smtp_in_early_pipe_advertised = TRUE;
4499             g = string_catn(g, smtp_code, 3);
4500             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4501             }
4502 #endif
4503           }
4504
4505
4506         /* If any server authentication mechanisms are configured, advertise
4507         them if the current host is in auth_advertise_hosts. The problem with
4508         advertising always is that some clients then require users to
4509         authenticate (and aren't configurable otherwise) even though it may not
4510         be necessary (e.g. if the host is in host_accept_relay).
4511
4512         RFC 2222 states that SASL mechanism names contain only upper case
4513         letters, so output the names in upper case, though we actually recognize
4514         them in either case in the AUTH command. */
4515
4516         if (  auths
4517 #ifdef AUTH_TLS
4518            && !sender_host_authenticated
4519 #endif
4520            && verify_check_host(&auth_advertise_hosts) == OK
4521            )
4522           {
4523           BOOL first = TRUE;
4524           for (auth_instance * au = auths; au; au = au->next)
4525             {
4526             au->advertised = FALSE;
4527             if (au->server)
4528               {
4529               DEBUG(D_auth+D_expand) debug_printf_indent(
4530                 "Evaluating advertise_condition for %s %s athenticator\n",
4531                 au->name, au->public_name);
4532               if (  !au->advertise_condition
4533                  || expand_check_condition(au->advertise_condition, au->name,
4534                         US"authenticator")
4535                  )
4536                 {
4537                 int saveptr;
4538                 if (first)
4539                   {
4540                   g = string_catn(g, smtp_code, 3);
4541                   g = string_catn(g, US"-AUTH", 5);
4542                   first = FALSE;
4543                   fl.auth_advertised = TRUE;
4544                   }
4545                 saveptr = g->ptr;
4546                 g = string_catn(g, US" ", 1);
4547                 g = string_cat (g, au->public_name);
4548                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4549                 au->advertised = TRUE;
4550                 }
4551               }
4552             }
4553
4554           if (!first) g = string_catn(g, US"\r\n", 2);
4555           }
4556
4557         /* RFC 3030 CHUNKING */
4558
4559         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4560           {
4561           g = string_catn(g, smtp_code, 3);
4562           g = string_catn(g, US"-CHUNKING\r\n", 11);
4563           f.chunking_offered = TRUE;
4564           chunking_state = CHUNKING_OFFERED;
4565           }
4566
4567         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4568         if it has been included in the binary, and the host matches
4569         tls_advertise_hosts. We must *not* advertise if we are already in a
4570         secure connection. */
4571
4572 #ifndef DISABLE_TLS
4573         if (tls_in.active.sock < 0 &&
4574             verify_check_host(&tls_advertise_hosts) != FAIL)
4575           {
4576           g = string_catn(g, smtp_code, 3);
4577           g = string_catn(g, US"-STARTTLS\r\n", 11);
4578           fl.tls_advertised = TRUE;
4579           }
4580 #endif
4581
4582 #ifndef DISABLE_PRDR
4583         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4584         if (prdr_enable)
4585           {
4586           g = string_catn(g, smtp_code, 3);
4587           g = string_catn(g, US"-PRDR\r\n", 7);
4588           }
4589 #endif
4590
4591 #ifdef SUPPORT_I18N
4592         if (  accept_8bitmime
4593            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4594           {
4595           g = string_catn(g, smtp_code, 3);
4596           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4597           fl.smtputf8_advertised = TRUE;
4598           }
4599 #endif
4600
4601         /* Finish off the multiline reply with one that is always available. */
4602
4603         g = string_catn(g, smtp_code, 3);
4604         g = string_catn(g, US" HELP\r\n", 7);
4605         }
4606
4607       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4608       has been seen. */
4609
4610 #ifndef DISABLE_TLS
4611       if (tls_in.active.sock >= 0)
4612         (void)tls_write(NULL, g->s, g->ptr,
4613 # ifndef DISABLE_PIPE_CONNECT
4614                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4615 # else
4616                         FALSE);
4617 # endif
4618       else
4619 #endif
4620         (void) fwrite(g->s, 1, g->ptr, smtp_out);
4621
4622       DEBUG(D_receive) for (const uschar * t, * s = string_from_gstring(g);
4623                             s && (t = Ustrchr(s, '\r'));
4624                             s = t + 2)                          /* \r\n */
4625           debug_printf("%s %.*s\n",
4626                         s == g->s ? "SMTP>>" : "      ",
4627                         (int)(t - s), s);
4628       fl.helo_seen = TRUE;
4629
4630       /* Reset the protocol and the state, abandoning any previous message. */
4631       received_protocol =
4632         (sender_host_address ? protocols : protocols_local)
4633           [ (fl.esmtp
4634             ? pextend + (sender_host_authenticated ? pauthed : 0)
4635             : pnormal)
4636           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4637           ];
4638       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4639       reset_point = smtp_reset(reset_point);
4640       toomany = FALSE;
4641       break;   /* HELO/EHLO */
4642
4643
4644     /* The MAIL command requires an address as an operand. All we do
4645     here is to parse it for syntactic correctness. The form "<>" is
4646     a special case which converts into an empty string. The start/end
4647     pointers in the original are not used further for this address, as
4648     it is the canonical extracted address which is all that is kept. */
4649
4650     case MAIL_CMD:
4651       HAD(SCH_MAIL);
4652       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4653       message_start();
4654       was_rej_mail = TRUE;               /* Reset if accepted */
4655       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4656
4657       if (!fl.helo_seen)
4658         if (  fl.helo_verify_required
4659            || verify_check_host(&hosts_require_helo) == OK)
4660           {
4661           smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4662           log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4663             "HELO/EHLO given", host_and_ident(FALSE));
4664           break;
4665           }
4666         else if (smtp_mailcmd_max < 0)
4667           smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4668
4669       if (sender_address)
4670         {
4671         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4672           US"sender already given");
4673         break;
4674         }
4675
4676       if (!*smtp_cmd_data)
4677         {
4678         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4679           US"MAIL must have an address operand");
4680         break;
4681         }
4682
4683       /* Check to see if the limit for messages per connection would be
4684       exceeded by accepting further messages. */
4685
4686       if (smtp_mailcmd_max > 0 && smtp_mailcmd_count > smtp_mailcmd_max)
4687         {
4688         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4689         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4690           "messages in one connection", host_and_ident(TRUE));
4691         break;
4692         }
4693
4694       /* Reset for start of message - even if this is going to fail, we
4695       obviously need to throw away any previous data. */
4696
4697       cancel_cutthrough_connection(TRUE, US"MAIL received");
4698       reset_point = smtp_reset(reset_point);
4699       toomany = FALSE;
4700       sender_data = recipient_data = NULL;
4701
4702       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4703
4704       if (fl.esmtp) for(;;)
4705         {
4706         uschar *name, *value, *end;
4707         unsigned long int size;
4708         BOOL arg_error = FALSE;
4709
4710         if (!extract_option(&name, &value)) break;
4711
4712         for (mail_args = env_mail_type_list;
4713              mail_args->value != ENV_MAIL_OPT_NULL;
4714              mail_args++
4715             )
4716           if (strcmpic(name, mail_args->name) == 0)
4717             break;
4718         if (mail_args->need_value && strcmpic(value, US"") == 0)
4719           break;
4720
4721         switch(mail_args->value)
4722           {
4723           /* Handle SIZE= by reading the value. We don't do the check till later,
4724           in order to be able to log the sender address on failure. */
4725           case ENV_MAIL_OPT_SIZE:
4726             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4727               {
4728               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4729                 size = INT_MAX;
4730               message_size = (int)size;
4731               }
4732             else
4733               arg_error = TRUE;
4734             break;
4735
4736           /* If this session was initiated with EHLO and accept_8bitmime is set,
4737           Exim will have indicated that it supports the BODY=8BITMIME option. In
4738           fact, it does not support this according to the RFCs, in that it does not
4739           take any special action for forwarding messages containing 8-bit
4740           characters. That is why accept_8bitmime is not the default setting, but
4741           some sites want the action that is provided. We recognize both "8BITMIME"
4742           and "7BIT" as body types, but take no action. */
4743           case ENV_MAIL_OPT_BODY:
4744             if (accept_8bitmime) {
4745               if (strcmpic(value, US"8BITMIME") == 0)
4746                 body_8bitmime = 8;
4747               else if (strcmpic(value, US"7BIT") == 0)
4748                 body_8bitmime = 7;
4749               else
4750                 {
4751                 body_8bitmime = 0;
4752                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4753                   US"invalid data for BODY");
4754                 goto COMMAND_LOOP;
4755                 }
4756               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4757               break;
4758             }
4759             arg_error = TRUE;
4760             break;
4761
4762           /* Handle the two DSN options, but only if configured to do so (which
4763           will have caused "DSN" to be given in the EHLO response). The code itself
4764           is included only if configured in at build time. */
4765
4766           case ENV_MAIL_OPT_RET:
4767             if (fl.dsn_advertised)
4768               {
4769               /* Check if RET has already been set */
4770               if (dsn_ret > 0)
4771                 {
4772                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4773                   US"RET can be specified once only");
4774                 goto COMMAND_LOOP;
4775                 }
4776               dsn_ret = strcmpic(value, US"HDRS") == 0
4777                 ? dsn_ret_hdrs
4778                 : strcmpic(value, US"FULL") == 0
4779                 ? dsn_ret_full
4780                 : 0;
4781               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4782               /* Check for invalid invalid value, and exit with error */
4783               if (dsn_ret == 0)
4784                 {
4785                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4786                   US"Value for RET is invalid");
4787                 goto COMMAND_LOOP;
4788                 }
4789               }
4790             break;
4791           case ENV_MAIL_OPT_ENVID:
4792             if (fl.dsn_advertised)
4793               {
4794               /* Check if the dsn envid has been already set */
4795               if (dsn_envid)
4796                 {
4797                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4798                   US"ENVID can be specified once only");
4799                 goto COMMAND_LOOP;
4800                 }
4801               dsn_envid = string_copy(value);
4802               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4803               }
4804             break;
4805
4806           /* Handle the AUTH extension. If the value given is not "<>" and either
4807           the ACL says "yes" or there is no ACL but the sending host is
4808           authenticated, we set it up as the authenticated sender. However, if the
4809           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4810           the condition is met. The value of AUTH is an xtext, which means that +,
4811           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4812           coding. */
4813           case ENV_MAIL_OPT_AUTH:
4814             if (Ustrcmp(value, "<>") != 0)
4815               {
4816               int rc;
4817               uschar *ignore_msg;
4818
4819               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4820                 {
4821                 /* Put back terminator overrides for error message */
4822                 value[-1] = '=';
4823                 name[-1] = ' ';
4824                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4825                   US"invalid data for AUTH");
4826                 goto COMMAND_LOOP;
4827                 }
4828               if (!acl_smtp_mailauth)
4829                 {
4830                 ignore_msg = US"client not authenticated";
4831                 rc = sender_host_authenticated ? OK : FAIL;
4832                 }
4833               else
4834                 {
4835                 ignore_msg = US"rejected by ACL";
4836                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4837                   &user_msg, &log_msg);
4838                 }
4839
4840               switch (rc)
4841                 {
4842                 case OK:
4843                   if (authenticated_by == NULL ||
4844                       authenticated_by->mail_auth_condition == NULL ||
4845                       expand_check_condition(authenticated_by->mail_auth_condition,
4846                           authenticated_by->name, US"authenticator"))
4847                     break;     /* Accept the AUTH */
4848
4849                   ignore_msg = US"server_mail_auth_condition failed";
4850                   if (authenticated_id != NULL)
4851                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4852                       ignore_msg, authenticated_id);
4853
4854                 /* Fall through */
4855
4856                 case FAIL:
4857                   authenticated_sender = NULL;
4858                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4859                     value, host_and_ident(TRUE), ignore_msg);
4860                   break;
4861
4862                 /* Should only get DEFER or ERROR here. Put back terminator
4863                 overrides for error message */
4864
4865                 default:
4866                   value[-1] = '=';
4867                   name[-1] = ' ';
4868                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4869                     log_msg);
4870                   goto COMMAND_LOOP;
4871                 }
4872               }
4873               break;
4874
4875 #ifndef DISABLE_PRDR
4876           case ENV_MAIL_OPT_PRDR:
4877             if (prdr_enable)
4878               prdr_requested = TRUE;
4879             break;
4880 #endif
4881
4882 #ifdef SUPPORT_I18N
4883           case ENV_MAIL_OPT_UTF8:
4884             if (!fl.smtputf8_advertised)
4885               {
4886               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4887                 US"SMTPUTF8 used when not advertised");
4888               goto COMMAND_LOOP;
4889               }
4890
4891             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4892             message_smtputf8 = allow_utf8_domains = TRUE;
4893             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4894               {
4895               int old_pool = store_pool;
4896               store_pool = POOL_PERM;
4897               received_protocol = string_sprintf("utf8%s", received_protocol);
4898               store_pool = old_pool;
4899               }
4900             break;
4901 #endif
4902
4903           /* No valid option. Stick back the terminator characters and break
4904           the loop.  Do the name-terminator second as extract_option sets
4905           value==name when it found no equal-sign.
4906           An error for a malformed address will occur. */
4907           case ENV_MAIL_OPT_NULL:
4908             value[-1] = '=';
4909             name[-1] = ' ';
4910             arg_error = TRUE;
4911             break;
4912
4913           default:  assert(0);
4914           }
4915         /* Break out of for loop if switch() had bad argument or
4916            when start of the email address is reached */
4917         if (arg_error) break;
4918         }
4919
4920       /* If we have passed the threshold for rate limiting, apply the current
4921       delay, and update it for next time, provided this is a limited host. */
4922
4923       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4924           verify_check_host(&smtp_ratelimit_hosts) == OK)
4925         {
4926         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4927           smtp_delay_mail/1000.0);
4928         millisleep((int)smtp_delay_mail);
4929         smtp_delay_mail *= smtp_rlm_factor;
4930         if (smtp_delay_mail > (double)smtp_rlm_limit)
4931           smtp_delay_mail = (double)smtp_rlm_limit;
4932         }
4933
4934       /* Now extract the address, first applying any SMTP-time rewriting. The
4935       TRUE flag allows "<>" as a sender address. */
4936
4937       raw_sender = rewrite_existflags & rewrite_smtp
4938         /* deconst ok as smtp_cmd_data was not const */
4939         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4940                       global_rewrite_rules)
4941         : smtp_cmd_data;
4942
4943       raw_sender =
4944         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4945           TRUE);
4946
4947       if (!raw_sender)
4948         {
4949         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4950         break;
4951         }
4952
4953       sender_address = raw_sender;
4954
4955       /* If there is a configured size limit for mail, check that this message
4956       doesn't exceed it. The check is postponed to this point so that the sender
4957       can be logged. */
4958
4959       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4960         {
4961         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4962         log_write(L_size_reject,
4963             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4964             "message too big: size%s=%d max=%d",
4965             sender_address,
4966             host_and_ident(TRUE),
4967             (message_size == INT_MAX)? ">" : "",
4968             message_size,
4969             thismessage_size_limit);
4970         sender_address = NULL;
4971         break;
4972         }
4973
4974       /* Check there is enough space on the disk unless configured not to.
4975       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4976       plus the current message - i.e. we accept the message only if it won't
4977       reduce the space below the threshold. Add 5000 to the size to allow for
4978       overheads such as the Received: line and storing of recipients, etc.
4979       By putting the check here, even when SIZE is not given, it allow VRFY
4980       and EXPN etc. to be used when space is short. */
4981
4982       if (!receive_check_fs(
4983            smtp_check_spool_space && message_size >= 0
4984               ? message_size + 5000 : 0))
4985         {
4986         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4987         sender_address = NULL;
4988         break;
4989         }
4990
4991       /* If sender_address is unqualified, reject it, unless this is a locally
4992       generated message, or the sending host or net is permitted to send
4993       unqualified addresses - typically local machines behaving as MUAs -
4994       in which case just qualify the address. The flag is set above at the start
4995       of the SMTP connection. */
4996
4997       if (!sender_domain && *sender_address)
4998         if (f.allow_unqualified_sender)
4999           {
5000           sender_domain = Ustrlen(sender_address) + 1;
5001           /* deconst ok as sender_address was not const */
5002           sender_address = US rewrite_address_qualify(sender_address, FALSE);
5003           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
5004             raw_sender);
5005           }
5006         else
5007           {
5008           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
5009             smtp_cmd_data);
5010           log_write(L_smtp_syntax_error,
5011             LOG_MAIN|LOG_REJECT,
5012             "unqualified sender rejected: <%s> %s%s",
5013             raw_sender,
5014             host_and_ident(TRUE),
5015             host_lookup_msg);
5016           sender_address = NULL;
5017           break;
5018           }
5019
5020       /* Apply an ACL check if one is defined, before responding. Afterwards,
5021       when pipelining is not advertised, do another sync check in case the ACL
5022       delayed and the client started sending in the meantime. */
5023
5024       if (acl_smtp_mail)
5025         {
5026         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
5027         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
5028           goto SYNC_FAILURE;
5029         }
5030       else
5031         rc = OK;
5032
5033       if (rc == OK || rc == DISCARD)
5034         {
5035         BOOL more = pipeline_response();
5036
5037         if (!user_msg)
5038           smtp_printf("%s%s%s", more, US"250 OK",
5039                     #ifndef DISABLE_PRDR
5040                       prdr_requested ? US", PRDR Requested" : US"",
5041                     #else
5042                       US"",
5043                     #endif
5044                       US"\r\n");
5045         else
5046           {
5047         #ifndef DISABLE_PRDR
5048           if (prdr_requested)
5049              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
5050         #endif
5051           smtp_user_msg(US"250", user_msg);
5052           }
5053         smtp_delay_rcpt = smtp_rlr_base;
5054         f.recipients_discarded = (rc == DISCARD);
5055         was_rej_mail = FALSE;
5056         }
5057       else
5058         {
5059         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
5060         sender_address = NULL;
5061         }
5062       break;
5063
5064
5065     /* The RCPT command requires an address as an operand. There may be any
5066     number of RCPT commands, specifying multiple recipients. We build them all
5067     into a data structure. The start/end values given by parse_extract_address
5068     are not used, as we keep only the extracted address. */
5069
5070     case RCPT_CMD:
5071       HAD(SCH_RCPT);
5072       /* We got really to many recipients. A check against configured
5073       limits is done later */
5074       if (rcpt_count < 0 || rcpt_count >= INT_MAX/2)
5075         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Too many recipients: %d", rcpt_count);
5076       rcpt_count++;
5077       was_rcpt = fl.rcpt_in_progress = TRUE;
5078
5079       /* There must be a sender address; if the sender was rejected and
5080       pipelining was advertised, we assume the client was pipelining, and do not
5081       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5082       get the same treatment. */
5083
5084       if (sender_address == NULL)
5085         {
5086         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5087           {
5088           smtp_printf("503 sender not yet given\r\n", FALSE);
5089           was_rej_mail = TRUE;
5090           }
5091         else
5092           {
5093           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5094             US"sender not yet given");
5095           was_rcpt = FALSE;             /* Not a valid RCPT */
5096           }
5097         rcpt_fail_count++;
5098         break;
5099         }
5100
5101       /* Check for an operand */
5102
5103       if (smtp_cmd_data[0] == 0)
5104         {
5105         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5106           US"RCPT must have an address operand");
5107         rcpt_fail_count++;
5108         break;
5109         }
5110
5111       /* Set the DSN flags orcpt and dsn_flags from the session*/
5112       orcpt = NULL;
5113       dsn_flags = 0;
5114
5115       if (fl.esmtp) for(;;)
5116         {
5117         uschar *name, *value;
5118
5119         if (!extract_option(&name, &value))
5120           break;
5121
5122         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5123           {
5124           /* Check whether orcpt has been already set */
5125           if (orcpt)
5126             {
5127             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5128               US"ORCPT can be specified once only");
5129             goto COMMAND_LOOP;
5130             }
5131           orcpt = string_copy(value);
5132           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5133           }
5134
5135         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5136           {
5137           /* Check if the notify flags have been already set */
5138           if (dsn_flags > 0)
5139             {
5140             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5141                 US"NOTIFY can be specified once only");
5142             goto COMMAND_LOOP;
5143             }
5144           if (strcmpic(value, US"NEVER") == 0)
5145             dsn_flags |= rf_notify_never;
5146           else
5147             {
5148             uschar *p = value;
5149             while (*p != 0)
5150               {
5151               uschar *pp = p;
5152               while (*pp != 0 && *pp != ',') pp++;
5153               if (*pp == ',') *pp++ = 0;
5154               if (strcmpic(p, US"SUCCESS") == 0)
5155                 {
5156                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5157                 dsn_flags |= rf_notify_success;
5158                 }
5159               else if (strcmpic(p, US"FAILURE") == 0)
5160                 {
5161                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5162                 dsn_flags |= rf_notify_failure;
5163                 }
5164               else if (strcmpic(p, US"DELAY") == 0)
5165                 {
5166                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5167                 dsn_flags |= rf_notify_delay;
5168                 }
5169               else
5170                 {
5171                 /* Catch any strange values */
5172                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5173                   US"Invalid value for NOTIFY parameter");
5174                 goto COMMAND_LOOP;
5175                 }
5176               p = pp;
5177               }
5178               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5179             }
5180           }
5181
5182         /* Unknown option. Stick back the terminator characters and break
5183         the loop. An error for a malformed address will occur. */
5184
5185         else
5186           {
5187           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5188           name[-1] = ' ';
5189           value[-1] = '=';
5190           break;
5191           }
5192         }
5193
5194       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5195       as a recipient address */
5196
5197       recipient = rewrite_existflags & rewrite_smtp
5198         /* deconst ok as smtp_cmd_data was not const */
5199         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5200             global_rewrite_rules)
5201         : smtp_cmd_data;
5202
5203       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5204         &recipient_domain, FALSE)))
5205         {
5206         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5207         rcpt_fail_count++;
5208         break;
5209         }
5210
5211       /* If the recipient address is unqualified, reject it, unless this is a
5212       locally generated message. However, unqualified addresses are permitted
5213       from a configured list of hosts and nets - typically when behaving as
5214       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5215       really. The flag is set at the start of the SMTP connection.
5216
5217       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5218       assumed this meant "reserved local part", but the revision of RFC 821 and
5219       friends now makes it absolutely clear that it means *mailbox*. Consequently
5220       we must always qualify this address, regardless. */
5221
5222       if (!recipient_domain)
5223         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5224                                     US"recipient")))
5225           {
5226           rcpt_fail_count++;
5227           break;
5228           }
5229
5230       /* Check maximum allowed */
5231
5232       if (rcpt_count+1 < 0 || rcpt_count > recipients_max && recipients_max > 0)
5233         {
5234         if (recipients_max_reject)
5235           {
5236           rcpt_fail_count++;
5237           smtp_printf("552 too many recipients\r\n", FALSE);
5238           if (!toomany)
5239             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5240               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5241           }
5242         else
5243           {
5244           rcpt_defer_count++;
5245           smtp_printf("452 too many recipients\r\n", FALSE);
5246           if (!toomany)
5247             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5248               "temporarily rejected: sender=<%s> %s", sender_address,
5249               host_and_ident(TRUE));
5250           }
5251
5252         toomany = TRUE;
5253         break;
5254         }
5255
5256       /* If we have passed the threshold for rate limiting, apply the current
5257       delay, and update it for next time, provided this is a limited host. */
5258
5259       if (rcpt_count > smtp_rlr_threshold &&
5260           verify_check_host(&smtp_ratelimit_hosts) == OK)
5261         {
5262         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5263           smtp_delay_rcpt/1000.0);
5264         millisleep((int)smtp_delay_rcpt);
5265         smtp_delay_rcpt *= smtp_rlr_factor;
5266         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5267           smtp_delay_rcpt = (double)smtp_rlr_limit;
5268         }
5269
5270       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5271       for them. Otherwise, check the access control list for this recipient. As
5272       there may be a delay in this, re-check for a synchronization error
5273       afterwards, unless pipelining was advertised. */
5274
5275       if (f.recipients_discarded)
5276         rc = DISCARD;
5277       else
5278         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5279                       &log_msg)) == OK
5280            && !f.smtp_in_pipelining_advertised && !check_sync())
5281           goto SYNC_FAILURE;
5282
5283       /* The ACL was happy */
5284
5285       if (rc == OK)
5286         {
5287         BOOL more = pipeline_response();
5288
5289         if (user_msg)
5290           smtp_user_msg(US"250", user_msg);
5291         else
5292           smtp_printf("250 Accepted\r\n", more);
5293         receive_add_recipient(recipient, -1);
5294
5295         /* Set the dsn flags in the recipients_list */
5296         recipients_list[recipients_count-1].orcpt = orcpt;
5297         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5298
5299         /* DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5300           recipients_list[recipients_count-1].orcpt,
5301           recipients_list[recipients_count-1].dsn_flags); */
5302         }
5303
5304       /* The recipient was discarded */
5305
5306       else if (rc == DISCARD)
5307         {
5308         if (user_msg)
5309           smtp_user_msg(US"250", user_msg);
5310         else
5311           smtp_printf("250 Accepted\r\n", FALSE);
5312         rcpt_fail_count++;
5313         discarded = TRUE;
5314         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5315           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5316           sender_address_unrewritten ? sender_address_unrewritten : sender_address,
5317           smtp_cmd_argument, f.recipients_discarded ? "MAIL" : "RCPT",
5318           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5319         }
5320
5321       /* Either the ACL failed the address, or it was deferred. */
5322
5323       else
5324         {
5325         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5326         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5327         }
5328       break;
5329
5330
5331     /* The DATA command is legal only if it follows successful MAIL FROM
5332     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5333     not counted as a protocol error if it follows RCPT (which must have been
5334     rejected if there are no recipients.) This function is complete when a
5335     valid DATA command is encountered.
5336
5337     Note concerning the code used: RFC 2821 says this:
5338
5339      -  If there was no MAIL, or no RCPT, command, or all such commands
5340         were rejected, the server MAY return a "command out of sequence"
5341         (503) or "no valid recipients" (554) reply in response to the
5342         DATA command.
5343
5344     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5345     because it is the same whether pipelining is in use or not.
5346
5347     If all the RCPT commands that precede DATA provoked the same error message
5348     (often indicating some kind of system error), it is helpful to include it
5349     with the DATA rejection (an idea suggested by Tony Finch). */
5350
5351     case BDAT_CMD:
5352       {
5353       int n;
5354
5355       HAD(SCH_BDAT);
5356       if (chunking_state != CHUNKING_OFFERED)
5357         {
5358         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5359           US"BDAT command used when CHUNKING not advertised");
5360         break;
5361         }
5362
5363       /* grab size, endmarker */
5364
5365       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5366         {
5367         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5368           US"missing size for BDAT command");
5369         break;
5370         }
5371       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5372         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5373       chunking_data_left = chunking_datasize;
5374       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5375                                     (int)chunking_state, chunking_data_left);
5376
5377       f.bdat_readers_wanted = TRUE; /* FIXME: redundant vs chunking_state? */
5378       f.dot_ends = FALSE;
5379
5380       goto DATA_BDAT;
5381       }
5382
5383     case DATA_CMD:
5384       HAD(SCH_DATA);
5385       f.dot_ends = TRUE;
5386       f.bdat_readers_wanted = FALSE;
5387
5388     DATA_BDAT:          /* Common code for DATA and BDAT */
5389 #ifndef DISABLE_PIPE_CONNECT
5390       fl.pipe_connect_acceptable = FALSE;
5391 #endif
5392       if (!discarded && recipients_count <= 0)
5393         {
5394         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5395           {
5396           uschar *code = US"503";
5397           int len = Ustrlen(rcpt_smtp_response);
5398           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5399             "this error:");
5400           /* Responses from smtp_printf() will have \r\n on the end */
5401           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5402             rcpt_smtp_response[len-2] = 0;
5403           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5404           }
5405         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5406           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5407             smtp_names[smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)]]);
5408         else
5409           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5410             smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)] == SCH_DATA
5411             ? US"valid RCPT command must precede DATA"
5412             : US"valid RCPT command must precede BDAT");
5413
5414         if (chunking_state > CHUNKING_OFFERED)
5415           {
5416           bdat_push_receive_functions();
5417           bdat_flush_data();
5418           }
5419         break;
5420         }
5421
5422       if (toomany && recipients_max_reject)
5423         {
5424         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5425         sender_address_unrewritten = NULL;
5426         smtp_printf("554 Too many recipients\r\n", FALSE);
5427
5428         if (chunking_state > CHUNKING_OFFERED)
5429           {
5430           bdat_push_receive_functions();
5431           bdat_flush_data();
5432           }
5433         break;
5434         }
5435
5436       if (chunking_state > CHUNKING_OFFERED)
5437         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5438       else
5439         {
5440         /* If there is an ACL, re-check the synchronization afterwards, since the
5441         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5442         to get the DATA command sent. */
5443
5444         if (!acl_smtp_predata && cutthrough.cctx.sock < 0)
5445           rc = OK;
5446         else
5447           {
5448           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5449           f.enable_dollar_recipients = TRUE;
5450           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5451             &log_msg);
5452           f.enable_dollar_recipients = FALSE;
5453           if (rc == OK && !check_sync())
5454             goto SYNC_FAILURE;
5455
5456           if (rc != OK)
5457             {   /* Either the ACL failed the address, or it was deferred. */
5458             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5459             break;
5460             }
5461           }
5462
5463         if (user_msg)
5464           smtp_user_msg(US"354", user_msg);
5465         else
5466           smtp_printf(
5467             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5468         }
5469
5470       if (f.bdat_readers_wanted)
5471         bdat_push_receive_functions();
5472
5473 #ifdef TCP_QUICKACK
5474       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5475         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5476                 US &on, sizeof(on));
5477 #endif
5478       done = 3;
5479       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5480
5481       break;
5482
5483
5484     case VRFY_CMD:
5485       {
5486       uschar * address;
5487
5488       HAD(SCH_VRFY);
5489
5490       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5491             &start, &end, &recipient_domain, FALSE)))
5492         {
5493         smtp_printf("501 %s\r\n", FALSE, errmess);
5494         break;
5495         }
5496
5497       if (!recipient_domain)
5498         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5499                                     US"verify")))
5500           break;
5501
5502       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5503                     &user_msg, &log_msg)) != OK)
5504         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5505       else
5506         {
5507         uschar * s = NULL;
5508         address_item * addr = deliver_make_addr(address, FALSE);
5509
5510         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5511                -1, -1, NULL, NULL, NULL))
5512           {
5513           case OK:
5514             s = string_sprintf("250 <%s> is deliverable", address);
5515             break;
5516
5517           case DEFER:
5518             s = (addr->user_message != NULL)?
5519               string_sprintf("451 <%s> %s", address, addr->user_message) :
5520               string_sprintf("451 Cannot resolve <%s> at this time", address);
5521             break;
5522
5523           case FAIL:
5524             s = (addr->user_message != NULL)?
5525               string_sprintf("550 <%s> %s", address, addr->user_message) :
5526               string_sprintf("550 <%s> is not deliverable", address);
5527             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5528               smtp_cmd_argument, host_and_ident(TRUE));
5529             break;
5530           }
5531
5532         smtp_printf("%s\r\n", FALSE, s);
5533         }
5534       break;
5535       }
5536
5537
5538     case EXPN_CMD:
5539       HAD(SCH_EXPN);
5540       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5541       if (rc != OK)
5542         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5543       else
5544         {
5545         BOOL save_log_testing_mode = f.log_testing_mode;
5546         f.address_test_mode = f.log_testing_mode = TRUE;
5547         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5548           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5549           NULL, NULL, NULL);
5550         f.address_test_mode = FALSE;
5551         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5552         }
5553       break;
5554
5555
5556     #ifndef DISABLE_TLS
5557
5558     case STARTTLS_CMD:
5559       HAD(SCH_STARTTLS);
5560       if (!fl.tls_advertised)
5561         {
5562         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5563           US"STARTTLS command used when not advertised");
5564         break;
5565         }
5566
5567       /* Apply an ACL check if one is defined */
5568
5569       if (  acl_smtp_starttls
5570          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5571                     &user_msg, &log_msg)) != OK
5572          )
5573         {
5574         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5575         break;
5576         }
5577
5578       /* RFC 2487 is not clear on when this command may be sent, though it
5579       does state that all information previously obtained from the client
5580       must be discarded if a TLS session is started. It seems reasonable to
5581       do an implied RSET when STARTTLS is received. */
5582
5583       incomplete_transaction_log(US"STARTTLS");
5584       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5585       reset_point = smtp_reset(reset_point);
5586       toomany = FALSE;
5587       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5588
5589       /* There's an attack where more data is read in past the STARTTLS command
5590       before TLS is negotiated, then assumed to be part of the secure session
5591       when used afterwards; we use segregated input buffers, so are not
5592       vulnerable, but we want to note when it happens and, for sheer paranoia,
5593       ensure that the buffer is "wiped".
5594       Pipelining sync checks will normally have protected us too, unless disabled
5595       by configuration. */
5596
5597       if (receive_hasc())
5598         {
5599         DEBUG(D_any)
5600           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5601         if (tls_in.active.sock < 0)
5602           smtp_inend = smtp_inptr = smtp_inbuffer;
5603         /* and if TLS is already active, tls_server_start() should fail */
5604         }
5605
5606       /* There is nothing we value in the input buffer and if TLS is successfully
5607       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5608       fresh content into it.  The buffer contains arbitrary content from an
5609       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5610       It seems safest to just wipe away the content rather than leave it as a
5611       target to jump to. */
5612
5613       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5614
5615       /* Attempt to start up a TLS session, and if successful, discard all
5616       knowledge that was obtained previously. At least, that's what the RFC says,
5617       and that's what happens by default. However, in order to work round YAEB,
5618       there is an option to remember the esmtp state. Sigh.
5619
5620       We must allow for an extra EHLO command and an extra AUTH command after
5621       STARTTLS that don't add to the nonmail command count. */
5622
5623       s = NULL;
5624       if ((rc = tls_server_start(&s)) == OK)
5625         {
5626         if (!tls_remember_esmtp)
5627           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5628         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5629         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5630         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5631         if (sender_helo_name)
5632           {
5633           sender_helo_name = NULL;
5634           host_build_sender_fullhost();  /* Rebuild */
5635           set_process_info("handling incoming TLS connection from %s",
5636             host_and_ident(FALSE));
5637           }
5638         received_protocol =
5639           (sender_host_address ? protocols : protocols_local)
5640             [ (fl.esmtp
5641               ? pextend + (sender_host_authenticated ? pauthed : 0)
5642               : pnormal)
5643             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5644             ];
5645
5646         sender_host_auth_pubname = sender_host_authenticated = NULL;
5647         authenticated_id = NULL;
5648         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5649         DEBUG(D_tls) debug_printf("TLS active\n");
5650         break;     /* Successful STARTTLS */
5651         }
5652       else
5653         (void) smtp_log_tls_fail(s);
5654
5655       /* Some local configuration problem was discovered before actually trying
5656       to do a TLS handshake; give a temporary error. */
5657
5658       if (rc == DEFER)
5659         {
5660         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5661         break;
5662         }
5663
5664       /* Hard failure. Reject everything except QUIT or closed connection. One
5665       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5666       set, but we must still reject all incoming commands.  Another is a handshake
5667       failure - and there may some encrypted data still in the pipe to us, which we
5668       see as garbage commands. */
5669
5670       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5671       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5672         {
5673         case EOF_CMD:
5674           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5675             smtp_get_connection_info());
5676           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5677           done = 2;
5678           break;
5679
5680         /* It is perhaps arguable as to which exit ACL should be called here,
5681         but as it is probably a situation that almost never arises, it
5682         probably doesn't matter. We choose to call the real QUIT ACL, which in
5683         some sense is perhaps "right". */
5684
5685         case QUIT_CMD:
5686           f.smtp_in_quit = TRUE;
5687           user_msg = NULL;
5688           if (  acl_smtp_quit
5689              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5690                                 &log_msg)) == ERROR))
5691               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5692                 log_msg);
5693           if (user_msg)
5694             smtp_respond(US"221", 3, TRUE, user_msg);
5695           else
5696             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5697           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5698             smtp_get_connection_info());
5699           done = 2;
5700           break;
5701
5702         default:
5703           smtp_printf("554 Security failure\r\n", FALSE);
5704           break;
5705         }
5706       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5707       break;
5708     #endif
5709
5710
5711     /* The ACL for QUIT is provided for gathering statistical information or
5712     similar; it does not affect the response code, but it can supply a custom
5713     message. */
5714
5715     case QUIT_CMD:
5716       smtp_quit_handler(&user_msg, &log_msg);
5717       done = 2;
5718       break;
5719
5720
5721     case RSET_CMD:
5722       smtp_rset_handler();
5723       cancel_cutthrough_connection(TRUE, US"RSET received");
5724       reset_point = smtp_reset(reset_point);
5725       toomany = FALSE;
5726       break;
5727
5728
5729     case NOOP_CMD:
5730       HAD(SCH_NOOP);
5731       smtp_printf("250 OK\r\n", FALSE);
5732       break;
5733
5734
5735     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5736     used, a check will be done for permitted hosts. Show STARTTLS only if not
5737     already in a TLS session and if it would be advertised in the EHLO
5738     response. */
5739
5740     case HELP_CMD:
5741       HAD(SCH_HELP);
5742       smtp_printf("214-Commands supported:\r\n", TRUE);
5743         {
5744         uschar buffer[256];
5745         buffer[0] = 0;
5746         Ustrcat(buffer, US" AUTH");
5747         #ifndef DISABLE_TLS
5748         if (tls_in.active.sock < 0 &&
5749             verify_check_host(&tls_advertise_hosts) != FAIL)
5750           Ustrcat(buffer, US" STARTTLS");
5751         #endif
5752         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5753         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5754         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5755         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5756         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5757         smtp_printf("214%s\r\n", FALSE, buffer);
5758         }
5759       break;
5760
5761
5762     case EOF_CMD:
5763       incomplete_transaction_log(US"connection lost");
5764       smtp_notquit_exit(US"connection-lost", US"421",
5765         US"%s lost input connection", smtp_active_hostname);
5766
5767       /* Don't log by default unless in the middle of a message, as some mailers
5768       just drop the call rather than sending QUIT, and it clutters up the logs.
5769       */
5770
5771       if (sender_address || recipients_count > 0)
5772         log_write(L_lost_incoming_connection, LOG_MAIN,
5773           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5774           f.sender_host_unknown ? "EOF" : "disconnection",
5775           f.tcp_in_fastopen_logged
5776           ? US""
5777           : f.tcp_in_fastopen
5778           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5779           : US"",
5780           host_and_ident(FALSE), smtp_read_error,
5781           string_timesince(&smtp_connection_start)
5782           );
5783
5784       else
5785         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5786           smtp_get_connection_info(),
5787           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5788           smtp_read_error,
5789           string_timesince(&smtp_connection_start)
5790           );
5791
5792       done = 1;
5793       break;
5794
5795
5796     case ETRN_CMD:
5797       HAD(SCH_ETRN);
5798       if (sender_address)
5799         {
5800         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5801           US"ETRN is not permitted inside a transaction");
5802         break;
5803         }
5804
5805       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5806         host_and_ident(FALSE));
5807
5808       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5809                   &user_msg, &log_msg)) != OK)
5810         {
5811         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5812         break;
5813         }
5814
5815       /* Compute the serialization key for this command. */
5816
5817       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5818
5819       /* If a command has been specified for running as a result of ETRN, we
5820       permit any argument to ETRN. If not, only the # standard form is permitted,
5821       since that is strictly the only kind of ETRN that can be implemented
5822       according to the RFC. */
5823
5824       if (smtp_etrn_command)
5825         {
5826         uschar *error;
5827         BOOL rc;
5828         etrn_command = smtp_etrn_command;
5829         deliver_domain = smtp_cmd_data;
5830         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5831           FALSE, US"ETRN processing", &error);
5832         deliver_domain = NULL;
5833         if (!rc)
5834           {
5835           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5836             error);
5837           smtp_printf("458 Internal failure\r\n", FALSE);
5838           break;
5839           }
5840         }
5841
5842       /* Else set up to call Exim with the -R option. */
5843
5844       else
5845         {
5846         if (*smtp_cmd_data++ != '#')
5847           {
5848           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5849             US"argument must begin with #");
5850           break;
5851           }
5852         etrn_command = US"exim -R";
5853         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5854           *queue_name ? 4 : 2,
5855           US"-R", smtp_cmd_data,
5856           US"-MCG", queue_name);
5857         }
5858
5859       /* If we are host-testing, don't actually do anything. */
5860
5861       if (host_checking)
5862         {
5863         HDEBUG(D_any)
5864           {
5865           debug_printf("ETRN command is: %s\n", etrn_command);
5866           debug_printf("ETRN command execution skipped\n");
5867           }
5868         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5869           else smtp_user_msg(US"250", user_msg);
5870         break;
5871         }
5872
5873
5874       /* If ETRN queue runs are to be serialized, check the database to
5875       ensure one isn't already running. */
5876
5877       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5878         {
5879         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5880         break;
5881         }
5882
5883       /* Fork a child process and run the command. We don't want to have to
5884       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5885       forking. It should be set that way anyway for external incoming SMTP,
5886       but we save and restore to be tidy. If serialization is required, we
5887       actually run the command in yet another process, so we can wait for it
5888       to complete and then remove the serialization lock. */
5889
5890       oldsignal = signal(SIGCHLD, SIG_IGN);
5891
5892       if ((pid = exim_fork(US"etrn-command")) == 0)
5893         {
5894         smtp_input = FALSE;       /* This process is not associated with the */
5895         (void)fclose(smtp_in);    /* SMTP call any more. */
5896         (void)fclose(smtp_out);
5897
5898         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5899
5900         /* If not serializing, do the exec right away. Otherwise, fork down
5901         into another process. */
5902
5903         if (  !smtp_etrn_serialize
5904            || (pid = exim_fork(US"etrn-serialised-command")) == 0)
5905           {
5906           DEBUG(D_exec) debug_print_argv(argv);
5907           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5908           /* argv[0] should be untainted, from child_exec_exim() */
5909           execv(CS argv[0], (char *const *)argv);
5910           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5911             etrn_command, strerror(errno));
5912           _exit(EXIT_FAILURE);         /* paranoia */
5913           }
5914
5915         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5916         is, we are in the first subprocess, after forking again. All we can do
5917         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5918         complete, before removing the serialization. */
5919
5920         if (pid < 0)
5921           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5922             "failed: %s", strerror(errno));
5923         else
5924           {
5925           int status;
5926           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5927             (int)pid);
5928           (void)wait(&status);
5929           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5930             (int)pid);
5931           }
5932
5933         enq_end(etrn_serialize_key);
5934         exim_underbar_exit(EXIT_SUCCESS);
5935         }
5936
5937       /* Back in the top level SMTP process. Check that we started a subprocess
5938       and restore the signal state. */
5939
5940       if (pid < 0)
5941         {
5942         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5943           strerror(errno));
5944         smtp_printf("458 Unable to fork process\r\n", FALSE);
5945         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5946         }
5947       else
5948         if (!user_msg)
5949           smtp_printf("250 OK\r\n", FALSE);
5950         else
5951           smtp_user_msg(US"250", user_msg);
5952
5953       signal(SIGCHLD, oldsignal);
5954       break;
5955
5956
5957     case BADARG_CMD:
5958       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5959         US"unexpected argument data");
5960       break;
5961
5962
5963     /* This currently happens only for NULLs, but could be extended. */
5964
5965     case BADCHAR_CMD:
5966       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5967         US"NUL character(s) present (shown as '?')");
5968       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5969                   FALSE);
5970       break;
5971
5972
5973     case BADSYN_CMD:
5974     SYNC_FAILURE:
5975       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5976         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5977       c = smtp_inend - smtp_inptr;
5978       if (c > 150) c = 150;     /* limit logged amount */
5979       smtp_inptr[c] = 0;
5980       incomplete_transaction_log(US"sync failure");
5981       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5982         "(next input sent too soon: pipelining was%s advertised): "
5983         "rejected \"%s\" %s next input=\"%s\"",
5984         f.smtp_in_pipelining_advertised ? "" : " not",
5985         smtp_cmd_buffer, host_and_ident(TRUE),
5986         string_printing(smtp_inptr));
5987       smtp_notquit_exit(US"synchronization-error", US"554",
5988         US"SMTP synchronization error");
5989       done = 1;   /* Pretend eof - drops connection */
5990       break;
5991
5992
5993     case TOO_MANY_NONMAIL_CMD:
5994       s = smtp_cmd_buffer;
5995       while (*s != 0 && !isspace(*s)) s++;
5996       incomplete_transaction_log(US"too many non-mail commands");
5997       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5998         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5999         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
6000       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
6001       done = 1;   /* Pretend eof - drops connection */
6002       break;
6003
6004 #ifdef SUPPORT_PROXY
6005     case PROXY_FAIL_IGNORE_CMD:
6006       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
6007       break;
6008 #endif
6009
6010     default:
6011       if (unknown_command_count++ >= smtp_max_unknown_commands)
6012         {
6013         log_write(L_smtp_syntax_error, LOG_MAIN,
6014           "SMTP syntax error in \"%s\" %s %s",
6015           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
6016           US"unrecognized command");
6017         incomplete_transaction_log(US"unrecognized command");
6018         smtp_notquit_exit(US"bad-commands", US"500",
6019           US"Too many unrecognized commands");
6020         done = 2;
6021         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
6022           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
6023           string_printing(smtp_cmd_buffer));
6024         }
6025       else
6026         done = synprot_error(L_smtp_syntax_error, 500, NULL,
6027           US"unrecognized command");
6028       break;
6029     }
6030
6031   /* This label is used by goto's inside loops that want to break out to
6032   the end of the command-processing loop. */
6033
6034   COMMAND_LOOP:
6035   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
6036   last_was_rcpt = was_rcpt;             /* protocol error handling */
6037   continue;
6038   }
6039
6040 return done - 2;  /* Convert yield values */
6041 }
6042
6043
6044
6045 gstring *
6046 authres_smtpauth(gstring * g)
6047 {
6048 if (!sender_host_authenticated)
6049   return g;
6050
6051 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
6052
6053 if (Ustrcmp(sender_host_auth_pubname, "tls") == 0)
6054   g = authenticated_id
6055     ? string_append(g, 2, US") x509.auth=", authenticated_id)
6056     : string_cat(g, US") reason=x509.auth");
6057 else
6058   g = authenticated_id
6059     ? string_append(g, 2, US") smtp.auth=", authenticated_id)
6060     : string_cat(g, US", no id saved)");
6061
6062 if (authenticated_sender)
6063   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
6064 return g;
6065 }
6066
6067
6068
6069 /* vi: aw ai sw=2
6070 */
6071 /* End of smtp_in.c */