pcre2
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions for handling an incoming SMTP call. */
10
11
12 #include "exim.h"
13 #include <assert.h>
14
15
16 /* Initialize for TCP wrappers if so configured. It appears that the macro
17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
18 including that header, and restore its value afterwards. */
19
20 #ifdef USE_TCP_WRAPPERS
21
22   #if HAVE_IPV6
23   #define EXIM_HAVE_IPV6
24   #endif
25   #undef HAVE_IPV6
26   #include <tcpd.h>
27   #undef HAVE_IPV6
28   #ifdef EXIM_HAVE_IPV6
29   #define HAVE_IPV6 TRUE
30   #endif
31
32 int allow_severity = LOG_INFO;
33 int deny_severity  = LOG_NOTICE;
34 uschar *tcp_wrappers_name;
35 #endif
36
37
38 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
39 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
40 commands that accept arguments, and this in particular applies to AUTH, where
41 the data can be quite long.  More recently this value was 2048 in Exim;
42 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
43 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
44 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
45 we need room to handle large base64-encoded AUTHs for GSSAPI.
46 */
47
48 #define SMTP_CMD_BUFFER_SIZE  16384
49
50 /* Size of buffer for reading SMTP incoming packets */
51
52 #define IN_BUFFER_SIZE  8192
53
54 /* Structure for SMTP command list */
55
56 typedef struct {
57   const char *name;
58   int len;
59   short int cmd;
60   short int has_arg;
61   short int is_mail_cmd;
62 } smtp_cmd_list;
63
64 /* Codes for identifying commands. We order them so that those that come first
65 are those for which synchronization is always required. Checking this can help
66 block some spam.  */
67
68 enum {
69   /* These commands are required to be synchronized, i.e. to be the last in a
70   block of commands when pipelining. */
71
72   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
73   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
74   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
75   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
76   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
77
78   /* This is a dummy to identify the non-sync commands when pipelining */
79
80   NON_SYNC_CMD_PIPELINING,
81
82   /* These commands need not be synchronized when pipelining */
83
84   MAIL_CMD, RCPT_CMD, RSET_CMD,
85
86   /* This is a dummy to identify the non-sync commands when not pipelining */
87
88   NON_SYNC_CMD_NON_PIPELINING,
89
90   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
91   processed the message is sent using a series of BDAT commands"
92   implies that BDAT should be synchronized.  However, we see Google, at least,
93   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
94   processing of the RCPT response(s).  We shall do the same, and not require
95   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
96   command-header in the same packet we cannot do the usual "is there any
97   follow-on data after the command line" even for non-pipeline mode.
98   So we'll need an explicit check after reading the expected chunk amount
99   when non-pipe, before sending the ACK. */
100
101   BDAT_CMD,
102
103   /* I have been unable to find a statement about the use of pipelining
104   with AUTH, so to be on the safe side it is here, though I kind of feel
105   it should be up there with the synchronized commands. */
106
107   AUTH_CMD,
108
109   /* I'm not sure about these, but I don't think they matter. */
110
111   QUIT_CMD, HELP_CMD,
112
113 #ifdef SUPPORT_PROXY
114   PROXY_FAIL_IGNORE_CMD,
115 #endif
116
117   /* These are specials that don't correspond to actual commands */
118
119   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
120   TOO_MANY_NONMAIL_CMD };
121
122
123 /* This is a convenience macro for adding the identity of an SMTP command
124 to the circular buffer that holds a list of the last n received. */
125
126 #define HAD(n) \
127     smtp_connection_had[smtp_ch_index++] = n; \
128     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
129
130
131 /*************************************************
132 *                Local static variables          *
133 *************************************************/
134
135 static struct {
136   BOOL auth_advertised                  :1;
137 #ifndef DISABLE_TLS
138   BOOL tls_advertised                   :1;
139 #endif
140   BOOL dsn_advertised                   :1;
141   BOOL esmtp                            :1;
142   BOOL helo_verify_required             :1;
143   BOOL helo_verify                      :1;
144   BOOL helo_seen                        :1;
145   BOOL helo_accept_junk                 :1;
146 #ifndef DISABLE_PIPE_CONNECT
147   BOOL pipe_connect_acceptable          :1;
148 #endif
149   BOOL rcpt_smtp_response_same          :1;
150   BOOL rcpt_in_progress                 :1;
151   BOOL smtp_exit_function_called        :1;
152 #ifdef SUPPORT_I18N
153   BOOL smtputf8_advertised              :1;
154 #endif
155 } fl = {
156   .helo_verify_required = FALSE,
157   .helo_verify = FALSE,
158   .smtp_exit_function_called = FALSE,
159 };
160
161 static auth_instance *authenticated_by;
162 static int  count_nonmail;
163 static int  nonmail_command_count;
164 static int  synprot_error_count;
165 static int  unknown_command_count;
166 static int  sync_cmd_limit;
167 static int  smtp_write_error = 0;
168
169 static uschar *rcpt_smtp_response;
170 static uschar *smtp_data_buffer;
171 static uschar *smtp_cmd_data;
172
173 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
174 final fields of all except AUTH are forced TRUE at the start of a new message
175 setup, to allow one of each between messages that is not counted as a nonmail
176 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
177 allow a new EHLO after starting up TLS.
178
179 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
180 counted. However, the flag is changed when AUTH is received, so that multiple
181 failing AUTHs will eventually hit the limit. After a successful AUTH, another
182 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
183 forced TRUE, to allow for the re-authentication that can happen at that point.
184
185 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
186 count of non-mail commands and possibly provoke an error.
187
188 tls_auth is a pseudo-command, never expected in input.  It is activated
189 on TLS startup and looks for a tls authenticator. */
190
191 static smtp_cmd_list cmd_list[] = {
192   /* name         len                     cmd     has_arg is_mail_cmd */
193
194   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
195   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
196   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
197   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
198 #ifndef DISABLE_TLS
199   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
200   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
201 #endif
202
203 /* If you change anything above here, also fix the definitions below. */
204
205   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
206   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
207   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
208   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
209   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
210   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
211   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
212   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
213   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
214   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
215 };
216
217 static smtp_cmd_list *cmd_list_end =
218   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
219
220 #define CMD_LIST_RSET      0
221 #define CMD_LIST_HELO      1
222 #define CMD_LIST_EHLO      2
223 #define CMD_LIST_AUTH      3
224 #define CMD_LIST_STARTTLS  4
225 #define CMD_LIST_TLS_AUTH  5
226
227 /* This list of names is used for performing the smtp_no_mail logging action.
228 It must be kept in step with the SCH_xxx enumerations. */
229
230 uschar * smtp_names[] =
231   {
232   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
233   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
234   US"STARTTLS", US"VRFY" };
235
236 static uschar *protocols_local[] = {
237   US"local-smtp",        /* HELO */
238   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
239   US"local-esmtp",       /* EHLO */
240   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
241   US"local-esmtpa",      /* EHLO->AUTH */
242   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
243   };
244 static uschar *protocols[] = {
245   US"smtp",              /* HELO */
246   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
247   US"esmtp",             /* EHLO */
248   US"esmtps",            /* EHLO->STARTTLS->EHLO */
249   US"esmtpa",            /* EHLO->AUTH */
250   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
251   };
252
253 #define pnormal  0
254 #define pextend  2
255 #define pcrpted  1  /* added to pextend or pnormal */
256 #define pauthed  2  /* added to pextend */
257
258 /* Sanity check and validate optional args to MAIL FROM: envelope */
259 enum {
260   ENV_MAIL_OPT_NULL,
261   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
262 #ifndef DISABLE_PRDR
263   ENV_MAIL_OPT_PRDR,
264 #endif
265   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
266 #ifdef SUPPORT_I18N
267   ENV_MAIL_OPT_UTF8,
268 #endif
269   };
270 typedef struct {
271   uschar *   name;  /* option requested during MAIL cmd */
272   int       value;  /* enum type */
273   BOOL need_value;  /* TRUE requires value (name=value pair format)
274                        FALSE is a singleton */
275   } env_mail_type_t;
276 static env_mail_type_t env_mail_type_list[] = {
277     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
278     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
279     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
280 #ifndef DISABLE_PRDR
281     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
282 #endif
283     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
284     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
285 #ifdef SUPPORT_I18N
286     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
287 #endif
288     /* keep this the last entry */
289     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
290   };
291
292 /* When reading SMTP from a remote host, we have to use our own versions of the
293 C input-reading functions, in order to be able to flush the SMTP output only
294 when about to read more data from the socket. This is the only way to get
295 optimal performance when the client is using pipelining. Flushing for every
296 command causes a separate packet and reply packet each time; saving all the
297 responses up (when pipelining) combines them into one packet and one response.
298
299 For simplicity, these functions are used for *all* SMTP input, not only when
300 receiving over a socket. However, after setting up a secure socket (SSL), input
301 is read via the OpenSSL library, and another set of functions is used instead
302 (see tls.c).
303
304 These functions are set in the receive_getc etc. variables and called with the
305 same interface as the C functions. However, since there can only ever be
306 one incoming SMTP call, we just use a single buffer and flags. There is no need
307 to implement a complicated private FILE-like structure.*/
308
309 static uschar *smtp_inbuffer;
310 static uschar *smtp_inptr;
311 static uschar *smtp_inend;
312 static int     smtp_had_eof;
313 static int     smtp_had_error;
314
315
316 /* forward declarations */
317 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
318 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
319 static void smtp_quit_handler(uschar **, uschar **);
320 static void smtp_rset_handler(void);
321
322 /*************************************************
323 *          Recheck synchronization               *
324 *************************************************/
325
326 /* Synchronization checks can never be perfect because a packet may be on its
327 way but not arrived when the check is done.  Normally, the checks happen when
328 commands are read: Exim ensures that there is no more input in the input buffer.
329 In normal cases, the response to the command will be fast, and there is no
330 further check.
331
332 However, for some commands an ACL is run, and that can include delays. In those
333 cases, it is useful to do another check on the input just before sending the
334 response. This also applies at the start of a connection. This function does
335 that check by means of the select() function, as long as the facility is not
336 disabled or inappropriate. A failure of select() is ignored.
337
338 When there is unwanted input, we read it so that it appears in the log of the
339 error.
340
341 Arguments: none
342 Returns:   TRUE if all is well; FALSE if there is input pending
343 */
344
345 static BOOL
346 wouldblock_reading(void)
347 {
348 int fd, rc;
349 fd_set fds;
350 struct timeval tzero = {.tv_sec = 0, .tv_usec = 0};
351
352 #ifndef DISABLE_TLS
353 if (tls_in.active.sock >= 0)
354  return !tls_could_read();
355 #endif
356
357 if (smtp_inptr < smtp_inend)
358   return FALSE;
359
360 fd = fileno(smtp_in);
361 FD_ZERO(&fds);
362 FD_SET(fd, &fds);
363 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
364
365 if (rc <= 0) return TRUE;     /* Not ready to read */
366 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
367 if (rc < 0) return TRUE;      /* End of file or error */
368
369 smtp_ungetc(rc);
370 return FALSE;
371 }
372
373 static BOOL
374 check_sync(void)
375 {
376 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
377   return TRUE;
378
379 return wouldblock_reading();
380 }
381
382
383 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
384 a reponse with the one following. */
385
386 static BOOL
387 pipeline_response(void)
388 {
389 if (  !smtp_enforce_sync || !sender_host_address
390    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
391   return FALSE;
392
393 if (wouldblock_reading()) return FALSE;
394 f.smtp_in_pipelining_used = TRUE;
395 return TRUE;
396 }
397
398
399 #ifndef DISABLE_PIPE_CONNECT
400 static BOOL
401 pipeline_connect_sends(void)
402 {
403 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
404   return FALSE;
405
406 if (wouldblock_reading()) return FALSE;
407 f.smtp_in_early_pipe_used = TRUE;
408 return TRUE;
409 }
410 #endif
411
412 /*************************************************
413 *          Log incomplete transactions           *
414 *************************************************/
415
416 /* This function is called after a transaction has been aborted by RSET, QUIT,
417 connection drops or other errors. It logs the envelope information received
418 so far in order to preserve address verification attempts.
419
420 Argument:   string to indicate what aborted the transaction
421 Returns:    nothing
422 */
423
424 static void
425 incomplete_transaction_log(uschar *what)
426 {
427 if (!sender_address                             /* No transaction in progress */
428    || !LOGGING(smtp_incomplete_transaction))
429   return;
430
431 /* Build list of recipients for logging */
432
433 if (recipients_count > 0)
434   {
435   raw_recipients = store_get(recipients_count * sizeof(uschar *), FALSE);
436   for (int i = 0; i < recipients_count; i++)
437     raw_recipients[i] = recipients_list[i].address;
438   raw_recipients_count = recipients_count;
439   }
440
441 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
442   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
443 }
444
445
446
447
448 void
449 smtp_command_timeout_exit(void)
450 {
451 log_write(L_lost_incoming_connection,
452           LOG_MAIN, "SMTP command timeout on%s connection from %s",
453           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
454 if (smtp_batched_input)
455   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
456 smtp_notquit_exit(US"command-timeout", US"421",
457   US"%s: SMTP command timeout - closing connection",
458   smtp_active_hostname);
459 exim_exit(EXIT_FAILURE);
460 }
461
462 void
463 smtp_command_sigterm_exit(void)
464 {
465 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
468 smtp_notquit_exit(US"signal-exit", US"421",
469   US"%s: Service not available - closing connection", smtp_active_hostname);
470 exim_exit(EXIT_FAILURE);
471 }
472
473 void
474 smtp_data_timeout_exit(void)
475 {
476 log_write(L_lost_incoming_connection,
477   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
478   sender_fullhost ? sender_fullhost : US"local process", sender_address);
479 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
480 /* Does not return */
481 }
482
483 void
484 smtp_data_sigint_exit(void)
485 {
486 log_write(0, LOG_MAIN, "%s closed after %s",
487   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
488 receive_bomb_out(US"signal-exit",
489   US"Service not available - SIGTERM or SIGINT received");
490 /* Does not return */
491 }
492
493
494
495 /* Refill the buffer, and notify DKIM verification code.
496 Return false for error or EOF.
497 */
498
499 static BOOL
500 smtp_refill(unsigned lim)
501 {
502 int rc, save_errno;
503 if (!smtp_out) return FALSE;
504 fflush(smtp_out);
505 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
506
507 /* Limit amount read, so non-message data is not fed to DKIM.
508 Take care to not touch the safety NUL at the end of the buffer. */
509
510 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
511 save_errno = errno;
512 if (smtp_receive_timeout > 0) ALARM_CLR(0);
513 if (rc <= 0)
514   {
515   /* Must put the error text in fixed store, because this might be during
516   header reading, where it releases unused store above the header. */
517   if (rc < 0)
518     {
519     if (had_command_timeout)            /* set by signal handler */
520       smtp_command_timeout_exit();      /* does not return */
521     if (had_command_sigterm)
522       smtp_command_sigterm_exit();
523     if (had_data_timeout)
524       smtp_data_timeout_exit();
525     if (had_data_sigint)
526       smtp_data_sigint_exit();
527
528     smtp_had_error = save_errno;
529     smtp_read_error = string_copy_perm(
530       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
531     }
532   else
533     smtp_had_eof = 1;
534   return FALSE;
535   }
536 #ifndef DISABLE_DKIM
537 dkim_exim_verify_feed(smtp_inbuffer, rc);
538 #endif
539 smtp_inend = smtp_inbuffer + rc;
540 smtp_inptr = smtp_inbuffer;
541 return TRUE;
542 }
543
544 /*************************************************
545 *          SMTP version of getc()                *
546 *************************************************/
547
548 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
549 it flushes the output, and refills the buffer, with a timeout. The signal
550 handler is set appropriately by the calling function. This function is not used
551 after a connection has negotiated itself into an TLS/SSL state.
552
553 Arguments:  lim         Maximum amount to read/buffer
554 Returns:    the next character or EOF
555 */
556
557 int
558 smtp_getc(unsigned lim)
559 {
560 if (smtp_inptr >= smtp_inend)
561   if (!smtp_refill(lim))
562     return EOF;
563 return *smtp_inptr++;
564 }
565
566 uschar *
567 smtp_getbuf(unsigned * len)
568 {
569 unsigned size;
570 uschar * buf;
571
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(*len))
574     { *len = 0; return NULL; }
575
576 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
577 buf = smtp_inptr;
578 smtp_inptr += size;
579 *len = size;
580 return buf;
581 }
582
583 void
584 smtp_get_cache(void)
585 {
586 #ifndef DISABLE_DKIM
587 int n = smtp_inend - smtp_inptr;
588 if (chunking_state == CHUNKING_LAST && chunking_data_left < n)
589   n = chunking_data_left;
590 if (n > 0)
591   dkim_exim_verify_feed(smtp_inptr, n);
592 #endif
593 }
594
595
596 /* Forward declarations */
597 static inline void bdat_push_receive_functions(void);
598 static inline void bdat_pop_receive_functions(void);
599
600
601 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
602 previous BDAT chunk and getting new ones when we run out.  Uses the
603 underlying smtp_getc or tls_getc both for that and for getting the
604 (buffered) data byte.  EOD signals (an expected) no further data.
605 ERR signals a protocol error, and EOF a closed input stream.
606
607 Called from read_bdat_smtp() in receive.c for the message body, but also
608 by the headers read loop in receive_msg(); manipulates chunking_state
609 to handle the BDAT command/response.
610 Placed here due to the correlation with the above smtp_getc(), which it wraps,
611 and also by the need to do smtp command/response handling.
612
613 Arguments:  lim         (ignored)
614 Returns:    the next character or ERR, EOD or EOF
615 */
616
617 int
618 bdat_getc(unsigned lim)
619 {
620 uschar * user_msg = NULL;
621 uschar * log_msg;
622
623 for(;;)
624   {
625 #ifndef DISABLE_DKIM
626   unsigned dkim_save;
627 #endif
628
629   if (chunking_data_left > 0)
630     return lwr_receive_getc(chunking_data_left--);
631
632   bdat_pop_receive_functions();
633 #ifndef DISABLE_DKIM
634   dkim_save = dkim_collect_input;
635   dkim_collect_input = 0;
636 #endif
637
638   /* Unless PIPELINING was offered, there should be no next command
639   until after we ack that chunk */
640
641   if (!f.smtp_in_pipelining_advertised && !check_sync())
642     {
643     unsigned n = smtp_inend - smtp_inptr;
644     if (n > 32) n = 32;
645
646     incomplete_transaction_log(US"sync failure");
647     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
648       "(next input sent too soon: pipelining was not advertised): "
649       "rejected \"%s\" %s next input=\"%s\"%s",
650       smtp_cmd_buffer, host_and_ident(TRUE),
651       string_printing(string_copyn(smtp_inptr, n)),
652       smtp_inend - smtp_inptr > n ? "..." : "");
653     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
654       US"SMTP synchronization error");
655     goto repeat_until_rset;
656     }
657
658   /* If not the last, ack the received chunk.  The last response is delayed
659   until after the data ACL decides on it */
660
661   if (chunking_state == CHUNKING_LAST)
662     {
663 #ifndef DISABLE_DKIM
664     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
665 #endif
666     return EOD;
667     }
668
669   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
670   chunking_state = CHUNKING_OFFERED;
671   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
672
673   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
674   QUIT, RSET or NOOP but handling them seems obvious */
675
676 next_cmd:
677   switch(smtp_read_command(TRUE, 1))
678     {
679     default:
680       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
681         US"only BDAT permissible after non-LAST BDAT");
682
683   repeat_until_rset:
684       switch(smtp_read_command(TRUE, 1))
685         {
686         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
687         case EOF_CMD:   return EOF;
688         case RSET_CMD:  smtp_rset_handler(); return ERR;
689         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
690                                           US"only RSET accepted now") > 0)
691                           return EOF;
692                         goto repeat_until_rset;
693         }
694
695     case QUIT_CMD:
696       smtp_quit_handler(&user_msg, &log_msg);
697       /*FALLTHROUGH*/
698     case EOF_CMD:
699       return EOF;
700
701     case RSET_CMD:
702       smtp_rset_handler();
703       return ERR;
704
705     case NOOP_CMD:
706       HAD(SCH_NOOP);
707       smtp_printf("250 OK\r\n", FALSE);
708       goto next_cmd;
709
710     case BDAT_CMD:
711       {
712       int n;
713
714       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
715         {
716         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
717           US"missing size for BDAT command");
718         return ERR;
719         }
720       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
721         ? CHUNKING_LAST : CHUNKING_ACTIVE;
722       chunking_data_left = chunking_datasize;
723       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
724                                     (int)chunking_state, chunking_data_left);
725
726       if (chunking_datasize == 0)
727         if (chunking_state == CHUNKING_LAST)
728           return EOD;
729         else
730           {
731           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
732             US"zero size for BDAT command");
733           goto repeat_until_rset;
734           }
735
736       bdat_push_receive_functions();
737 #ifndef DISABLE_DKIM
738       dkim_collect_input = dkim_save;
739 #endif
740       break;    /* to top of main loop */
741       }
742     }
743   }
744 }
745
746 uschar *
747 bdat_getbuf(unsigned * len)
748 {
749 uschar * buf;
750
751 if (chunking_data_left <= 0)
752   { *len = 0; return NULL; }
753
754 if (*len > chunking_data_left) *len = chunking_data_left;
755 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
756 chunking_data_left -= *len;
757 return buf;
758 }
759
760 void
761 bdat_flush_data(void)
762 {
763 while (chunking_data_left)
764   {
765   unsigned n = chunking_data_left;
766   if (!bdat_getbuf(&n)) break;
767   }
768
769 bdat_pop_receive_functions();
770
771 if (chunking_state != CHUNKING_LAST)
772   {
773   chunking_state = CHUNKING_OFFERED;
774   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
775   }
776 }
777
778
779 static inline void
780 bdat_push_receive_functions(void)
781 {
782 /* push the current receive_* function on the "stack", and
783 replace them by bdat_getc(), which in turn will use the lwr_receive_*
784 functions to do the dirty work. */
785 if (lwr_receive_getc == NULL)
786   {
787   lwr_receive_getc = receive_getc;
788   lwr_receive_getbuf = receive_getbuf;
789   lwr_receive_ungetc = receive_ungetc;
790   }
791 else
792   {
793   DEBUG(D_receive) debug_printf("chunking double-push receive functions\n");
794   }
795
796 receive_getc = bdat_getc;
797 receive_getbuf = bdat_getbuf;
798 receive_ungetc = bdat_ungetc;
799 }
800
801 static inline void
802 bdat_pop_receive_functions(void)
803 {
804 if (lwr_receive_getc == NULL)
805   {
806   DEBUG(D_receive) debug_printf("chunking double-pop receive functions\n");
807   return;
808   }
809 receive_getc = lwr_receive_getc;
810 receive_getbuf = lwr_receive_getbuf;
811 receive_ungetc = lwr_receive_ungetc;
812
813 lwr_receive_getc = NULL;
814 lwr_receive_getbuf = NULL;
815 lwr_receive_ungetc = NULL;
816 }
817
818 /*************************************************
819 *          SMTP version of ungetc()              *
820 *************************************************/
821
822 /* Puts a character back in the input buffer. Only ever
823 called once.
824
825 Arguments:
826   ch           the character
827
828 Returns:       the character
829 */
830
831 int
832 smtp_ungetc(int ch)
833 {
834 if (smtp_inptr <= smtp_inbuffer)
835   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "buffer underflow in smtp_ungetc");
836
837 *--smtp_inptr = ch;
838 return ch;
839 }
840
841
842 int
843 bdat_ungetc(int ch)
844 {
845 chunking_data_left++;
846 bdat_push_receive_functions();  /* we're not done yet, calling push is safe, because it checks the state before pushing anything */
847 return lwr_receive_ungetc(ch);
848 }
849
850
851
852 /*************************************************
853 *          SMTP version of feof()                *
854 *************************************************/
855
856 /* Tests for a previous EOF
857
858 Arguments:     none
859 Returns:       non-zero if the eof flag is set
860 */
861
862 int
863 smtp_feof(void)
864 {
865 return smtp_had_eof;
866 }
867
868
869
870
871 /*************************************************
872 *          SMTP version of ferror()              *
873 *************************************************/
874
875 /* Tests for a previous read error, and returns with errno
876 restored to what it was when the error was detected.
877
878 Arguments:     none
879 Returns:       non-zero if the error flag is set
880 */
881
882 int
883 smtp_ferror(void)
884 {
885 errno = smtp_had_error;
886 return smtp_had_error;
887 }
888
889
890
891 /*************************************************
892 *      Test for characters in the SMTP buffer    *
893 *************************************************/
894
895 /* Used at the end of a message
896
897 Arguments:     none
898 Returns:       TRUE/FALSE
899 */
900
901 BOOL
902 smtp_buffered(void)
903 {
904 return smtp_inptr < smtp_inend;
905 }
906
907
908
909 /*************************************************
910 *     Write formatted string to SMTP channel     *
911 *************************************************/
912
913 /* This is a separate function so that we don't have to repeat everything for
914 TLS support or debugging. It is global so that the daemon and the
915 authentication functions can use it. It does not return any error indication,
916 because major problems such as dropped connections won't show up till an output
917 flush for non-TLS connections. The smtp_fflush() function is available for
918 checking that: for convenience, TLS output errors are remembered here so that
919 they are also picked up later by smtp_fflush().
920
921 This function is exposed to the local_scan API; do not change the signature.
922
923 Arguments:
924   format      format string
925   more        further data expected
926   ...         optional arguments
927
928 Returns:      nothing
929 */
930
931 void
932 smtp_printf(const char *format, BOOL more, ...)
933 {
934 va_list ap;
935
936 va_start(ap, more);
937 smtp_vprintf(format, more, ap);
938 va_end(ap);
939 }
940
941 /* This is split off so that verify.c:respond_printf() can, in effect, call
942 smtp_printf(), bearing in mind that in C a vararg function can't directly
943 call another vararg function, only a function which accepts a va_list.
944
945 This function is exposed to the local_scan API; do not change the signature.
946 */
947 /*XXX consider passing caller-info in, for string_vformat-onward */
948
949 void
950 smtp_vprintf(const char *format, BOOL more, va_list ap)
951 {
952 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
953 BOOL yield;
954
955 /* Use taint-unchecked routines for writing into big_buffer, trusting
956 that we'll never expand it. */
957
958 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
959 string_from_gstring(&gs);
960
961 DEBUG(D_receive)
962   {
963   uschar *msg_copy, *cr, *end;
964   msg_copy = string_copy(gs.s);
965   end = msg_copy + gs.ptr;
966   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
967     memmove(cr, cr + 1, (end--) - cr);
968   debug_printf("SMTP>> %s", msg_copy);
969   }
970
971 if (!yield)
972   {
973   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
974   smtp_closedown(US"Unexpected error");
975   exim_exit(EXIT_FAILURE);
976   }
977
978 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
979 have had the same. Note: this code is also present in smtp_respond(). It would
980 be tidier to have it only in one place, but when it was added, it was easier to
981 do it that way, so as not to have to mess with the code for the RCPT command,
982 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
983
984 if (fl.rcpt_in_progress)
985   {
986   if (rcpt_smtp_response == NULL)
987     rcpt_smtp_response = string_copy(big_buffer);
988   else if (fl.rcpt_smtp_response_same &&
989            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
990     fl.rcpt_smtp_response_same = FALSE;
991   fl.rcpt_in_progress = FALSE;
992   }
993
994 /* Now write the string */
995
996 if (
997 #ifndef DISABLE_TLS
998     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
999 #endif
1000     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
1001    )
1002     smtp_write_error = -1;
1003 }
1004
1005
1006
1007 /*************************************************
1008 *        Flush SMTP out and check for error      *
1009 *************************************************/
1010
1011 /* This function isn't currently used within Exim (it detects errors when it
1012 tries to read the next SMTP input), but is available for use in local_scan().
1013 It flushes the output and checks for errors.
1014
1015 Arguments:  none
1016 Returns:    0 for no error; -1 after an error
1017 */
1018
1019 int
1020 smtp_fflush(void)
1021 {
1022 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
1023
1024 if (
1025 #ifndef DISABLE_TLS
1026     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
1027 #endif
1028     (fflush(smtp_out) != 0)
1029    )
1030     smtp_write_error = -1;
1031
1032 return smtp_write_error;
1033 }
1034
1035
1036
1037 /*************************************************
1038 *          SMTP command read timeout             *
1039 *************************************************/
1040
1041 /* Signal handler for timing out incoming SMTP commands. This attempts to
1042 finish off tidily.
1043
1044 Argument: signal number (SIGALRM)
1045 Returns:  nothing
1046 */
1047
1048 static void
1049 command_timeout_handler(int sig)
1050 {
1051 had_command_timeout = sig;
1052 }
1053
1054
1055
1056 /*************************************************
1057 *               SIGTERM received                 *
1058 *************************************************/
1059
1060 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1061
1062 Argument: signal number (SIGTERM)
1063 Returns:  nothing
1064 */
1065
1066 static void
1067 command_sigterm_handler(int sig)
1068 {
1069 had_command_sigterm = sig;
1070 }
1071
1072
1073
1074
1075 #ifdef SUPPORT_PROXY
1076 /*************************************************
1077 *       Check if host is required proxy host     *
1078 *************************************************/
1079 /* The function determines if inbound host will be a regular smtp host
1080 or if it is configured that it must use Proxy Protocol.  A local
1081 connection cannot.
1082
1083 Arguments: none
1084 Returns:   bool
1085 */
1086
1087 static BOOL
1088 check_proxy_protocol_host()
1089 {
1090 int rc;
1091
1092 if (  sender_host_address
1093    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1094                            sender_host_address, NULL)) == OK)
1095   {
1096   DEBUG(D_receive)
1097     debug_printf("Detected proxy protocol configured host\n");
1098   proxy_session = TRUE;
1099   }
1100 return proxy_session;
1101 }
1102
1103
1104 /*************************************************
1105 *    Read data until newline or end of buffer    *
1106 *************************************************/
1107 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1108 read an entire buffer and assume there will be nothing past a proxy protocol
1109 header.  Our approach normally is to use stdio, but again that relies upon
1110 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1111 reading _nothing_ before client TLS handshake.  So we don't want to use the
1112 usual buffering reads which may read enough to block TLS starting.
1113
1114 So unfortunately we're down to "read one byte at a time, with a syscall each,
1115 and expect a little overhead", for all proxy-opened connections which are v1,
1116 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1117 underlying fd, we can't assume that we can feed them any already-read content.
1118
1119 We need to know where to read to, the max capacity, and we'll read until we
1120 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1121
1122 Return the amount read.
1123 */
1124
1125 static int
1126 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1127 {
1128 uschar *to = base + already;
1129 uschar *cr;
1130 int have = 0;
1131 int ret;
1132 int last = 0;
1133
1134 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1135 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1136
1137 cr = memchr(base, '\r', already);
1138 if (cr != NULL)
1139   {
1140   if ((cr - base) < already - 1)
1141     {
1142     /* \r and presumed \n already within what we have; probably not
1143     actually proxy protocol, but abort cleanly. */
1144     return 0;
1145     }
1146   /* \r is last character read, just need one more. */
1147   last = 1;
1148   }
1149
1150 while (capacity > 0)
1151   {
1152   do { ret = read(fd, to, 1); } while (ret == -1 && errno == EINTR && !had_command_timeout);
1153   if (ret == -1)
1154     return -1;
1155   have++;
1156   if (last)
1157     return have;
1158   if (*to == '\r')
1159     last = 1;
1160   capacity--;
1161   to++;
1162   }
1163
1164 /* reached end without having room for a final newline, abort */
1165 errno = EOVERFLOW;
1166 return -1;
1167 }
1168
1169 /*************************************************
1170 *         Setup host for proxy protocol          *
1171 *************************************************/
1172 /* The function configures the connection based on a header from the
1173 inbound host to use Proxy Protocol. The specification is very exact
1174 so exit with an error if do not find the exact required pieces. This
1175 includes an incorrect number of spaces separating args.
1176
1177 Arguments: none
1178 Returns:   Boolean success
1179 */
1180
1181 static void
1182 setup_proxy_protocol_host()
1183 {
1184 union {
1185   struct {
1186     uschar line[108];
1187   } v1;
1188   struct {
1189     uschar sig[12];
1190     uint8_t ver_cmd;
1191     uint8_t fam;
1192     uint16_t len;
1193     union {
1194       struct { /* TCP/UDP over IPv4, len = 12 */
1195         uint32_t src_addr;
1196         uint32_t dst_addr;
1197         uint16_t src_port;
1198         uint16_t dst_port;
1199       } ip4;
1200       struct { /* TCP/UDP over IPv6, len = 36 */
1201         uint8_t  src_addr[16];
1202         uint8_t  dst_addr[16];
1203         uint16_t src_port;
1204         uint16_t dst_port;
1205       } ip6;
1206       struct { /* AF_UNIX sockets, len = 216 */
1207         uschar   src_addr[108];
1208         uschar   dst_addr[108];
1209       } unx;
1210     } addr;
1211   } v2;
1212 } hdr;
1213
1214 /* Temp variables used in PPv2 address:port parsing */
1215 uint16_t tmpport;
1216 char tmpip[INET_ADDRSTRLEN];
1217 struct sockaddr_in tmpaddr;
1218 char tmpip6[INET6_ADDRSTRLEN];
1219 struct sockaddr_in6 tmpaddr6;
1220
1221 /* We can't read "all data until end" because while SMTP is
1222 server-speaks-first, the TLS handshake is client-speaks-first, so for
1223 TLS-on-connect ports the proxy protocol header will usually be immediately
1224 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1225 reinject data for reading by those.  So instead we first read "enough to be
1226 safely read within the header, and figure out how much more to read".
1227 For v1 we will later read to the end-of-line, for v2 we will read based upon
1228 the stated length.
1229
1230 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1231 data is needed total.  For v1, where the line looks like:
1232 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1233
1234 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1235 We seem to support that.  So, if we read 14 octets then we can tell if we're
1236 v2 or v1.  If we're v1, we can continue reading as normal.
1237
1238 If we're v2, we can't slurp up the entire header.  We need the length in the
1239 15th & 16th octets, then to read everything after that.
1240
1241 So to safely handle v1 and v2, with client-sent-first supported correctly,
1242 we have to do a minimum of 3 read calls, not 1.  Eww.
1243 */
1244
1245 #define PROXY_INITIAL_READ 14
1246 #define PROXY_V2_HEADER_SIZE 16
1247 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1248 # error Code bug in sizes of data to read for proxy usage
1249 #endif
1250
1251 int get_ok = 0;
1252 int size, ret;
1253 int fd = fileno(smtp_in);
1254 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1255 uschar * iptype;  /* To display debug info */
1256 socklen_t vslen = sizeof(struct timeval);
1257 BOOL yield = FALSE;
1258
1259 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1260 ALARM(proxy_protocol_timeout);
1261
1262 do
1263   {
1264   /* The inbound host was declared to be a Proxy Protocol host, so
1265   don't do a PEEK into the data, actually slurp up enough to be
1266   "safe". Can't take it all because TLS-on-connect clients follow
1267   immediately with TLS handshake. */
1268   ret = read(fd, &hdr, PROXY_INITIAL_READ);
1269   }
1270   while (ret == -1 && errno == EINTR && !had_command_timeout);
1271
1272 if (ret == -1)
1273   goto proxyfail;
1274
1275 /* For v2, handle reading the length, and then the rest. */
1276 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1277   {
1278   int retmore;
1279   uint8_t ver;
1280
1281   /* First get the length fields. */
1282   do
1283     {
1284     retmore = read(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ);
1285     } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1286   if (retmore == -1)
1287     goto proxyfail;
1288   ret += retmore;
1289
1290   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1291
1292   /* May 2014: haproxy combined the version and command into one byte to
1293   allow two full bytes for the length field in order to proxy SSL
1294   connections.  SSL Proxy is not supported in this version of Exim, but
1295   must still separate values here. */
1296
1297   if (ver != 0x02)
1298     {
1299     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1300     goto proxyfail;
1301     }
1302
1303   /* The v2 header will always be 16 bytes per the spec. */
1304   size = 16 + ntohs(hdr.v2.len);
1305   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1306       size, (int)sizeof(hdr));
1307
1308   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1309   amount that we need.  Double-check that the size is not unreasonable, then
1310   get the rest. */
1311   if (size > sizeof(hdr))
1312     {
1313     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1314     goto proxyfail;
1315     }
1316
1317   do
1318     {
1319     do
1320       {
1321       retmore = read(fd, (uschar*)&hdr + ret, size-ret);
1322       } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1323     if (retmore == -1)
1324       goto proxyfail;
1325     ret += retmore;
1326     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1327     } while (ret < size);
1328
1329   } /* end scope for getting rest of data for v2 */
1330
1331 /* At this point: if PROXYv2, we've read the exact size required for all data;
1332 if PROXYv1 then we've read "less than required for any valid line" and should
1333 read the rest". */
1334
1335 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1336   {
1337   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1338
1339   switch (cmd)
1340     {
1341     case 0x01: /* PROXY command */
1342       switch (hdr.v2.fam)
1343         {
1344         case 0x11:  /* TCPv4 address type */
1345           iptype = US"IPv4";
1346           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1347           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1348           if (!string_is_ip_address(US tmpip, NULL))
1349             {
1350             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1351             goto proxyfail;
1352             }
1353           proxy_local_address = sender_host_address;
1354           sender_host_address = string_copy(US tmpip);
1355           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1356           proxy_local_port    = sender_host_port;
1357           sender_host_port    = tmpport;
1358           /* Save dest ip/port */
1359           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1360           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1361           if (!string_is_ip_address(US tmpip, NULL))
1362             {
1363             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1364             goto proxyfail;
1365             }
1366           proxy_external_address = string_copy(US tmpip);
1367           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1368           proxy_external_port  = tmpport;
1369           goto done;
1370         case 0x21:  /* TCPv6 address type */
1371           iptype = US"IPv6";
1372           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1373           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1374           if (!string_is_ip_address(US tmpip6, NULL))
1375             {
1376             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1377             goto proxyfail;
1378             }
1379           proxy_local_address = sender_host_address;
1380           sender_host_address = string_copy(US tmpip6);
1381           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1382           proxy_local_port    = sender_host_port;
1383           sender_host_port    = tmpport;
1384           /* Save dest ip/port */
1385           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1386           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1387           if (!string_is_ip_address(US tmpip6, NULL))
1388             {
1389             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1390             goto proxyfail;
1391             }
1392           proxy_external_address = string_copy(US tmpip6);
1393           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1394           proxy_external_port  = tmpport;
1395           goto done;
1396         default:
1397           DEBUG(D_receive)
1398             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1399                          hdr.v2.fam);
1400           goto proxyfail;
1401         }
1402       /* Unsupported protocol, keep local connection address */
1403       break;
1404     case 0x00: /* LOCAL command */
1405       /* Keep local connection address for LOCAL */
1406       iptype = US"local";
1407       break;
1408     default:
1409       DEBUG(D_receive)
1410         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1411       goto proxyfail;
1412     }
1413   }
1414 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1415   {
1416   uschar *p;
1417   uschar *end;
1418   uschar *sp;     /* Utility variables follow */
1419   int     tmp_port;
1420   int     r2;
1421   char   *endc;
1422
1423   /* get the rest of the line */
1424   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1425   if (r2 == -1)
1426     goto proxyfail;
1427   ret += r2;
1428
1429   p = string_copy(hdr.v1.line);
1430   end = memchr(p, '\r', ret - 1);
1431
1432   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1433     {
1434     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1435     goto proxyfail;
1436     }
1437   *end = '\0'; /* Terminate the string */
1438   size = end + 2 - p; /* Skip header + CRLF */
1439   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1440   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1441   /* Step through the string looking for the required fields. Ensure
1442   strict adherence to required formatting, exit for any error. */
1443   p += 5;
1444   if (!isspace(*(p++)))
1445     {
1446     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1447     goto proxyfail;
1448     }
1449   if (!Ustrncmp(p, CCS"TCP4", 4))
1450     iptype = US"IPv4";
1451   else if (!Ustrncmp(p,CCS"TCP6", 4))
1452     iptype = US"IPv6";
1453   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1454     {
1455     iptype = US"Unknown";
1456     goto done;
1457     }
1458   else
1459     {
1460     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1461     goto proxyfail;
1462     }
1463
1464   p += Ustrlen(iptype);
1465   if (!isspace(*(p++)))
1466     {
1467     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1468     goto proxyfail;
1469     }
1470   /* Find the end of the arg */
1471   if ((sp = Ustrchr(p, ' ')) == NULL)
1472     {
1473     DEBUG(D_receive)
1474       debug_printf("Did not find proxied src %s\n", iptype);
1475     goto proxyfail;
1476     }
1477   *sp = '\0';
1478   if(!string_is_ip_address(p, NULL))
1479     {
1480     DEBUG(D_receive)
1481       debug_printf("Proxied src arg is not an %s address\n", iptype);
1482     goto proxyfail;
1483     }
1484   proxy_local_address = sender_host_address;
1485   sender_host_address = p;
1486   p = sp + 1;
1487   if ((sp = Ustrchr(p, ' ')) == NULL)
1488     {
1489     DEBUG(D_receive)
1490       debug_printf("Did not find proxy dest %s\n", iptype);
1491     goto proxyfail;
1492     }
1493   *sp = '\0';
1494   if(!string_is_ip_address(p, NULL))
1495     {
1496     DEBUG(D_receive)
1497       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1498     goto proxyfail;
1499     }
1500   proxy_external_address = p;
1501   p = sp + 1;
1502   if ((sp = Ustrchr(p, ' ')) == NULL)
1503     {
1504     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1505     goto proxyfail;
1506     }
1507   *sp = '\0';
1508   tmp_port = strtol(CCS p, &endc, 10);
1509   if (*endc || tmp_port == 0)
1510     {
1511     DEBUG(D_receive)
1512       debug_printf("Proxied src port '%s' not an integer\n", p);
1513     goto proxyfail;
1514     }
1515   proxy_local_port = sender_host_port;
1516   sender_host_port = tmp_port;
1517   p = sp + 1;
1518   if ((sp = Ustrchr(p, '\0')) == NULL)
1519     {
1520     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1521     goto proxyfail;
1522     }
1523   tmp_port = strtol(CCS p, &endc, 10);
1524   if (*endc || tmp_port == 0)
1525     {
1526     DEBUG(D_receive)
1527       debug_printf("Proxy dest port '%s' not an integer\n", p);
1528     goto proxyfail;
1529     }
1530   proxy_external_port = tmp_port;
1531   /* Already checked for /r /n above. Good V1 header received. */
1532   }
1533 else
1534   {
1535   /* Wrong protocol */
1536   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1537   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1538   goto proxyfail;
1539   }
1540
1541 done:
1542   DEBUG(D_receive)
1543     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1544   yield = proxy_session;
1545
1546 /* Don't flush any potential buffer contents. Any input on proxyfail
1547 should cause a synchronization failure */
1548
1549 proxyfail:
1550   DEBUG(D_receive) if (had_command_timeout)
1551     debug_printf("Timeout while reading proxy header\n");
1552
1553 bad:
1554   if (yield)
1555     {
1556     sender_host_name = NULL;
1557     (void) host_name_lookup();
1558     host_build_sender_fullhost();
1559     }
1560   else
1561     {
1562     f.proxy_session_failed = TRUE;
1563     DEBUG(D_receive)
1564       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1565     }
1566
1567 ALARM(0);
1568 return;
1569 }
1570 #endif
1571
1572 /*************************************************
1573 *           Read one command line                *
1574 *************************************************/
1575
1576 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1577 There are sites that don't do this, and in any case internal SMTP probably
1578 should check only for LF. Consequently, we check here for LF only. The line
1579 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1580 an unknown command. The command is read into the global smtp_cmd_buffer so that
1581 it is available via $smtp_command.
1582
1583 The character reading routine sets up a timeout for each block actually read
1584 from the input (which may contain more than one command). We set up a special
1585 signal handler that closes down the session on a timeout. Control does not
1586 return when it runs.
1587
1588 Arguments:
1589   check_sync    if TRUE, check synchronization rules if global option is TRUE
1590   buffer_lim    maximum to buffer in lower layer
1591
1592 Returns:       a code identifying the command (enumerated above)
1593 */
1594
1595 static int
1596 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1597 {
1598 int c;
1599 int ptr = 0;
1600 BOOL hadnull = FALSE;
1601
1602 had_command_timeout = 0;
1603 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1604
1605 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1606   {
1607   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1608     {
1609     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1610     return OTHER_CMD;
1611     }
1612   if (c == 0)
1613     {
1614     hadnull = TRUE;
1615     c = '?';
1616     }
1617   smtp_cmd_buffer[ptr++] = c;
1618   }
1619
1620 receive_linecount++;    /* For BSMTP errors */
1621 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1622
1623 /* If hit end of file, return pseudo EOF command. Whether we have a
1624 part-line already read doesn't matter, since this is an error state. */
1625
1626 if (c == EOF) return EOF_CMD;
1627
1628 /* Remove any CR and white space at the end of the line, and terminate the
1629 string. */
1630
1631 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1632 smtp_cmd_buffer[ptr] = 0;
1633
1634 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1635
1636 /* NULLs are not allowed in SMTP commands */
1637
1638 if (hadnull) return BADCHAR_CMD;
1639
1640 /* Scan command list and return identity, having set the data pointer
1641 to the start of the actual data characters. Check for SMTP synchronization
1642 if required. */
1643
1644 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1645   {
1646 #ifdef SUPPORT_PROXY
1647   /* Only allow QUIT command if Proxy Protocol parsing failed */
1648   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1649     continue;
1650 #endif
1651   if (  p->len
1652      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1653      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1654         || smtp_cmd_buffer[p->len] == 0
1655         || smtp_cmd_buffer[p->len] == ' '
1656      )  )
1657     {
1658     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1659         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1660         check_sync &&                                  /* Local flag set */
1661         smtp_enforce_sync &&                           /* Global flag set */
1662         sender_host_address != NULL &&                 /* Not local input */
1663         !f.sender_host_notsocket)                        /* Really is a socket */
1664       return BADSYN_CMD;
1665
1666     /* The variables $smtp_command and $smtp_command_argument point into the
1667     unmodified input buffer. A copy of the latter is taken for actual
1668     processing, so that it can be chopped up into separate parts if necessary,
1669     for example, when processing a MAIL command options such as SIZE that can
1670     follow the sender address. */
1671
1672     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1673     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1674     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1675     smtp_cmd_data = smtp_data_buffer;
1676
1677     /* Count non-mail commands from those hosts that are controlled in this
1678     way. The default is all hosts. We don't waste effort checking the list
1679     until we get a non-mail command, but then cache the result to save checking
1680     again. If there's a DEFER while checking the host, assume it's in the list.
1681
1682     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1683     start of each incoming message by fiddling with the value in the table. */
1684
1685     if (!p->is_mail_cmd)
1686       {
1687       if (count_nonmail == TRUE_UNSET) count_nonmail =
1688         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1689       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1690         return TOO_MANY_NONMAIL_CMD;
1691       }
1692
1693     /* If there is data for a command that does not expect it, generate the
1694     error here. */
1695
1696     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1697     }
1698   }
1699
1700 #ifdef SUPPORT_PROXY
1701 /* Only allow QUIT command if Proxy Protocol parsing failed */
1702 if (proxy_session && f.proxy_session_failed)
1703   return PROXY_FAIL_IGNORE_CMD;
1704 #endif
1705
1706 /* Enforce synchronization for unknown commands */
1707
1708 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1709    && check_sync                        /* Local flag set */
1710    && smtp_enforce_sync                 /* Global flag set */
1711    && sender_host_address               /* Not local input */
1712    && !f.sender_host_notsocket)         /* Really is a socket */
1713   return BADSYN_CMD;
1714
1715 return OTHER_CMD;
1716 }
1717
1718
1719
1720 /*************************************************
1721 *          Forced closedown of call              *
1722 *************************************************/
1723
1724 /* This function is called from log.c when Exim is dying because of a serious
1725 disaster, and also from some other places. If an incoming non-batched SMTP
1726 channel is open, it swallows the rest of the incoming message if in the DATA
1727 phase, sends the reply string, and gives an error to all subsequent commands
1728 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1729 smtp_in.
1730
1731 Arguments:
1732   message   SMTP reply string to send, excluding the code
1733
1734 Returns:    nothing
1735 */
1736
1737 void
1738 smtp_closedown(uschar *message)
1739 {
1740 if (!smtp_in || smtp_batched_input) return;
1741 receive_swallow_smtp();
1742 smtp_printf("421 %s\r\n", FALSE, message);
1743
1744 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1745   {
1746   case EOF_CMD:
1747     return;
1748
1749   case QUIT_CMD:
1750     f.smtp_in_quit = TRUE;
1751     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1752     mac_smtp_fflush();
1753     return;
1754
1755   case RSET_CMD:
1756     smtp_printf("250 Reset OK\r\n", FALSE);
1757     break;
1758
1759   default:
1760     smtp_printf("421 %s\r\n", FALSE, message);
1761     break;
1762   }
1763 }
1764
1765
1766
1767
1768 /*************************************************
1769 *        Set up connection info for logging      *
1770 *************************************************/
1771
1772 /* This function is called when logging information about an SMTP connection.
1773 It sets up appropriate source information, depending on the type of connection.
1774 If sender_fullhost is NULL, we are at a very early stage of the connection;
1775 just use the IP address.
1776
1777 Argument:    none
1778 Returns:     a string describing the connection
1779 */
1780
1781 uschar *
1782 smtp_get_connection_info(void)
1783 {
1784 const uschar * hostname = sender_fullhost
1785   ? sender_fullhost : sender_host_address;
1786
1787 if (host_checking)
1788   return string_sprintf("SMTP connection from %s", hostname);
1789
1790 if (f.sender_host_unknown || f.sender_host_notsocket)
1791   return string_sprintf("SMTP connection from %s", sender_ident);
1792
1793 if (f.is_inetd)
1794   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1795
1796 if (LOGGING(incoming_interface) && interface_address)
1797   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1798     interface_address, interface_port);
1799
1800 return string_sprintf("SMTP connection from %s", hostname);
1801 }
1802
1803
1804
1805 #ifndef DISABLE_TLS
1806 /* Append TLS-related information to a log line
1807
1808 Arguments:
1809   g             String under construction: allocated string to extend, or NULL
1810
1811 Returns:        Allocated string or NULL
1812 */
1813 static gstring *
1814 s_tlslog(gstring * g)
1815 {
1816 if (LOGGING(tls_cipher) && tls_in.cipher)
1817   {
1818   g = string_append(g, 2, US" X=", tls_in.cipher);
1819 #ifndef DISABLE_TLS_RESUME
1820   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1821     g = string_catn(g, US"*", 1);
1822 #endif
1823   }
1824 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1825   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1826 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1827   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1828 if (LOGGING(tls_sni) && tls_in.sni)
1829   g = string_append(g, 2, US" SNI=", string_printing2(tls_in.sni, SP_TAB|SP_SPACE));
1830 return g;
1831 }
1832 #endif
1833
1834
1835
1836 static gstring *
1837 s_connhad_log(gstring * g)
1838 {
1839 const uschar * sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE
1840   ? US" C=..." : US" C=";
1841
1842 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1843   if (smtp_connection_had[i] != SCH_NONE)
1844     {
1845     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1846     sep = US",";
1847     }
1848 for (int i = 0; i < smtp_ch_index; i++, sep = US",")
1849   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850 return g;
1851 }
1852
1853
1854 /*************************************************
1855 *      Log lack of MAIL if so configured         *
1856 *************************************************/
1857
1858 /* This function is called when an SMTP session ends. If the log selector
1859 smtp_no_mail is set, write a log line giving some details of what has happened
1860 in the SMTP session.
1861
1862 Arguments:   none
1863 Returns:     nothing
1864 */
1865
1866 void
1867 smtp_log_no_mail(void)
1868 {
1869 uschar * s;
1870 gstring * g = NULL;
1871
1872 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1873   return;
1874
1875 if (sender_host_authenticated)
1876   {
1877   g = string_append(g, 2, US" A=", sender_host_authenticated);
1878   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1879   }
1880
1881 #ifndef DISABLE_TLS
1882 g = s_tlslog(g);
1883 #endif
1884
1885 g = s_connhad_log(g);
1886
1887 if (!(s = string_from_gstring(g))) s = US"";
1888
1889 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1890   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1891   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1892 }
1893
1894
1895 /* Return list of recent smtp commands */
1896
1897 uschar *
1898 smtp_cmd_hist(void)
1899 {
1900 gstring * list = NULL;
1901 uschar * s;
1902
1903 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1904   if (smtp_connection_had[i] != SCH_NONE)
1905     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1906
1907 for (int i = 0; i < smtp_ch_index; i++)
1908   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1909
1910 s = string_from_gstring(list);
1911 return s ? s : US"";
1912 }
1913
1914
1915
1916
1917 /*************************************************
1918 *   Check HELO line and set sender_helo_name     *
1919 *************************************************/
1920
1921 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1922 the domain name of the sending host, or an ip literal in square brackets. The
1923 argument is placed in sender_helo_name, which is in malloc store, because it
1924 must persist over multiple incoming messages. If helo_accept_junk is set, this
1925 host is permitted to send any old junk (needed for some broken hosts).
1926 Otherwise, helo_allow_chars can be used for rogue characters in general
1927 (typically people want to let in underscores).
1928
1929 Argument:
1930   s       the data portion of the line (already past any white space)
1931
1932 Returns:  TRUE or FALSE
1933 */
1934
1935 static BOOL
1936 check_helo(uschar *s)
1937 {
1938 uschar *start = s;
1939 uschar *end = s + Ustrlen(s);
1940 BOOL yield = fl.helo_accept_junk;
1941
1942 /* Discard any previous helo name */
1943
1944 sender_helo_name = NULL;
1945
1946 /* Skip tests if junk is permitted. */
1947
1948 if (!yield)
1949
1950   /* Allow the new standard form for IPv6 address literals, namely,
1951   [IPv6:....], and because someone is bound to use it, allow an equivalent
1952   IPv4 form. Allow plain addresses as well. */
1953
1954   if (*s == '[')
1955     {
1956     if (end[-1] == ']')
1957       {
1958       end[-1] = 0;
1959       if (strncmpic(s, US"[IPv6:", 6) == 0)
1960         yield = (string_is_ip_address(s+6, NULL) == 6);
1961       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1962         yield = (string_is_ip_address(s+6, NULL) == 4);
1963       else
1964         yield = (string_is_ip_address(s+1, NULL) != 0);
1965       end[-1] = ']';
1966       }
1967     }
1968
1969   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1970   that have been configured (usually underscore - sigh). */
1971
1972   else if (*s)
1973     for (yield = TRUE; *s; s++)
1974       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1975           Ustrchr(helo_allow_chars, *s) == NULL)
1976         {
1977         yield = FALSE;
1978         break;
1979         }
1980
1981 /* Save argument if OK */
1982
1983 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
1984 return yield;
1985 }
1986
1987
1988
1989
1990
1991 /*************************************************
1992 *         Extract SMTP command option            *
1993 *************************************************/
1994
1995 /* This function picks the next option setting off the end of smtp_cmd_data. It
1996 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1997 things that can appear there.
1998
1999 Arguments:
2000    name           point this at the name
2001    value          point this at the data string
2002
2003 Returns:          TRUE if found an option
2004 */
2005
2006 static BOOL
2007 extract_option(uschar **name, uschar **value)
2008 {
2009 uschar *n;
2010 uschar *v;
2011 if (Ustrlen(smtp_cmd_data) <= 0) return FALSE;
2012 v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
2013 while (v > smtp_cmd_data && isspace(*v)) v--;
2014 v[1] = 0;
2015
2016 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
2017   {
2018   /* Take care to not stop at a space embedded in a quoted local-part */
2019   if (*v == '"')
2020     {
2021     do v--; while (v > smtp_cmd_data && *v != '"');
2022     if (v <= smtp_cmd_data) return FALSE;
2023     }
2024   v--;
2025   }
2026 if (v <= smtp_cmd_data) return FALSE;
2027
2028 n = v;
2029 if (*v == '=')
2030   {
2031   while (n > smtp_cmd_data && isalpha(n[-1])) n--;
2032   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2033   if (n <= smtp_cmd_data || !isspace(n[-1])) return FALSE;
2034   n[-1] = 0;
2035   }
2036 else
2037   {
2038   n++;
2039   }
2040 *v++ = 0;
2041 *name = n;
2042 *value = v;
2043 return TRUE;
2044 }
2045
2046
2047
2048
2049
2050 /*************************************************
2051 *         Reset for new message                  *
2052 *************************************************/
2053
2054 /* This function is called whenever the SMTP session is reset from
2055 within either of the setup functions; also from the daemon loop.
2056
2057 Argument:   the stacking pool storage reset point
2058 Returns:    nothing
2059 */
2060
2061 void *
2062 smtp_reset(void *reset_point)
2063 {
2064 recipients_list = NULL;
2065 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2066   raw_recipients_count = recipients_count = recipients_list_max = 0;
2067 message_linecount = 0;
2068 message_size = -1;
2069 message_body = message_body_end = NULL;
2070 acl_added_headers = NULL;
2071 acl_removed_headers = NULL;
2072 f.queue_only_policy = FALSE;
2073 rcpt_smtp_response = NULL;
2074 fl.rcpt_smtp_response_same = TRUE;
2075 fl.rcpt_in_progress = FALSE;
2076 f.deliver_freeze = FALSE;                               /* Can be set by ACL */
2077 freeze_tell = freeze_tell_config;                       /* Can be set by ACL */
2078 fake_response = OK;                                     /* Can be set by ACL */
2079 #ifdef WITH_CONTENT_SCAN
2080 f.no_mbox_unspool = FALSE;                              /* Can be set by ACL */
2081 #endif
2082 f.submission_mode = FALSE;                              /* Can be set by ACL */
2083 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2084 f.active_local_from_check = local_from_check;           /* Can be set by ACL */
2085 f.active_local_sender_retain = local_sender_retain;     /* Can be set by ACL */
2086 sending_ip_address = NULL;
2087 return_path = sender_address = NULL;
2088 deliver_localpart_data = deliver_domain_data =
2089 recipient_data = sender_data = NULL;                    /* Can be set by ACL */
2090 recipient_verify_failure = NULL;
2091 deliver_localpart_parent = deliver_localpart_orig = NULL;
2092 deliver_domain_parent = deliver_domain_orig = NULL;
2093 callout_address = NULL;
2094 submission_name = NULL;                                 /* Can be set by ACL */
2095 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2096 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2097 sender_verified_list = NULL;        /* No senders verified */
2098 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2099 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2100
2101 authenticated_sender = NULL;
2102 #ifdef EXPERIMENTAL_BRIGHTMAIL
2103 bmi_run = 0;
2104 bmi_verdicts = NULL;
2105 #endif
2106 dnslist_domain = dnslist_matched = NULL;
2107 #ifdef SUPPORT_SPF
2108 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2109 spf_result_guessed = FALSE;
2110 #endif
2111 #ifndef DISABLE_DKIM
2112 dkim_cur_signer = dkim_signers =
2113 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2114 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2115 f.dkim_disable_verify = FALSE;
2116 dkim_collect_input = 0;
2117 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2118 dkim_key_length = 0;
2119 #endif
2120 #ifdef SUPPORT_DMARC
2121 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2122 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2123 dmarc_used_domain = NULL;
2124 #endif
2125 #ifdef EXPERIMENTAL_ARC
2126 arc_state = arc_state_reason = NULL;
2127 arc_received_instance = 0;
2128 #endif
2129 dsn_ret = 0;
2130 dsn_envid = NULL;
2131 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2132 #ifndef DISABLE_PRDR
2133 prdr_requested = FALSE;
2134 #endif
2135 #ifdef SUPPORT_I18N
2136 message_smtputf8 = FALSE;
2137 #endif
2138 body_linecount = body_zerocount = 0;
2139
2140 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2141 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2142                    /* Note that ratelimiters_conn persists across resets. */
2143
2144 /* Reset message ACL variables */
2145
2146 acl_var_m = NULL;
2147
2148 /* Warning log messages are saved in malloc store. They are saved to avoid
2149 repetition in the same message, but it seems right to repeat them for different
2150 messages. */
2151
2152 while (acl_warn_logged)
2153   {
2154   string_item *this = acl_warn_logged;
2155   acl_warn_logged = acl_warn_logged->next;
2156   store_free(this);
2157   }
2158
2159 message_tidyup();
2160 store_reset(reset_point);
2161
2162 message_start();
2163 return store_mark();
2164 }
2165
2166
2167
2168
2169
2170 /*************************************************
2171 *  Initialize for incoming batched SMTP message  *
2172 *************************************************/
2173
2174 /* This function is called from smtp_setup_msg() in the case when
2175 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2176 of messages in one file with SMTP commands between them. All errors must be
2177 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2178 relevant. After an error on a sender, or an invalid recipient, the remainder
2179 of the message is skipped. The value of received_protocol is already set.
2180
2181 Argument: none
2182 Returns:  > 0 message successfully started (reached DATA)
2183           = 0 QUIT read or end of file reached
2184           < 0 should not occur
2185 */
2186
2187 static int
2188 smtp_setup_batch_msg(void)
2189 {
2190 int done = 0;
2191 rmark reset_point = store_mark();
2192
2193 /* Save the line count at the start of each transaction - single commands
2194 like HELO and RSET count as whole transactions. */
2195
2196 bsmtp_transaction_linecount = receive_linecount;
2197
2198 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2199
2200 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2201 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2202
2203 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2204 value. The values are 2 larger than the required yield of the function. */
2205
2206 while (done <= 0)
2207   {
2208   uschar *errmess;
2209   uschar *recipient = NULL;
2210   int start, end, sender_domain, recipient_domain;
2211
2212   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2213     {
2214     /* The HELO/EHLO commands set sender_address_helo if they have
2215     valid data; otherwise they are ignored, except that they do
2216     a reset of the state. */
2217
2218     case HELO_CMD:
2219     case EHLO_CMD:
2220
2221       check_helo(smtp_cmd_data);
2222       /* Fall through */
2223
2224     case RSET_CMD:
2225       cancel_cutthrough_connection(TRUE, US"RSET received");
2226       reset_point = smtp_reset(reset_point);
2227       bsmtp_transaction_linecount = receive_linecount;
2228       break;
2229
2230
2231     /* The MAIL FROM command requires an address as an operand. All we
2232     do here is to parse it for syntactic correctness. The form "<>" is
2233     a special case which converts into an empty string. The start/end
2234     pointers in the original are not used further for this address, as
2235     it is the canonical extracted address which is all that is kept. */
2236
2237     case MAIL_CMD:
2238       smtp_mailcmd_count++;              /* Count for no-mail log */
2239       if (sender_address)
2240         /* The function moan_smtp_batch() does not return. */
2241         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2242
2243       if (smtp_cmd_data[0] == 0)
2244         /* The function moan_smtp_batch() does not return. */
2245         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2246
2247       /* Reset to start of message */
2248
2249       cancel_cutthrough_connection(TRUE, US"MAIL received");
2250       reset_point = smtp_reset(reset_point);
2251
2252       /* Apply SMTP rewrite */
2253
2254       raw_sender = rewrite_existflags & rewrite_smtp
2255         /* deconst ok as smtp_cmd_data was not const */
2256         ? US rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL,
2257                       FALSE, US"", global_rewrite_rules)
2258         : smtp_cmd_data;
2259
2260       /* Extract the address; the TRUE flag allows <> as valid */
2261
2262       raw_sender =
2263         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2264           TRUE);
2265
2266       if (!raw_sender)
2267         /* The function moan_smtp_batch() does not return. */
2268         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2269
2270       sender_address = string_copy(raw_sender);
2271
2272       /* Qualify unqualified sender addresses if permitted to do so. */
2273
2274       if (  !sender_domain
2275          && sender_address[0] != 0 && sender_address[0] != '@')
2276         if (f.allow_unqualified_sender)
2277           {
2278           /* deconst ok as sender_address was not const */
2279           sender_address = US rewrite_address_qualify(sender_address, FALSE);
2280           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2281             "and rewritten\n", raw_sender);
2282           }
2283         /* The function moan_smtp_batch() does not return. */
2284         else
2285           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2286             "a domain");
2287       break;
2288
2289
2290     /* The RCPT TO command requires an address as an operand. All we do
2291     here is to parse it for syntactic correctness. There may be any number
2292     of RCPT TO commands, specifying multiple senders. We build them all into
2293     a data structure that is in argc/argv format. The start/end values
2294     given by parse_extract_address are not used, as we keep only the
2295     extracted address. */
2296
2297     case RCPT_CMD:
2298       if (!sender_address)
2299         /* The function moan_smtp_batch() does not return. */
2300         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2301
2302       if (smtp_cmd_data[0] == 0)
2303         /* The function moan_smtp_batch() does not return. */
2304         moan_smtp_batch(smtp_cmd_buffer,
2305           "501 RCPT TO must have an address operand");
2306
2307       /* Check maximum number allowed */
2308
2309       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2310         /* The function moan_smtp_batch() does not return. */
2311         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2312           recipients_max_reject? "552": "452");
2313
2314       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2315       recipient address */
2316
2317       recipient = rewrite_existflags & rewrite_smtp
2318         /* deconst ok as smtp_cmd_data was not const */
2319         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2320                       global_rewrite_rules)
2321         : smtp_cmd_data;
2322
2323       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2324         &recipient_domain, FALSE);
2325
2326       if (!recipient)
2327         /* The function moan_smtp_batch() does not return. */
2328         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2329
2330       /* If the recipient address is unqualified, qualify it if permitted. Then
2331       add it to the list of recipients. */
2332
2333       if (!recipient_domain)
2334         if (f.allow_unqualified_recipient)
2335           {
2336           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2337             recipient);
2338           /* deconst ok as recipient was not const */
2339           recipient = US rewrite_address_qualify(recipient, TRUE);
2340           }
2341         /* The function moan_smtp_batch() does not return. */
2342         else
2343           moan_smtp_batch(smtp_cmd_buffer,
2344             "501 recipient address must contain a domain");
2345
2346       receive_add_recipient(recipient, -1);
2347       break;
2348
2349
2350     /* The DATA command is legal only if it follows successful MAIL FROM
2351     and RCPT TO commands. This function is complete when a valid DATA
2352     command is encountered. */
2353
2354     case DATA_CMD:
2355       if (!sender_address || recipients_count <= 0)
2356         /* The function moan_smtp_batch() does not return. */
2357         if (!sender_address)
2358           moan_smtp_batch(smtp_cmd_buffer,
2359             "503 MAIL FROM:<sender> command must precede DATA");
2360         else
2361           moan_smtp_batch(smtp_cmd_buffer,
2362             "503 RCPT TO:<recipient> must precede DATA");
2363       else
2364         {
2365         done = 3;                      /* DATA successfully achieved */
2366         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2367         }
2368       break;
2369
2370
2371     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2372
2373     case VRFY_CMD:
2374     case EXPN_CMD:
2375     case HELP_CMD:
2376     case NOOP_CMD:
2377     case ETRN_CMD:
2378       bsmtp_transaction_linecount = receive_linecount;
2379       break;
2380
2381
2382     case QUIT_CMD:
2383       f.smtp_in_quit = TRUE;
2384     case EOF_CMD:
2385       done = 2;
2386       break;
2387
2388
2389     case BADARG_CMD:
2390       /* The function moan_smtp_batch() does not return. */
2391       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2392       break;
2393
2394
2395     case BADCHAR_CMD:
2396       /* The function moan_smtp_batch() does not return. */
2397       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2398       break;
2399
2400
2401     default:
2402       /* The function moan_smtp_batch() does not return. */
2403       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2404       break;
2405     }
2406   }
2407
2408 return done - 2;  /* Convert yield values */
2409 }
2410
2411
2412
2413
2414 #ifndef DISABLE_TLS
2415 static BOOL
2416 smtp_log_tls_fail(uschar * errstr)
2417 {
2418 uschar * conn_info = smtp_get_connection_info();
2419
2420 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2421 /* I'd like to get separated H= here, but too hard for now */
2422
2423 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2424 return FALSE;
2425 }
2426 #endif
2427
2428
2429
2430
2431 #ifdef TCP_FASTOPEN
2432 static void
2433 tfo_in_check(void)
2434 {
2435 # ifdef __FreeBSD__
2436 int is_fastopen;
2437 socklen_t len = sizeof(is_fastopen);
2438
2439 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2440 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2441
2442 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2443   {
2444   if (is_fastopen)
2445     {
2446     DEBUG(D_receive)
2447       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2448     f.tcp_in_fastopen = TRUE;
2449     }
2450   }
2451 else DEBUG(D_receive)
2452   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2453
2454 # elif defined(TCP_INFO)
2455 struct tcp_info tinfo;
2456 socklen_t len = sizeof(tinfo);
2457
2458 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2459 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2460   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2461     {
2462     DEBUG(D_receive)
2463       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2464     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2465     }
2466   else
2467 #  endif
2468     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2469     {
2470     DEBUG(D_receive)
2471       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2472     f.tcp_in_fastopen = TRUE;
2473     }
2474 else DEBUG(D_receive)
2475   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2476 # endif
2477 }
2478 #endif
2479
2480
2481 /*************************************************
2482 *          Start an SMTP session                 *
2483 *************************************************/
2484
2485 /* This function is called at the start of an SMTP session. Thereafter,
2486 smtp_setup_msg() is called to initiate each separate message. This
2487 function does host-specific testing, and outputs the banner line.
2488
2489 Arguments:     none
2490 Returns:       FALSE if the session can not continue; something has
2491                gone wrong, or the connection to the host is blocked
2492 */
2493
2494 BOOL
2495 smtp_start_session(void)
2496 {
2497 int esclen;
2498 uschar *user_msg, *log_msg;
2499 uschar *code, *esc;
2500 uschar *p, *s;
2501 gstring * ss;
2502
2503 gettimeofday(&smtp_connection_start, NULL);
2504 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2505   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2506 smtp_ch_index = 0;
2507
2508 /* Default values for certain variables */
2509
2510 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2511 smtp_mailcmd_count = 0;
2512 count_nonmail = TRUE_UNSET;
2513 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2514 smtp_delay_mail = smtp_rlm_base;
2515 fl.auth_advertised = FALSE;
2516 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2517 f.pipelining_enable = TRUE;
2518 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2519 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2520
2521 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2522 authentication settings from -oMaa to remain in force. */
2523
2524 if (!host_checking && !f.sender_host_notsocket)
2525   sender_host_auth_pubname = sender_host_authenticated = NULL;
2526 authenticated_by = NULL;
2527
2528 #ifndef DISABLE_TLS
2529 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2530 tls_in.ourcert = tls_in.peercert = NULL;
2531 tls_in.sni = NULL;
2532 tls_in.ocsp = OCSP_NOT_REQ;
2533 fl.tls_advertised = FALSE;
2534 #endif
2535 fl.dsn_advertised = FALSE;
2536 #ifdef SUPPORT_I18N
2537 fl.smtputf8_advertised = FALSE;
2538 #endif
2539
2540 /* Reset ACL connection variables */
2541
2542 acl_var_c = NULL;
2543
2544 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2545
2546 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, TRUE);
2547
2548 smtp_cmd_buffer[0] = 0;
2549 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2550
2551 /* For batched input, the protocol setting can be overridden from the
2552 command line by a trusted caller. */
2553
2554 if (smtp_batched_input)
2555   {
2556   if (!received_protocol) received_protocol = US"local-bsmtp";
2557   }
2558
2559 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2560 reset later if any of EHLO/AUTH/STARTTLS are received. */
2561
2562 else
2563   received_protocol =
2564     (sender_host_address ? protocols : protocols_local) [pnormal];
2565
2566 /* Set up the buffer for inputting using direct read() calls, and arrange to
2567 call the local functions instead of the standard C ones.  Place a NUL at the
2568 end of the buffer to safety-stop C-string reads from it. */
2569
2570 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2571   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2572 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2573
2574 receive_getc = smtp_getc;
2575 receive_getbuf = smtp_getbuf;
2576 receive_get_cache = smtp_get_cache;
2577 receive_ungetc = smtp_ungetc;
2578 receive_feof = smtp_feof;
2579 receive_ferror = smtp_ferror;
2580 receive_smtp_buffered = smtp_buffered;
2581 lwr_receive_getc = NULL;
2582 lwr_receive_getbuf = NULL;
2583 lwr_receive_ungetc = NULL;
2584 smtp_inptr = smtp_inend = smtp_inbuffer;
2585 smtp_had_eof = smtp_had_error = 0;
2586
2587 /* Set up the message size limit; this may be host-specific */
2588
2589 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2590 if (expand_string_message)
2591   {
2592   if (thismessage_size_limit == -1)
2593     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2594       "%s", expand_string_message);
2595   else
2596     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2597       "%s", expand_string_message);
2598   smtp_closedown(US"Temporary local problem - please try later");
2599   return FALSE;
2600   }
2601
2602 /* When a message is input locally via the -bs or -bS options, sender_host_
2603 unknown is set unless -oMa was used to force an IP address, in which case it
2604 is checked like a real remote connection. When -bs is used from inetd, this
2605 flag is not set, causing the sending host to be checked. The code that deals
2606 with IP source routing (if configured) is never required for -bs or -bS and
2607 the flag sender_host_notsocket is used to suppress it.
2608
2609 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2610 reserve for certain hosts and/or networks. */
2611
2612 if (!f.sender_host_unknown)
2613   {
2614   int rc;
2615   BOOL reserved_host = FALSE;
2616
2617   /* Look up IP options (source routing info) on the socket if this is not an
2618   -oMa "host", and if any are found, log them and drop the connection.
2619
2620   Linux (and others now, see below) is different to everyone else, so there
2621   has to be some conditional compilation here. Versions of Linux before 2.1.15
2622   used a structure whose name was "options". Somebody finally realized that
2623   this name was silly, and it got changed to "ip_options". I use the
2624   newer name here, but there is a fudge in the script that sets up os.h
2625   to define a macro in older Linux systems.
2626
2627   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2628   glibc 2, which has chosen ip_opts for the structure name. This is now
2629   really a glibc thing rather than a Linux thing, so the condition name
2630   has been changed to reflect this. It is relevant also to GNU/Hurd.
2631
2632   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2633   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2634   a special macro defined in the os.h file.
2635
2636   Some DGUX versions on older hardware appear not to support IP options at
2637   all, so there is now a general macro which can be set to cut out this
2638   support altogether.
2639
2640   How to do this properly in IPv6 is not yet known. */
2641
2642 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2643
2644   #ifdef GLIBC_IP_OPTIONS
2645     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2646     #define OPTSTYLE 1
2647     #else
2648     #define OPTSTYLE 2
2649     #endif
2650   #elif defined DARWIN_IP_OPTIONS
2651     #define OPTSTYLE 2
2652   #else
2653     #define OPTSTYLE 3
2654   #endif
2655
2656   if (!host_checking && !f.sender_host_notsocket)
2657     {
2658     #if OPTSTYLE == 1
2659     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2660     struct ip_options *ipopt = store_get(optlen, FALSE);
2661     #elif OPTSTYLE == 2
2662     struct ip_opts ipoptblock;
2663     struct ip_opts *ipopt = &ipoptblock;
2664     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2665     #else
2666     struct ipoption ipoptblock;
2667     struct ipoption *ipopt = &ipoptblock;
2668     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2669     #endif
2670
2671     /* Occasional genuine failures of getsockopt() have been seen - for
2672     example, "reset by peer". Therefore, just log and give up on this
2673     call, unless the error is ENOPROTOOPT. This error is given by systems
2674     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2675     of writing. So for that error, carry on - we just can't do an IP options
2676     check. */
2677
2678     DEBUG(D_receive) debug_printf("checking for IP options\n");
2679
2680     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2681           &optlen) < 0)
2682       {
2683       if (errno != ENOPROTOOPT)
2684         {
2685         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2686           host_and_ident(FALSE), strerror(errno));
2687         smtp_printf("451 SMTP service not available\r\n", FALSE);
2688         return FALSE;
2689         }
2690       }
2691
2692     /* Deal with any IP options that are set. On the systems I have looked at,
2693     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2694     more logging data than will fit in big_buffer. Nevertheless, after somebody
2695     questioned this code, I've added in some paranoid checking. */
2696
2697     else if (optlen > 0)
2698       {
2699       uschar *p = big_buffer;
2700       uschar *pend = big_buffer + big_buffer_size;
2701       uschar *adptr;
2702       int optcount;
2703       struct in_addr addr;
2704
2705       #if OPTSTYLE == 1
2706       uschar *optstart = US (ipopt->__data);
2707       #elif OPTSTYLE == 2
2708       uschar *optstart = US (ipopt->ip_opts);
2709       #else
2710       uschar *optstart = US (ipopt->ipopt_list);
2711       #endif
2712
2713       DEBUG(D_receive) debug_printf("IP options exist\n");
2714
2715       Ustrcpy(p, "IP options on incoming call:");
2716       p += Ustrlen(p);
2717
2718       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2719         switch (*opt)
2720           {
2721           case IPOPT_EOL:
2722           opt = NULL;
2723           break;
2724
2725           case IPOPT_NOP:
2726           opt++;
2727           break;
2728
2729           case IPOPT_SSRR:
2730           case IPOPT_LSRR:
2731           if (!string_format(p, pend-p, " %s [@%s",
2732                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2733                #if OPTSTYLE == 1
2734                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2735                #elif OPTSTYLE == 2
2736                inet_ntoa(ipopt->ip_dst)))
2737                #else
2738                inet_ntoa(ipopt->ipopt_dst)))
2739                #endif
2740             {
2741             opt = NULL;
2742             break;
2743             }
2744
2745           p += Ustrlen(p);
2746           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2747           adptr = opt + 3;
2748           while (optcount-- > 0)
2749             {
2750             memcpy(&addr, adptr, sizeof(addr));
2751             if (!string_format(p, pend - p - 1, "%s%s",
2752                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2753               {
2754               opt = NULL;
2755               break;
2756               }
2757             p += Ustrlen(p);
2758             adptr += sizeof(struct in_addr);
2759             }
2760           *p++ = ']';
2761           opt += opt[1];
2762           break;
2763
2764           default:
2765             {
2766             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2767             Ustrcat(p, "[ ");
2768             p += 2;
2769             for (int i = 0; i < opt[1]; i++)
2770               p += sprintf(CS p, "%2.2x ", opt[i]);
2771             *p++ = ']';
2772             }
2773           opt += opt[1];
2774           break;
2775           }
2776
2777       *p = 0;
2778       log_write(0, LOG_MAIN, "%s", big_buffer);
2779
2780       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2781
2782       log_write(0, LOG_MAIN|LOG_REJECT,
2783         "connection from %s refused (IP options)", host_and_ident(FALSE));
2784
2785       smtp_printf("554 SMTP service not available\r\n", FALSE);
2786       return FALSE;
2787       }
2788
2789     /* Length of options = 0 => there are no options */
2790
2791     else DEBUG(D_receive) debug_printf("no IP options found\n");
2792     }
2793 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2794
2795   /* Set keep-alive in socket options. The option is on by default. This
2796   setting is an attempt to get rid of some hanging connections that stick in
2797   read() when the remote end (usually a dialup) goes away. */
2798
2799   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2800     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2801
2802   /* If the current host matches host_lookup, set the name by doing a
2803   reverse lookup. On failure, sender_host_name will be NULL and
2804   host_lookup_failed will be TRUE. This may or may not be serious - optional
2805   checks later. */
2806
2807   if (verify_check_host(&host_lookup) == OK)
2808     {
2809     (void)host_name_lookup();
2810     host_build_sender_fullhost();
2811     }
2812
2813   /* Delay this until we have the full name, if it is looked up. */
2814
2815   set_process_info("handling incoming connection from %s",
2816     host_and_ident(FALSE));
2817
2818   /* Expand smtp_receive_timeout, if needed */
2819
2820   if (smtp_receive_timeout_s)
2821     {
2822     uschar * exp;
2823     if (  !(exp = expand_string(smtp_receive_timeout_s))
2824        || !(*exp)
2825        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2826        )
2827       log_write(0, LOG_MAIN|LOG_PANIC,
2828         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2829     }
2830
2831   /* Test for explicit connection rejection */
2832
2833   if (verify_check_host(&host_reject_connection) == OK)
2834     {
2835     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2836       "from %s (host_reject_connection)", host_and_ident(FALSE));
2837     smtp_printf("554 SMTP service not available\r\n", FALSE);
2838     return FALSE;
2839     }
2840
2841   /* Test with TCP Wrappers if so configured. There is a problem in that
2842   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2843   such as disks dying. In these cases, it is desirable to reject with a 4xx
2844   error instead of a 5xx error. There isn't a "right" way to detect such
2845   problems. The following kludge is used: errno is zeroed before calling
2846   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2847   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2848   not exist). */
2849
2850 #ifdef USE_TCP_WRAPPERS
2851   errno = 0;
2852   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2853     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2854       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2855         expand_string_message);
2856
2857   if (!hosts_ctl(tcp_wrappers_name,
2858          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2859          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2860          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2861     {
2862     if (errno == 0 || errno == ENOENT)
2863       {
2864       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2865       log_write(L_connection_reject,
2866                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2867                 "(tcp wrappers)", host_and_ident(FALSE));
2868       smtp_printf("554 SMTP service not available\r\n", FALSE);
2869       }
2870     else
2871       {
2872       int save_errno = errno;
2873       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2874         "errno value %d\n", save_errno);
2875       log_write(L_connection_reject,
2876                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2877                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2878       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2879       }
2880     return FALSE;
2881     }
2882 #endif
2883
2884   /* Check for reserved slots. The value of smtp_accept_count has already been
2885   incremented to include this process. */
2886
2887   if (smtp_accept_max > 0 &&
2888       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2889     {
2890     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2891       {
2892       log_write(L_connection_reject,
2893         LOG_MAIN, "temporarily refused connection from %s: not in "
2894         "reserve list: connected=%d max=%d reserve=%d%s",
2895         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2896         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2897       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2898         "please try again later\r\n", FALSE, smtp_active_hostname);
2899       return FALSE;
2900       }
2901     reserved_host = TRUE;
2902     }
2903
2904   /* If a load level above which only messages from reserved hosts are
2905   accepted is set, check the load. For incoming calls via the daemon, the
2906   check is done in the superior process if there are no reserved hosts, to
2907   save a fork. In all cases, the load average will already be available
2908   in a global variable at this point. */
2909
2910   if (smtp_load_reserve >= 0 &&
2911        load_average > smtp_load_reserve &&
2912        !reserved_host &&
2913        verify_check_host(&smtp_reserve_hosts) != OK)
2914     {
2915     log_write(L_connection_reject,
2916       LOG_MAIN, "temporarily refused connection from %s: not in "
2917       "reserve list and load average = %.2f", host_and_ident(FALSE),
2918       (double)load_average/1000.0);
2919     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2920       smtp_active_hostname);
2921     return FALSE;
2922     }
2923
2924   /* Determine whether unqualified senders or recipients are permitted
2925   for this host. Unfortunately, we have to do this every time, in order to
2926   set the flags so that they can be inspected when considering qualifying
2927   addresses in the headers. For a site that permits no qualification, this
2928   won't take long, however. */
2929
2930   f.allow_unqualified_sender =
2931     verify_check_host(&sender_unqualified_hosts) == OK;
2932
2933   f.allow_unqualified_recipient =
2934     verify_check_host(&recipient_unqualified_hosts) == OK;
2935
2936   /* Determine whether HELO/EHLO is required for this host. The requirement
2937   can be hard or soft. */
2938
2939   fl.helo_verify_required = verify_check_host(&helo_verify_hosts) == OK;
2940   if (!fl.helo_verify_required)
2941     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2942
2943   /* Determine whether this hosts is permitted to send syntactic junk
2944   after a HELO or EHLO command. */
2945
2946   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2947   }
2948
2949 /* For batch SMTP input we are now done. */
2950
2951 if (smtp_batched_input) return TRUE;
2952
2953 /* If valid Proxy Protocol source is connecting, set up session.
2954 Failure will not allow any SMTP function other than QUIT. */
2955
2956 #ifdef SUPPORT_PROXY
2957 proxy_session = FALSE;
2958 f.proxy_session_failed = FALSE;
2959 if (check_proxy_protocol_host())
2960   setup_proxy_protocol_host();
2961 #endif
2962
2963 /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2964 smtps port for use with older style SSL MTAs. */
2965
2966 #ifndef DISABLE_TLS
2967 if (tls_in.on_connect)
2968   {
2969   if (tls_server_start(&user_msg) != OK)
2970     return smtp_log_tls_fail(user_msg);
2971   cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2972   }
2973 #endif
2974
2975 /* Run the connect ACL if it exists */
2976
2977 user_msg = NULL;
2978 if (acl_smtp_connect)
2979   {
2980   int rc;
2981   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2982                       &log_msg)) != OK)
2983     {
2984     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2985     return FALSE;
2986     }
2987   }
2988
2989 /* Output the initial message for a two-way SMTP connection. It may contain
2990 newlines, which then cause a multi-line response to be given. */
2991
2992 code = US"220";   /* Default status code */
2993 esc = US"";       /* Default extended status code */
2994 esclen = 0;       /* Length of esc */
2995
2996 if (!user_msg)
2997   {
2998   if (!(s = expand_string(smtp_banner)))
2999     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
3000       "failed: %s", smtp_banner, expand_string_message);
3001   }
3002 else
3003   {
3004   int codelen = 3;
3005   s = user_msg;
3006   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
3007   if (codelen > 4)
3008     {
3009     esc = code + 4;
3010     esclen = codelen - 4;
3011     }
3012   }
3013
3014 /* Remove any terminating newlines; might as well remove trailing space too */
3015
3016 p = s + Ustrlen(s);
3017 while (p > s && isspace(p[-1])) p--;
3018 s = string_copyn(s, p-s);
3019
3020 /* It seems that CC:Mail is braindead, and assumes that the greeting message
3021 is all contained in a single IP packet. The original code wrote out the
3022 greeting using several calls to fprint/fputc, and on busy servers this could
3023 cause it to be split over more than one packet - which caused CC:Mail to fall
3024 over when it got the second part of the greeting after sending its first
3025 command. Sigh. To try to avoid this, build the complete greeting message
3026 first, and output it in one fell swoop. This gives a better chance of it
3027 ending up as a single packet. */
3028
3029 ss = string_get(256);
3030
3031 p = s;
3032 do       /* At least once, in case we have an empty string */
3033   {
3034   int len;
3035   uschar *linebreak = Ustrchr(p, '\n');
3036   ss = string_catn(ss, code, 3);
3037   if (!linebreak)
3038     {
3039     len = Ustrlen(p);
3040     ss = string_catn(ss, US" ", 1);
3041     }
3042   else
3043     {
3044     len = linebreak - p;
3045     ss = string_catn(ss, US"-", 1);
3046     }
3047   ss = string_catn(ss, esc, esclen);
3048   ss = string_catn(ss, p, len);
3049   ss = string_catn(ss, US"\r\n", 2);
3050   p += len;
3051   if (linebreak) p++;
3052   }
3053 while (*p);
3054
3055 /* Before we write the banner, check that there is no input pending, unless
3056 this synchronisation check is disabled. */
3057
3058 #ifndef DISABLE_PIPE_CONNECT
3059 fl.pipe_connect_acceptable =
3060   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3061
3062 if (!check_sync())
3063   if (fl.pipe_connect_acceptable)
3064     f.smtp_in_early_pipe_used = TRUE;
3065   else
3066 #else
3067 if (!check_sync())
3068 #endif
3069     {
3070     unsigned n = smtp_inend - smtp_inptr;
3071     if (n > 128) n = 128;
3072
3073     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3074       "synchronization error (input sent without waiting for greeting): "
3075       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3076       string_printing(string_copyn(smtp_inptr, n)));
3077     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3078     return FALSE;
3079     }
3080
3081 /* Now output the banner */
3082 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3083
3084 smtp_printf("%s",
3085 #ifndef DISABLE_PIPE_CONNECT
3086   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3087 #else
3088   FALSE,
3089 #endif
3090   string_from_gstring(ss));
3091
3092 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3093 handshake arrived.  If so we must have managed a TFO. */
3094
3095 #ifdef TCP_FASTOPEN
3096 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3097 #endif
3098
3099 return TRUE;
3100 }
3101
3102
3103
3104
3105
3106 /*************************************************
3107 *     Handle SMTP syntax and protocol errors     *
3108 *************************************************/
3109
3110 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3111 to do so. Then transmit the error response. The return value depends on the
3112 number of syntax and protocol errors in this SMTP session.
3113
3114 Arguments:
3115   type      error type, given as a log flag bit
3116   code      response code; <= 0 means don't send a response
3117   data      data to reflect in the response (can be NULL)
3118   errmess   the error message
3119
3120 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3121             +1   limit of syntax/protocol errors IS exceeded
3122
3123 These values fit in with the values of the "done" variable in the main
3124 processing loop in smtp_setup_msg(). */
3125
3126 static int
3127 synprot_error(int type, int code, uschar *data, uschar *errmess)
3128 {
3129 int yield = -1;
3130
3131 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3132   type == L_smtp_syntax_error ? "syntax" : "protocol",
3133   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3134
3135 if (++synprot_error_count > smtp_max_synprot_errors)
3136   {
3137   yield = 1;
3138   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3139     "syntax or protocol errors (last command was \"%s\", %s)",
3140     host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
3141     string_from_gstring(s_connhad_log(NULL))
3142     );
3143   }
3144
3145 if (code > 0)
3146   {
3147   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3148     data ? data : US"", data ? US": " : US"", errmess);
3149   if (yield == 1)
3150     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3151   }
3152
3153 return yield;
3154 }
3155
3156
3157
3158
3159 /*************************************************
3160 *    Send SMTP response, possibly multiline      *
3161 *************************************************/
3162
3163 /* There are, it seems, broken clients out there that cannot handle multiline
3164 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3165 output nothing for non-final calls, and only the first line for anything else.
3166
3167 Arguments:
3168   code          SMTP code, may involve extended status codes
3169   codelen       length of smtp code; if > 4 there's an ESC
3170   final         FALSE if the last line isn't the final line
3171   msg           message text, possibly containing newlines
3172
3173 Returns:        nothing
3174 */
3175
3176 void
3177 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3178 {
3179 int esclen = 0;
3180 uschar *esc = US"";
3181
3182 if (!final && f.no_multiline_responses) return;
3183
3184 if (codelen > 4)
3185   {
3186   esc = code + 4;
3187   esclen = codelen - 4;
3188   }
3189
3190 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3191 have had the same. Note: this code is also present in smtp_printf(). It would
3192 be tidier to have it only in one place, but when it was added, it was easier to
3193 do it that way, so as not to have to mess with the code for the RCPT command,
3194 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3195
3196 if (fl.rcpt_in_progress)
3197   {
3198   if (!rcpt_smtp_response)
3199     rcpt_smtp_response = string_copy(msg);
3200   else if (fl.rcpt_smtp_response_same &&
3201            Ustrcmp(rcpt_smtp_response, msg) != 0)
3202     fl.rcpt_smtp_response_same = FALSE;
3203   fl.rcpt_in_progress = FALSE;
3204   }
3205
3206 /* Now output the message, splitting it up into multiple lines if necessary.
3207 We only handle pipelining these responses as far as nonfinal/final groups,
3208 not the whole MAIL/RCPT/DATA response set. */
3209
3210 for (;;)
3211   {
3212   uschar *nl = Ustrchr(msg, '\n');
3213   if (!nl)
3214     {
3215     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3216     return;
3217     }
3218   else if (nl[1] == 0 || f.no_multiline_responses)
3219     {
3220     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3221       (int)(nl - msg), msg);
3222     return;
3223     }
3224   else
3225     {
3226     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3227     msg = nl + 1;
3228     Uskip_whitespace(&msg);
3229     }
3230   }
3231 }
3232
3233
3234
3235
3236 /*************************************************
3237 *            Parse user SMTP message             *
3238 *************************************************/
3239
3240 /* This function allows for user messages overriding the response code details
3241 by providing a suitable response code string at the start of the message
3242 user_msg. Check the message for starting with a response code and optionally an
3243 extended status code. If found, check that the first digit is valid, and if so,
3244 change the code pointer and length to use the replacement. An invalid code
3245 causes a panic log; in this case, if the log messages is the same as the user
3246 message, we must also adjust the value of the log message to show the code that
3247 is actually going to be used (the original one).
3248
3249 This function is global because it is called from receive.c as well as within
3250 this module.
3251
3252 Note that the code length returned includes the terminating whitespace
3253 character, which is always included in the regex match.
3254
3255 Arguments:
3256   code          SMTP code, may involve extended status codes
3257   codelen       length of smtp code; if > 4 there's an ESC
3258   msg           message text
3259   log_msg       optional log message, to be adjusted with the new SMTP code
3260   check_valid   if true, verify the response code
3261
3262 Returns:        nothing
3263 */
3264
3265 void
3266 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3267   BOOL check_valid)
3268 {
3269 uschar * match;
3270 int len;
3271
3272 if (!msg || !*msg || !regex_match(regex_smtp_code, *msg, -1, &match))
3273   return;
3274
3275 len = Ustrlen(match);
3276 if (check_valid && (*msg)[0] != (*code)[0])
3277   {
3278   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3279     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3280   if (log_msg && *log_msg == *msg)
3281     *log_msg = string_sprintf("%s %s", *code, *log_msg + len);
3282   }
3283 else
3284   {
3285   *code = *msg;
3286   *codelen = len;    /* Includes final space */
3287   }
3288 *msg += len;         /* Chop the code off the message */
3289 return;
3290 }
3291
3292
3293
3294
3295 /*************************************************
3296 *           Handle an ACL failure                *
3297 *************************************************/
3298
3299 /* This function is called when acl_check() fails. As well as calls from within
3300 this module, it is called from receive.c for an ACL after DATA. It sorts out
3301 logging the incident, and sends the error response. A message containing
3302 newlines is turned into a multiline SMTP response, but for logging, only the
3303 first line is used.
3304
3305 There's a table of default permanent failure response codes to use in
3306 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3307 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3308 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3309 state, because there are broken clients that try VRFY before RCPT. A 5xx
3310 response should be given only when the address is positively known to be
3311 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3312 no explicit code, but if there is one we let it know best.
3313 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3314
3315 From Exim 4.63, it is possible to override the response code details by
3316 providing a suitable response code string at the start of the message provided
3317 in user_msg. The code's first digit is checked for validity.
3318
3319 Arguments:
3320   where        where the ACL was called from
3321   rc           the failure code
3322   user_msg     a message that can be included in an SMTP response
3323   log_msg      a message for logging
3324
3325 Returns:     0 in most cases
3326              2 if the failure code was FAIL_DROP, in which case the
3327                SMTP connection should be dropped (this value fits with the
3328                "done" variable in smtp_setup_msg() below)
3329 */
3330
3331 int
3332 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3333 {
3334 BOOL drop = rc == FAIL_DROP;
3335 int codelen = 3;
3336 uschar *smtp_code;
3337 uschar *lognl;
3338 uschar *sender_info = US"";
3339 uschar *what;
3340
3341 if (drop) rc = FAIL;
3342
3343 /* Set the default SMTP code, and allow a user message to change it. */
3344
3345 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3346 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3347   where != ACL_WHERE_VRFY);
3348
3349 /* We used to have sender_address here; however, there was a bug that was not
3350 updating sender_address after a rewrite during a verify. When this bug was
3351 fixed, sender_address at this point became the rewritten address. I'm not sure
3352 this is what should be logged, so I've changed to logging the unrewritten
3353 address to retain backward compatibility. */
3354
3355 switch (where)
3356   {
3357 #ifdef WITH_CONTENT_SCAN
3358   case ACL_WHERE_MIME:          what = US"during MIME ACL checks";      break;
3359 #endif
3360   case ACL_WHERE_PREDATA:       what = US"DATA";                        break;
3361   case ACL_WHERE_DATA:          what = US"after DATA";                  break;
3362 #ifndef DISABLE_PRDR
3363   case ACL_WHERE_PRDR:          what = US"after DATA PRDR";             break;
3364 #endif
3365   default:
3366     {
3367     uschar * place = smtp_cmd_data ? smtp_cmd_data : US"in \"connect\" ACL";
3368     int lim = 100;
3369
3370     if (where == ACL_WHERE_AUTH)        /* avoid logging auth creds */
3371       {
3372       uschar * s;
3373       for (s = smtp_cmd_data; *s && !isspace(*s); ) s++;
3374       lim = s - smtp_cmd_data;  /* atop after method */
3375       }
3376     what = string_sprintf("%s %.*s", acl_wherenames[where], lim, place);
3377     }
3378   }
3379 switch (where)
3380   {
3381   case ACL_WHERE_RCPT:
3382   case ACL_WHERE_DATA:
3383 #ifdef WITH_CONTENT_SCAN
3384   case ACL_WHERE_MIME:
3385 #endif
3386     sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3387       sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3388       sender_host_authenticated ? US" A="                                    : US"",
3389       sender_host_authenticated ? sender_host_authenticated                  : US"",
3390       sender_host_authenticated && authenticated_id ? US":"                  : US"",
3391       sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3392       );
3393   break;
3394   }
3395
3396 /* If there's been a sender verification failure with a specific message, and
3397 we have not sent a response about it yet, do so now, as a preliminary line for
3398 failures, but not defers. However, always log it for defer, and log it for fail
3399 unless the sender_verify_fail log selector has been turned off. */
3400
3401 if (sender_verified_failed &&
3402     !testflag(sender_verified_failed, af_sverify_told))
3403   {
3404   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3405   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3406
3407   setflag(sender_verified_failed, af_sverify_told);
3408
3409   if (rc != FAIL || LOGGING(sender_verify_fail))
3410     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3411       host_and_ident(TRUE),
3412       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3413       sender_verified_failed->address,
3414       (sender_verified_failed->message == NULL)? US"" :
3415       string_sprintf(": %s", sender_verified_failed->message));
3416
3417   if (rc == FAIL && sender_verified_failed->user_message)
3418     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3419         testflag(sender_verified_failed, af_verify_pmfail)?
3420           "Postmaster verification failed while checking <%s>\n%s\n"
3421           "Several RFCs state that you are required to have a postmaster\n"
3422           "mailbox for each mail domain. This host does not accept mail\n"
3423           "from domains whose servers reject the postmaster address."
3424           :
3425         testflag(sender_verified_failed, af_verify_nsfail)?
3426           "Callback setup failed while verifying <%s>\n%s\n"
3427           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3428           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3429           "RFC requirements, and stops you from receiving standard bounce\n"
3430           "messages. This host does not accept mail from domains whose servers\n"
3431           "refuse bounces."
3432           :
3433           "Verification failed for <%s>\n%s",
3434         sender_verified_failed->address,
3435         sender_verified_failed->user_message));
3436
3437   fl.rcpt_in_progress = save_rcpt_in_progress;
3438   }
3439
3440 /* Sort out text for logging */
3441
3442 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3443 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3444
3445 /* Send permanent failure response to the command, but the code used isn't
3446 always a 5xx one - see comments at the start of this function. If the original
3447 rc was FAIL_DROP we drop the connection and yield 2. */
3448
3449 if (rc == FAIL)
3450   smtp_respond(smtp_code, codelen, TRUE,
3451     user_msg ? user_msg : US"Administrative prohibition");
3452
3453 /* Send temporary failure response to the command. Don't give any details,
3454 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3455 verb, and for a header verify when smtp_return_error_details is set.
3456
3457 This conditional logic is all somewhat of a mess because of the odd
3458 interactions between temp_details and return_error_details. One day it should
3459 be re-implemented in a tidier fashion. */
3460
3461 else
3462   if (f.acl_temp_details && user_msg)
3463     {
3464     if (  smtp_return_error_details
3465        && sender_verified_failed
3466        && sender_verified_failed->message
3467        )
3468       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3469
3470     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3471     }
3472   else
3473     smtp_respond(smtp_code, codelen, TRUE,
3474       US"Temporary local problem - please try later");
3475
3476 /* Log the incident to the logs that are specified by log_reject_target
3477 (default main, reject). This can be empty to suppress logging of rejections. If
3478 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3479 is closing if required and return 2.  */
3480
3481 if (log_reject_target != 0)
3482   {
3483 #ifndef DISABLE_TLS
3484   gstring * g = s_tlslog(NULL);
3485   uschar * tls = string_from_gstring(g);
3486   if (!tls) tls = US"";
3487 #else
3488   uschar * tls = US"";
3489 #endif
3490   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3491     log_reject_target, "%s%s%s %s%srejected %s%s",
3492     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3493     host_and_ident(TRUE),
3494     tls,
3495     sender_info,
3496     rc == FAIL ? US"" : US"temporarily ",
3497     what, log_msg);
3498   }
3499
3500 if (!drop) return 0;
3501
3502 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3503   smtp_get_connection_info());
3504
3505 /* Run the not-quit ACL, but without any custom messages. This should not be a
3506 problem, because we get here only if some other ACL has issued "drop", and
3507 in that case, *its* custom messages will have been used above. */
3508
3509 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3510 return 2;
3511 }
3512
3513
3514
3515
3516 /*************************************************
3517 *     Handle SMTP exit when QUIT is not given    *
3518 *************************************************/
3519
3520 /* This function provides a logging/statistics hook for when an SMTP connection
3521 is dropped on the floor or the other end goes away. It's a global function
3522 because it's called from receive.c as well as this module. As well as running
3523 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3524 response, either with a custom message from the ACL, or using a default. There
3525 is one case, however, when no message is output - after "drop". In that case,
3526 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3527 passed to this function.
3528
3529 In case things go wrong while processing this function, causing an error that
3530 may re-enter this function, there is a recursion check.
3531
3532 Arguments:
3533   reason          What $smtp_notquit_reason will be set to in the ACL;
3534                     if NULL, the ACL is not run
3535   code            The error code to return as part of the response
3536   defaultrespond  The default message if there's no user_msg
3537
3538 Returns:          Nothing
3539 */
3540
3541 void
3542 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3543 {
3544 int rc;
3545 uschar *user_msg = NULL;
3546 uschar *log_msg = NULL;
3547
3548 /* Check for recursive call */
3549
3550 if (fl.smtp_exit_function_called)
3551   {
3552   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3553     reason);
3554   return;
3555   }
3556 fl.smtp_exit_function_called = TRUE;
3557
3558 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3559
3560 if (acl_smtp_notquit && reason)
3561   {
3562   smtp_notquit_reason = reason;
3563   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3564                       &log_msg)) == ERROR)
3565     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3566       log_msg);
3567   }
3568
3569 /* If the connection was dropped, we certainly are no longer talking TLS */
3570 tls_in.active.sock = -1;
3571
3572 /* Write an SMTP response if we are expected to give one. As the default
3573 responses are all internal, they should be reasonable size. */
3574
3575 if (code && defaultrespond)
3576   {
3577   if (user_msg)
3578     smtp_respond(code, 3, TRUE, user_msg);
3579   else
3580     {
3581     gstring * g;
3582     va_list ap;
3583
3584     va_start(ap, defaultrespond);
3585     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3586     va_end(ap);
3587     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3588     }
3589   mac_smtp_fflush();
3590   }
3591 }
3592
3593
3594
3595
3596 /*************************************************
3597 *             Verify HELO argument               *
3598 *************************************************/
3599
3600 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3601 matched. It is also called from ACL processing if verify = helo is used and
3602 verification was not previously tried (i.e. helo_try_verify_hosts was not
3603 matched). The result of its processing is to set helo_verified and
3604 helo_verify_failed. These variables should both be FALSE for this function to
3605 be called.
3606
3607 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3608 for IPv6 ::ffff: literals.
3609
3610 Argument:   none
3611 Returns:    TRUE if testing was completed;
3612             FALSE on a temporary failure
3613 */
3614
3615 BOOL
3616 smtp_verify_helo(void)
3617 {
3618 BOOL yield = TRUE;
3619
3620 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3621   sender_helo_name);
3622
3623 if (sender_helo_name == NULL)
3624   {
3625   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3626   }
3627
3628 /* Deal with the case of -bs without an IP address */
3629
3630 else if (sender_host_address == NULL)
3631   {
3632   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3633   f.helo_verified = TRUE;
3634   }
3635
3636 /* Deal with the more common case when there is a sending IP address */
3637
3638 else if (sender_helo_name[0] == '[')
3639   {
3640   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3641     Ustrlen(sender_host_address)) == 0;
3642
3643 #if HAVE_IPV6
3644   if (!f.helo_verified)
3645     {
3646     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3647       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3648         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3649     }
3650 #endif
3651
3652   HDEBUG(D_receive)
3653     { if (f.helo_verified) debug_printf("matched host address\n"); }
3654   }
3655
3656 /* Do a reverse lookup if one hasn't already given a positive or negative
3657 response. If that fails, or the name doesn't match, try checking with a forward
3658 lookup. */
3659
3660 else
3661   {
3662   if (sender_host_name == NULL && !host_lookup_failed)
3663     yield = host_name_lookup() != DEFER;
3664
3665   /* If a host name is known, check it and all its aliases. */
3666
3667   if (sender_host_name)
3668     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3669       {
3670       sender_helo_dnssec = sender_host_dnssec;
3671       HDEBUG(D_receive) debug_printf("matched host name\n");
3672       }
3673     else
3674       {
3675       uschar **aliases = sender_host_aliases;
3676       while (*aliases)
3677         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3678           {
3679           sender_helo_dnssec = sender_host_dnssec;
3680           break;
3681           }
3682
3683       HDEBUG(D_receive) if (f.helo_verified)
3684           debug_printf("matched alias %s\n", *(--aliases));
3685       }
3686
3687   /* Final attempt: try a forward lookup of the helo name */
3688
3689   if (!f.helo_verified)
3690     {
3691     int rc;
3692     host_item h =
3693       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3694     dnssec_domains d =
3695       {.request = US"*", .require = US""};
3696
3697     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3698       sender_helo_name);
3699     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3700                           NULL, NULL, NULL, &d, NULL, NULL);
3701     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3702       for (host_item * hh = &h; hh; hh = hh->next)
3703         if (Ustrcmp(hh->address, sender_host_address) == 0)
3704           {
3705           f.helo_verified = TRUE;
3706           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3707           HDEBUG(D_receive)
3708             debug_printf("IP address for %s matches calling address\n"
3709               "Forward DNS security status: %sverified\n",
3710               sender_helo_name, sender_helo_dnssec ? "" : "un");
3711           break;
3712           }
3713     }
3714   }
3715
3716 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3717 return yield;
3718 }
3719
3720
3721
3722
3723 /*************************************************
3724 *        Send user response message              *
3725 *************************************************/
3726
3727 /* This function is passed a default response code and a user message. It calls
3728 smtp_message_code() to check and possibly modify the response code, and then
3729 calls smtp_respond() to transmit the response. I put this into a function
3730 just to avoid a lot of repetition.
3731
3732 Arguments:
3733   code         the response code
3734   user_msg     the user message
3735
3736 Returns:       nothing
3737 */
3738
3739 static void
3740 smtp_user_msg(uschar *code, uschar *user_msg)
3741 {
3742 int len = 3;
3743 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3744 smtp_respond(code, len, TRUE, user_msg);
3745 }
3746
3747
3748
3749 static int
3750 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3751 {
3752 const uschar *set_id = NULL;
3753 int rc;
3754
3755 /* Run the checking code, passing the remainder of the command line as
3756 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3757 it as the only set numerical variable. The authenticator may set $auth<n>
3758 and also set other numeric variables. The $auth<n> variables are preferred
3759 nowadays; the numerical variables remain for backwards compatibility.
3760
3761 Afterwards, have a go at expanding the set_id string, even if
3762 authentication failed - for bad passwords it can be useful to log the
3763 userid. On success, require set_id to expand and exist, and put it in
3764 authenticated_id. Save this in permanent store, as the working store gets
3765 reset at HELO, RSET, etc. */
3766
3767 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3768 expand_nmax = 0;
3769 expand_nlength[0] = 0;   /* $0 contains nothing */
3770
3771 rc = (au->info->servercode)(au, smtp_cmd_data);
3772 if (au->set_id) set_id = expand_string(au->set_id);
3773 expand_nmax = -1;        /* Reset numeric variables */
3774 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3775
3776 /* The value of authenticated_id is stored in the spool file and printed in
3777 log lines. It must not contain binary zeros or newline characters. In
3778 normal use, it never will, but when playing around or testing, this error
3779 can (did) happen. To guard against this, ensure that the id contains only
3780 printing characters. */
3781
3782 if (set_id) set_id = string_printing(set_id);
3783
3784 /* For the non-OK cases, set up additional logging data if set_id
3785 is not empty. */
3786
3787 if (rc != OK)
3788   set_id = set_id && *set_id
3789     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3790
3791 /* Switch on the result */
3792
3793 switch(rc)
3794   {
3795   case OK:
3796     if (!au->set_id || set_id)    /* Complete success */
3797       {
3798       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3799       sender_host_authenticated = au->name;
3800       sender_host_auth_pubname  = au->public_name;
3801       authentication_failed = FALSE;
3802       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3803
3804       received_protocol =
3805         (sender_host_address ? protocols : protocols_local)
3806           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3807       *s = *ss = US"235 Authentication succeeded";
3808       authenticated_by = au;
3809       break;
3810       }
3811
3812     /* Authentication succeeded, but we failed to expand the set_id string.
3813     Treat this as a temporary error. */
3814
3815     auth_defer_msg = expand_string_message;
3816     /* Fall through */
3817
3818   case DEFER:
3819     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3820     *s = string_sprintf("435 Unable to authenticate at present%s",
3821       auth_defer_user_msg);
3822     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3823       set_id, auth_defer_msg);
3824     break;
3825
3826   case BAD64:
3827     *s = *ss = US"501 Invalid base64 data";
3828     break;
3829
3830   case CANCELLED:
3831     *s = *ss = US"501 Authentication cancelled";
3832     break;
3833
3834   case UNEXPECTED:
3835     *s = *ss = US"553 Initial data not expected";
3836     break;
3837
3838   case FAIL:
3839     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3840     *s = US"535 Incorrect authentication data";
3841     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3842     break;
3843
3844   default:
3845     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3846     *s = US"435 Internal error";
3847     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3848       "check", set_id, rc);
3849     break;
3850   }
3851
3852 return rc;
3853 }
3854
3855
3856
3857
3858
3859 static int
3860 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3861 {
3862 int rd;
3863 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3864   {
3865   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3866     *recipient);
3867   rd = Ustrlen(recipient) + 1;
3868   /* deconst ok as *recipient was not const */
3869   *recipient = US rewrite_address_qualify(*recipient, TRUE);
3870   return rd;
3871   }
3872 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3873   smtp_cmd_data);
3874 log_write(L_smtp_syntax_error,
3875   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3876   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3877 return 0;
3878 }
3879
3880
3881
3882
3883 static void
3884 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3885 {
3886 HAD(SCH_QUIT);
3887 f.smtp_in_quit = TRUE;
3888 incomplete_transaction_log(US"QUIT");
3889 if (  acl_smtp_quit
3890    && acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp)
3891         == ERROR)
3892     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3893       *log_msgp);
3894
3895 #ifdef EXIM_TCP_CORK
3896 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, EXIM_TCP_CORK, US &on, sizeof(on));
3897 #endif
3898
3899 if (*user_msgp)
3900   smtp_respond(US"221", 3, TRUE, *user_msgp);
3901 else
3902   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3903
3904 #ifdef SERVERSIDE_CLOSE_NOWAIT
3905 # ifndef DISABLE_TLS
3906 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3907 # endif
3908
3909 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3910   smtp_get_connection_info());
3911 #else
3912
3913 # ifndef DISABLE_TLS
3914 tls_close(NULL, TLS_SHUTDOWN_WAIT);
3915 # endif
3916
3917 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3918   smtp_get_connection_info());
3919
3920 /* Pause, hoping client will FIN first so that they get the TIME_WAIT.
3921 The socket should become readble (though with no data) */
3922
3923   {
3924   int fd = fileno(smtp_in);
3925   fd_set fds;
3926   struct timeval t_limit = {.tv_sec = 0, .tv_usec = 200*1000};
3927
3928   FD_ZERO(&fds);
3929   FD_SET(fd, &fds);
3930   (void) select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &t_limit);
3931   }
3932 #endif  /*!DAEMON_CLOSE_NOWAIT*/
3933 }
3934
3935
3936 static void
3937 smtp_rset_handler(void)
3938 {
3939 HAD(SCH_RSET);
3940 incomplete_transaction_log(US"RSET");
3941 smtp_printf("250 Reset OK\r\n", FALSE);
3942 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3943 }
3944
3945
3946 static int
3947 expand_mailmax(const uschar * s)
3948 {
3949 if (!(s = expand_cstring(s)))
3950   log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand smtp_accept_max_per_connection");
3951 return *s ? Uatoi(s) : 0;
3952 }
3953
3954 /*************************************************
3955 *       Initialize for SMTP incoming message     *
3956 *************************************************/
3957
3958 /* This function conducts the initial dialogue at the start of an incoming SMTP
3959 message, and builds a list of recipients. However, if the incoming message
3960 is part of a batch (-bS option) a separate function is called since it would
3961 be messy having tests splattered about all over this function. This function
3962 therefore handles the case where interaction is occurring. The input and output
3963 files are set up in smtp_in and smtp_out.
3964
3965 The global recipients_list is set to point to a vector of recipient_item
3966 blocks, whose number is given by recipients_count. This is extended by the
3967 receive_add_recipient() function. The global variable sender_address is set to
3968 the sender's address. The yield is +1 if a message has been successfully
3969 started, 0 if a QUIT command was encountered or the connection was refused from
3970 the particular host, or -1 if the connection was lost.
3971
3972 Argument: none
3973
3974 Returns:  > 0 message successfully started (reached DATA)
3975           = 0 QUIT read or end of file reached or call refused
3976           < 0 lost connection
3977 */
3978
3979 int
3980 smtp_setup_msg(void)
3981 {
3982 int done = 0;
3983 BOOL toomany = FALSE;
3984 BOOL discarded = FALSE;
3985 BOOL last_was_rej_mail = FALSE;
3986 BOOL last_was_rcpt = FALSE;
3987 rmark reset_point = store_mark();
3988
3989 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3990
3991 /* Reset for start of new message. We allow one RSET not to be counted as a
3992 nonmail command, for those MTAs that insist on sending it between every
3993 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3994 TLS between messages (an Exim client may do this if it has messages queued up
3995 for the host). Note: we do NOT reset AUTH at this point. */
3996
3997 reset_point = smtp_reset(reset_point);
3998 message_ended = END_NOTSTARTED;
3999
4000 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
4001
4002 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
4003 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
4004 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4005 #ifndef DISABLE_TLS
4006 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
4007 #endif
4008
4009 if (lwr_receive_getc != NULL)
4010   {
4011   /* This should have already happened, but if we've gotten confused,
4012   force a reset here. */
4013   DEBUG(D_receive) debug_printf("WARNING: smtp_setup_msg had to restore receive functions to lowers\n");
4014   bdat_pop_receive_functions();
4015   }
4016
4017 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
4018
4019 had_command_sigterm = 0;
4020 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
4021
4022 /* Batched SMTP is handled in a different function. */
4023
4024 if (smtp_batched_input) return smtp_setup_batch_msg();
4025
4026 #ifdef TCP_QUICKACK
4027 if (smtp_in)            /* Avoid pure-ACKs while in cmd pingpong phase */
4028   (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4029           US &off, sizeof(off));
4030 #endif
4031
4032 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
4033 value. The values are 2 larger than the required yield of the function. */
4034
4035 while (done <= 0)
4036   {
4037   const uschar **argv;
4038   uschar *etrn_command;
4039   uschar *etrn_serialize_key;
4040   uschar *errmess;
4041   uschar *log_msg, *smtp_code;
4042   uschar *user_msg = NULL;
4043   uschar *recipient = NULL;
4044   uschar *hello = NULL;
4045   uschar *s, *ss;
4046   BOOL was_rej_mail = FALSE;
4047   BOOL was_rcpt = FALSE;
4048   void (*oldsignal)(int);
4049   pid_t pid;
4050   int start, end, sender_domain, recipient_domain;
4051   int rc;
4052   int c;
4053   uschar *orcpt = NULL;
4054   int dsn_flags;
4055   gstring * g;
4056
4057 #ifdef AUTH_TLS
4058   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
4059   if (  tls_in.active.sock >= 0
4060      && tls_in.peercert
4061      && tls_in.certificate_verified
4062      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
4063      )
4064     {
4065     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
4066
4067     for (auth_instance * au = auths; au; au = au->next)
4068       if (strcmpic(US"tls", au->driver_name) == 0)
4069         {
4070         if (  acl_smtp_auth
4071            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4072                       &user_msg, &log_msg)) != OK
4073            )
4074           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4075         else
4076           {
4077           smtp_cmd_data = NULL;
4078
4079           if (smtp_in_auth(au, &s, &ss) == OK)
4080             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
4081           else
4082             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
4083           }
4084         break;
4085         }
4086     }
4087 #endif
4088
4089   switch(smtp_read_command(
4090 #ifndef DISABLE_PIPE_CONNECT
4091           !fl.pipe_connect_acceptable,
4092 #else
4093           TRUE,
4094 #endif
4095           GETC_BUFFER_UNLIMITED))
4096     {
4097     /* The AUTH command is not permitted to occur inside a transaction, and may
4098     occur successfully only once per connection. Actually, that isn't quite
4099     true. When TLS is started, all previous information about a connection must
4100     be discarded, so a new AUTH is permitted at that time.
4101
4102     AUTH may only be used when it has been advertised. However, it seems that
4103     there are clients that send AUTH when it hasn't been advertised, some of
4104     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4105     So there's a get-out that allows this to happen.
4106
4107     AUTH is initially labelled as a "nonmail command" so that one occurrence
4108     doesn't get counted. We change the label here so that multiple failing
4109     AUTHS will eventually hit the nonmail threshold. */
4110
4111     case AUTH_CMD:
4112       HAD(SCH_AUTH);
4113       authentication_failed = TRUE;
4114       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4115
4116       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4117         {
4118         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4119           US"AUTH command used when not advertised");
4120         break;
4121         }
4122       if (sender_host_authenticated)
4123         {
4124         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4125           US"already authenticated");
4126         break;
4127         }
4128       if (sender_address)
4129         {
4130         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4131           US"not permitted in mail transaction");
4132         break;
4133         }
4134
4135       /* Check the ACL */
4136
4137       if (  acl_smtp_auth
4138          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4139                     &user_msg, &log_msg)) != OK
4140          )
4141         {
4142         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4143         break;
4144         }
4145
4146       /* Find the name of the requested authentication mechanism. */
4147
4148       s = smtp_cmd_data;
4149       for (; (c = *smtp_cmd_data) && !isspace(c); smtp_cmd_data++)
4150         if (!isalnum(c) && c != '-' && c != '_')
4151           {
4152           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4153             US"invalid character in authentication mechanism name");
4154           goto COMMAND_LOOP;
4155           }
4156
4157       /* If not at the end of the line, we must be at white space. Terminate the
4158       name and move the pointer on to any data that may be present. */
4159
4160       if (*smtp_cmd_data)
4161         {
4162         *smtp_cmd_data++ = 0;
4163         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4164         }
4165
4166       /* Search for an authentication mechanism which is configured for use
4167       as a server and which has been advertised (unless, sigh, allow_auth_
4168       unadvertised is set). */
4169
4170         {
4171         auth_instance * au;
4172         for (au = auths; au; au = au->next)
4173           if (strcmpic(s, au->public_name) == 0 && au->server &&
4174               (au->advertised || f.allow_auth_unadvertised))
4175             break;
4176
4177         if (au)
4178           {
4179           c = smtp_in_auth(au, &s, &ss);
4180
4181           smtp_printf("%s\r\n", FALSE, s);
4182           if (c != OK)
4183             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4184               au->name, host_and_ident(FALSE), ss);
4185           }
4186         else
4187           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4188             string_sprintf("%s authentication mechanism not supported", s));
4189         }
4190
4191       break;  /* AUTH_CMD */
4192
4193     /* The HELO/EHLO commands are permitted to appear in the middle of a
4194     session as well as at the beginning. They have the effect of a reset in
4195     addition to their other functions. Their absence at the start cannot be
4196     taken to be an error.
4197
4198     RFC 2821 says:
4199
4200       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4201       or 502 failure replies MUST be returned as appropriate.  The SMTP
4202       server MUST stay in the same state after transmitting these replies
4203       that it was in before the EHLO was received.
4204
4205     Therefore, we do not do the reset until after checking the command for
4206     acceptability. This change was made for Exim release 4.11. Previously
4207     it did the reset first. */
4208
4209     case HELO_CMD:
4210       HAD(SCH_HELO);
4211       hello = US"HELO";
4212       fl.esmtp = FALSE;
4213       goto HELO_EHLO;
4214
4215     case EHLO_CMD:
4216       HAD(SCH_EHLO);
4217       hello = US"EHLO";
4218       fl.esmtp = TRUE;
4219
4220     HELO_EHLO:      /* Common code for HELO and EHLO */
4221       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4222       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4223
4224       /* Reject the HELO if its argument was invalid or non-existent. A
4225       successful check causes the argument to be saved in malloc store. */
4226
4227       if (!check_helo(smtp_cmd_data))
4228         {
4229         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4230
4231         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4232           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4233           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4234                              string_printing(smtp_cmd_argument));
4235
4236         if (++synprot_error_count > smtp_max_synprot_errors)
4237           {
4238           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4239             "syntax or protocol errors (last command was \"%s\", %s)",
4240             host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
4241             string_from_gstring(s_connhad_log(NULL))
4242             );
4243           done = 1;
4244           }
4245
4246         break;
4247         }
4248
4249       /* If sender_host_unknown is true, we have got here via the -bs interface,
4250       not called from inetd. Otherwise, we are running an IP connection and the
4251       host address will be set. If the helo name is the primary name of this
4252       host and we haven't done a reverse lookup, force one now. If helo_verify_required
4253       is set, ensure that the HELO name matches the actual host. If helo_verify
4254       is set, do the same check, but softly. */
4255
4256       if (!f.sender_host_unknown)
4257         {
4258         BOOL old_helo_verified = f.helo_verified;
4259         uschar *p = smtp_cmd_data;
4260
4261         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4262         *p = 0;
4263
4264         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4265         because otherwise the log can be confusing. */
4266
4267         if (  !sender_host_name
4268            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4269                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4270           (void)host_name_lookup();
4271
4272         /* Rebuild the fullhost info to include the HELO name (and the real name
4273         if it was looked up.) */
4274
4275         host_build_sender_fullhost();  /* Rebuild */
4276         set_process_info("handling%s incoming connection from %s",
4277           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4278
4279         /* Verify if configured. This doesn't give much security, but it does
4280         make some people happy to be able to do it. If helo_verify_required is set,
4281         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4282         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4283         now obsolescent, since the verification can now be requested selectively
4284         at ACL time. */
4285
4286         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4287         if (fl.helo_verify_required || fl.helo_verify)
4288           {
4289           BOOL tempfail = !smtp_verify_helo();
4290           if (!f.helo_verified)
4291             {
4292             if (fl.helo_verify_required)
4293               {
4294               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4295                 tempfail? 451 : 550, hello);
4296               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4297                 tempfail? "temporarily " : "",
4298                 hello, sender_helo_name, host_and_ident(FALSE));
4299               f.helo_verified = old_helo_verified;
4300               break;                   /* End of HELO/EHLO processing */
4301               }
4302             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4303               "helo_try_verify_hosts\n", hello);
4304             }
4305           }
4306         }
4307
4308 #ifdef SUPPORT_SPF
4309       /* set up SPF context */
4310       spf_conn_init(sender_helo_name, sender_host_address);
4311 #endif
4312
4313       /* Apply an ACL check if one is defined; afterwards, recheck
4314       synchronization in case the client started sending in a delay. */
4315
4316       if (acl_smtp_helo)
4317         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4318                   &user_msg, &log_msg)) != OK)
4319           {
4320           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4321           sender_helo_name = NULL;
4322           host_build_sender_fullhost();  /* Rebuild */
4323           break;
4324           }
4325 #ifndef DISABLE_PIPE_CONNECT
4326         else if (!fl.pipe_connect_acceptable && !check_sync())
4327 #else
4328         else if (!check_sync())
4329 #endif
4330           goto SYNC_FAILURE;
4331
4332       /* Generate an OK reply. The default string includes the ident if present,
4333       and also the IP address if present. Reflecting back the ident is intended
4334       as a deterrent to mail forgers. For maximum efficiency, and also because
4335       some broken systems expect each response to be in a single packet, arrange
4336       that the entire reply is sent in one write(). */
4337
4338       fl.auth_advertised = FALSE;
4339       f.smtp_in_pipelining_advertised = FALSE;
4340 #ifndef DISABLE_TLS
4341       fl.tls_advertised = FALSE;
4342 #endif
4343       fl.dsn_advertised = FALSE;
4344 #ifdef SUPPORT_I18N
4345       fl.smtputf8_advertised = FALSE;
4346 #endif
4347
4348       /* Expand the per-connection message count limit option */
4349       smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4350
4351       smtp_code = US"250 ";        /* Default response code plus space*/
4352       if (!user_msg)
4353         {
4354         /* sender_host_name below will be tainted, so save on copy when we hit it */
4355         g = string_get_tainted(24, TRUE);
4356         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4357           smtp_code,
4358           smtp_active_hostname,
4359           sender_ident ? sender_ident : US"",
4360           sender_ident ? US" at " : US"",
4361           sender_host_name ? sender_host_name : sender_helo_name);
4362
4363         if (sender_host_address)
4364           g = string_fmt_append(g, " [%s]", sender_host_address);
4365         }
4366
4367       /* A user-supplied EHLO greeting may not contain more than one line. Note
4368       that the code returned by smtp_message_code() includes the terminating
4369       whitespace character. */
4370
4371       else
4372         {
4373         char *ss;
4374         int codelen = 4;
4375         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4376         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4377         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4378           {
4379           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4380             "newlines: message truncated: %s", string_printing(s));
4381           *ss = 0;
4382           }
4383         g = string_cat(NULL, s);
4384         }
4385
4386       g = string_catn(g, US"\r\n", 2);
4387
4388       /* If we received EHLO, we must create a multiline response which includes
4389       the functions supported. */
4390
4391       if (fl.esmtp)
4392         {
4393         g->s[3] = '-';
4394
4395         /* I'm not entirely happy with this, as an MTA is supposed to check
4396         that it has enough room to accept a message of maximum size before
4397         it sends this. However, there seems little point in not sending it.
4398         The actual size check happens later at MAIL FROM time. By postponing it
4399         till then, VRFY and EXPN can be used after EHLO when space is short. */
4400
4401         if (thismessage_size_limit > 0)
4402           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4403             thismessage_size_limit);
4404         else
4405           {
4406           g = string_catn(g, smtp_code, 3);
4407           g = string_catn(g, US"-SIZE\r\n", 7);
4408           }
4409
4410 #ifdef EXPERIMENTAL_ESMTP_LIMITS
4411         if (  (smtp_mailcmd_max > 0 || recipients_max)
4412            && verify_check_host(&limits_advertise_hosts) == OK)
4413           {
4414           g = string_fmt_append(g, "%.3s-LIMITS", smtp_code);
4415           if (smtp_mailcmd_max > 0)
4416             g = string_fmt_append(g, " MAILMAX=%d", smtp_mailcmd_max);
4417           if (recipients_max)
4418             g = string_fmt_append(g, " RCPTMAX=%d", recipients_max);
4419           g = string_catn(g, US"\r\n", 2);
4420           }
4421 #endif
4422
4423         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4424         clean; if it has an 8-bit character in its hand, it just sends it. It
4425         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4426         However, some users want this option simply in order to stop MUAs
4427         mangling messages that contain top-bit-set characters. It is therefore
4428         provided as an option. */
4429
4430         if (accept_8bitmime)
4431           {
4432           g = string_catn(g, smtp_code, 3);
4433           g = string_catn(g, US"-8BITMIME\r\n", 11);
4434           }
4435
4436         /* Advertise DSN support if configured to do so. */
4437         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4438           {
4439           g = string_catn(g, smtp_code, 3);
4440           g = string_catn(g, US"-DSN\r\n", 6);
4441           fl.dsn_advertised = TRUE;
4442           }
4443
4444         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4445         permitted to issue them; a check is made when any host actually tries. */
4446
4447         if (acl_smtp_etrn)
4448           {
4449           g = string_catn(g, smtp_code, 3);
4450           g = string_catn(g, US"-ETRN\r\n", 7);
4451           }
4452         if (acl_smtp_vrfy)
4453           {
4454           g = string_catn(g, smtp_code, 3);
4455           g = string_catn(g, US"-VRFY\r\n", 7);
4456           }
4457         if (acl_smtp_expn)
4458           {
4459           g = string_catn(g, smtp_code, 3);
4460           g = string_catn(g, US"-EXPN\r\n", 7);
4461           }
4462
4463         /* Exim is quite happy with pipelining, so let the other end know that
4464         it is safe to use it, unless advertising is disabled. */
4465
4466         if (  f.pipelining_enable
4467            && verify_check_host(&pipelining_advertise_hosts) == OK)
4468           {
4469           g = string_catn(g, smtp_code, 3);
4470           g = string_catn(g, US"-PIPELINING\r\n", 13);
4471           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4472           f.smtp_in_pipelining_advertised = TRUE;
4473
4474 #ifndef DISABLE_PIPE_CONNECT
4475           if (fl.pipe_connect_acceptable)
4476             {
4477             f.smtp_in_early_pipe_advertised = TRUE;
4478             g = string_catn(g, smtp_code, 3);
4479             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4480             }
4481 #endif
4482           }
4483
4484
4485         /* If any server authentication mechanisms are configured, advertise
4486         them if the current host is in auth_advertise_hosts. The problem with
4487         advertising always is that some clients then require users to
4488         authenticate (and aren't configurable otherwise) even though it may not
4489         be necessary (e.g. if the host is in host_accept_relay).
4490
4491         RFC 2222 states that SASL mechanism names contain only upper case
4492         letters, so output the names in upper case, though we actually recognize
4493         them in either case in the AUTH command. */
4494
4495         if (  auths
4496 #ifdef AUTH_TLS
4497            && !sender_host_authenticated
4498 #endif
4499            && verify_check_host(&auth_advertise_hosts) == OK
4500            )
4501           {
4502           BOOL first = TRUE;
4503           for (auth_instance * au = auths; au; au = au->next)
4504             {
4505             au->advertised = FALSE;
4506             if (au->server)
4507               {
4508               DEBUG(D_auth+D_expand) debug_printf_indent(
4509                 "Evaluating advertise_condition for %s %s athenticator\n",
4510                 au->name, au->public_name);
4511               if (  !au->advertise_condition
4512                  || expand_check_condition(au->advertise_condition, au->name,
4513                         US"authenticator")
4514                  )
4515                 {
4516                 int saveptr;
4517                 if (first)
4518                   {
4519                   g = string_catn(g, smtp_code, 3);
4520                   g = string_catn(g, US"-AUTH", 5);
4521                   first = FALSE;
4522                   fl.auth_advertised = TRUE;
4523                   }
4524                 saveptr = g->ptr;
4525                 g = string_catn(g, US" ", 1);
4526                 g = string_cat (g, au->public_name);
4527                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4528                 au->advertised = TRUE;
4529                 }
4530               }
4531             }
4532
4533           if (!first) g = string_catn(g, US"\r\n", 2);
4534           }
4535
4536         /* RFC 3030 CHUNKING */
4537
4538         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4539           {
4540           g = string_catn(g, smtp_code, 3);
4541           g = string_catn(g, US"-CHUNKING\r\n", 11);
4542           f.chunking_offered = TRUE;
4543           chunking_state = CHUNKING_OFFERED;
4544           }
4545
4546         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4547         if it has been included in the binary, and the host matches
4548         tls_advertise_hosts. We must *not* advertise if we are already in a
4549         secure connection. */
4550
4551 #ifndef DISABLE_TLS
4552         if (tls_in.active.sock < 0 &&
4553             verify_check_host(&tls_advertise_hosts) != FAIL)
4554           {
4555           g = string_catn(g, smtp_code, 3);
4556           g = string_catn(g, US"-STARTTLS\r\n", 11);
4557           fl.tls_advertised = TRUE;
4558           }
4559 #endif
4560
4561 #ifndef DISABLE_PRDR
4562         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4563         if (prdr_enable)
4564           {
4565           g = string_catn(g, smtp_code, 3);
4566           g = string_catn(g, US"-PRDR\r\n", 7);
4567           }
4568 #endif
4569
4570 #ifdef SUPPORT_I18N
4571         if (  accept_8bitmime
4572            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4573           {
4574           g = string_catn(g, smtp_code, 3);
4575           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4576           fl.smtputf8_advertised = TRUE;
4577           }
4578 #endif
4579
4580         /* Finish off the multiline reply with one that is always available. */
4581
4582         g = string_catn(g, smtp_code, 3);
4583         g = string_catn(g, US" HELP\r\n", 7);
4584         }
4585
4586       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4587       has been seen. */
4588
4589 #ifndef DISABLE_TLS
4590       if (tls_in.active.sock >= 0)
4591         (void)tls_write(NULL, g->s, g->ptr,
4592 # ifndef DISABLE_PIPE_CONNECT
4593                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4594 # else
4595                         FALSE);
4596 # endif
4597       else
4598 #endif
4599         (void) fwrite(g->s, 1, g->ptr, smtp_out);
4600
4601       DEBUG(D_receive)
4602         {
4603         uschar *cr;
4604
4605         (void) string_from_gstring(g);
4606         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4607           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4608         debug_printf("SMTP>> %s", g->s);
4609         }
4610       fl.helo_seen = TRUE;
4611
4612       /* Reset the protocol and the state, abandoning any previous message. */
4613       received_protocol =
4614         (sender_host_address ? protocols : protocols_local)
4615           [ (fl.esmtp
4616             ? pextend + (sender_host_authenticated ? pauthed : 0)
4617             : pnormal)
4618           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4619           ];
4620       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4621       reset_point = smtp_reset(reset_point);
4622       toomany = FALSE;
4623       break;   /* HELO/EHLO */
4624
4625
4626     /* The MAIL command requires an address as an operand. All we do
4627     here is to parse it for syntactic correctness. The form "<>" is
4628     a special case which converts into an empty string. The start/end
4629     pointers in the original are not used further for this address, as
4630     it is the canonical extracted address which is all that is kept. */
4631
4632     case MAIL_CMD:
4633       HAD(SCH_MAIL);
4634       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4635       message_start();
4636       was_rej_mail = TRUE;               /* Reset if accepted */
4637       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4638
4639       if (!fl.helo_seen)
4640         if (  fl.helo_verify_required
4641            || verify_check_host(&hosts_require_helo) == OK)
4642           {
4643           smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4644           log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4645             "HELO/EHLO given", host_and_ident(FALSE));
4646           break;
4647           }
4648         else if (smtp_mailcmd_max < 0)
4649           smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4650
4651       if (sender_address)
4652         {
4653         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4654           US"sender already given");
4655         break;
4656         }
4657
4658       if (!*smtp_cmd_data)
4659         {
4660         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4661           US"MAIL must have an address operand");
4662         break;
4663         }
4664
4665       /* Check to see if the limit for messages per connection would be
4666       exceeded by accepting further messages. */
4667
4668       if (smtp_mailcmd_max > 0 && smtp_mailcmd_count > smtp_mailcmd_max)
4669         {
4670         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4671         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4672           "messages in one connection", host_and_ident(TRUE));
4673         break;
4674         }
4675
4676       /* Reset for start of message - even if this is going to fail, we
4677       obviously need to throw away any previous data. */
4678
4679       cancel_cutthrough_connection(TRUE, US"MAIL received");
4680       reset_point = smtp_reset(reset_point);
4681       toomany = FALSE;
4682       sender_data = recipient_data = NULL;
4683
4684       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4685
4686       if (fl.esmtp) for(;;)
4687         {
4688         uschar *name, *value, *end;
4689         unsigned long int size;
4690         BOOL arg_error = FALSE;
4691
4692         if (!extract_option(&name, &value)) break;
4693
4694         for (mail_args = env_mail_type_list;
4695              mail_args->value != ENV_MAIL_OPT_NULL;
4696              mail_args++
4697             )
4698           if (strcmpic(name, mail_args->name) == 0)
4699             break;
4700         if (mail_args->need_value && strcmpic(value, US"") == 0)
4701           break;
4702
4703         switch(mail_args->value)
4704           {
4705           /* Handle SIZE= by reading the value. We don't do the check till later,
4706           in order to be able to log the sender address on failure. */
4707           case ENV_MAIL_OPT_SIZE:
4708             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4709               {
4710               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4711                 size = INT_MAX;
4712               message_size = (int)size;
4713               }
4714             else
4715               arg_error = TRUE;
4716             break;
4717
4718           /* If this session was initiated with EHLO and accept_8bitmime is set,
4719           Exim will have indicated that it supports the BODY=8BITMIME option. In
4720           fact, it does not support this according to the RFCs, in that it does not
4721           take any special action for forwarding messages containing 8-bit
4722           characters. That is why accept_8bitmime is not the default setting, but
4723           some sites want the action that is provided. We recognize both "8BITMIME"
4724           and "7BIT" as body types, but take no action. */
4725           case ENV_MAIL_OPT_BODY:
4726             if (accept_8bitmime) {
4727               if (strcmpic(value, US"8BITMIME") == 0)
4728                 body_8bitmime = 8;
4729               else if (strcmpic(value, US"7BIT") == 0)
4730                 body_8bitmime = 7;
4731               else
4732                 {
4733                 body_8bitmime = 0;
4734                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4735                   US"invalid data for BODY");
4736                 goto COMMAND_LOOP;
4737                 }
4738               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4739               break;
4740             }
4741             arg_error = TRUE;
4742             break;
4743
4744           /* Handle the two DSN options, but only if configured to do so (which
4745           will have caused "DSN" to be given in the EHLO response). The code itself
4746           is included only if configured in at build time. */
4747
4748           case ENV_MAIL_OPT_RET:
4749             if (fl.dsn_advertised)
4750               {
4751               /* Check if RET has already been set */
4752               if (dsn_ret > 0)
4753                 {
4754                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4755                   US"RET can be specified once only");
4756                 goto COMMAND_LOOP;
4757                 }
4758               dsn_ret = strcmpic(value, US"HDRS") == 0
4759                 ? dsn_ret_hdrs
4760                 : strcmpic(value, US"FULL") == 0
4761                 ? dsn_ret_full
4762                 : 0;
4763               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4764               /* Check for invalid invalid value, and exit with error */
4765               if (dsn_ret == 0)
4766                 {
4767                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4768                   US"Value for RET is invalid");
4769                 goto COMMAND_LOOP;
4770                 }
4771               }
4772             break;
4773           case ENV_MAIL_OPT_ENVID:
4774             if (fl.dsn_advertised)
4775               {
4776               /* Check if the dsn envid has been already set */
4777               if (dsn_envid)
4778                 {
4779                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4780                   US"ENVID can be specified once only");
4781                 goto COMMAND_LOOP;
4782                 }
4783               dsn_envid = string_copy(value);
4784               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4785               }
4786             break;
4787
4788           /* Handle the AUTH extension. If the value given is not "<>" and either
4789           the ACL says "yes" or there is no ACL but the sending host is
4790           authenticated, we set it up as the authenticated sender. However, if the
4791           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4792           the condition is met. The value of AUTH is an xtext, which means that +,
4793           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4794           coding. */
4795           case ENV_MAIL_OPT_AUTH:
4796             if (Ustrcmp(value, "<>") != 0)
4797               {
4798               int rc;
4799               uschar *ignore_msg;
4800
4801               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4802                 {
4803                 /* Put back terminator overrides for error message */
4804                 value[-1] = '=';
4805                 name[-1] = ' ';
4806                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4807                   US"invalid data for AUTH");
4808                 goto COMMAND_LOOP;
4809                 }
4810               if (!acl_smtp_mailauth)
4811                 {
4812                 ignore_msg = US"client not authenticated";
4813                 rc = sender_host_authenticated ? OK : FAIL;
4814                 }
4815               else
4816                 {
4817                 ignore_msg = US"rejected by ACL";
4818                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4819                   &user_msg, &log_msg);
4820                 }
4821
4822               switch (rc)
4823                 {
4824                 case OK:
4825                   if (authenticated_by == NULL ||
4826                       authenticated_by->mail_auth_condition == NULL ||
4827                       expand_check_condition(authenticated_by->mail_auth_condition,
4828                           authenticated_by->name, US"authenticator"))
4829                     break;     /* Accept the AUTH */
4830
4831                   ignore_msg = US"server_mail_auth_condition failed";
4832                   if (authenticated_id != NULL)
4833                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4834                       ignore_msg, authenticated_id);
4835
4836                 /* Fall through */
4837
4838                 case FAIL:
4839                   authenticated_sender = NULL;
4840                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4841                     value, host_and_ident(TRUE), ignore_msg);
4842                   break;
4843
4844                 /* Should only get DEFER or ERROR here. Put back terminator
4845                 overrides for error message */
4846
4847                 default:
4848                   value[-1] = '=';
4849                   name[-1] = ' ';
4850                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4851                     log_msg);
4852                   goto COMMAND_LOOP;
4853                 }
4854               }
4855               break;
4856
4857 #ifndef DISABLE_PRDR
4858           case ENV_MAIL_OPT_PRDR:
4859             if (prdr_enable)
4860               prdr_requested = TRUE;
4861             break;
4862 #endif
4863
4864 #ifdef SUPPORT_I18N
4865           case ENV_MAIL_OPT_UTF8:
4866             if (!fl.smtputf8_advertised)
4867               {
4868               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4869                 US"SMTPUTF8 used when not advertised");
4870               goto COMMAND_LOOP;
4871               }
4872
4873             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4874             message_smtputf8 = allow_utf8_domains = TRUE;
4875             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4876               {
4877               int old_pool = store_pool;
4878               store_pool = POOL_PERM;
4879               received_protocol = string_sprintf("utf8%s", received_protocol);
4880               store_pool = old_pool;
4881               }
4882             break;
4883 #endif
4884
4885           /* No valid option. Stick back the terminator characters and break
4886           the loop.  Do the name-terminator second as extract_option sets
4887           value==name when it found no equal-sign.
4888           An error for a malformed address will occur. */
4889           case ENV_MAIL_OPT_NULL:
4890             value[-1] = '=';
4891             name[-1] = ' ';
4892             arg_error = TRUE;
4893             break;
4894
4895           default:  assert(0);
4896           }
4897         /* Break out of for loop if switch() had bad argument or
4898            when start of the email address is reached */
4899         if (arg_error) break;
4900         }
4901
4902       /* If we have passed the threshold for rate limiting, apply the current
4903       delay, and update it for next time, provided this is a limited host. */
4904
4905       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4906           verify_check_host(&smtp_ratelimit_hosts) == OK)
4907         {
4908         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4909           smtp_delay_mail/1000.0);
4910         millisleep((int)smtp_delay_mail);
4911         smtp_delay_mail *= smtp_rlm_factor;
4912         if (smtp_delay_mail > (double)smtp_rlm_limit)
4913           smtp_delay_mail = (double)smtp_rlm_limit;
4914         }
4915
4916       /* Now extract the address, first applying any SMTP-time rewriting. The
4917       TRUE flag allows "<>" as a sender address. */
4918
4919       raw_sender = rewrite_existflags & rewrite_smtp
4920         /* deconst ok as smtp_cmd_data was not const */
4921         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4922                       global_rewrite_rules)
4923         : smtp_cmd_data;
4924
4925       raw_sender =
4926         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4927           TRUE);
4928
4929       if (!raw_sender)
4930         {
4931         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4932         break;
4933         }
4934
4935       sender_address = raw_sender;
4936
4937       /* If there is a configured size limit for mail, check that this message
4938       doesn't exceed it. The check is postponed to this point so that the sender
4939       can be logged. */
4940
4941       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4942         {
4943         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4944         log_write(L_size_reject,
4945             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4946             "message too big: size%s=%d max=%d",
4947             sender_address,
4948             host_and_ident(TRUE),
4949             (message_size == INT_MAX)? ">" : "",
4950             message_size,
4951             thismessage_size_limit);
4952         sender_address = NULL;
4953         break;
4954         }
4955
4956       /* Check there is enough space on the disk unless configured not to.
4957       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4958       plus the current message - i.e. we accept the message only if it won't
4959       reduce the space below the threshold. Add 5000 to the size to allow for
4960       overheads such as the Received: line and storing of recipients, etc.
4961       By putting the check here, even when SIZE is not given, it allow VRFY
4962       and EXPN etc. to be used when space is short. */
4963
4964       if (!receive_check_fs(
4965            smtp_check_spool_space && message_size >= 0
4966               ? message_size + 5000 : 0))
4967         {
4968         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4969         sender_address = NULL;
4970         break;
4971         }
4972
4973       /* If sender_address is unqualified, reject it, unless this is a locally
4974       generated message, or the sending host or net is permitted to send
4975       unqualified addresses - typically local machines behaving as MUAs -
4976       in which case just qualify the address. The flag is set above at the start
4977       of the SMTP connection. */
4978
4979       if (!sender_domain && *sender_address)
4980         if (f.allow_unqualified_sender)
4981           {
4982           sender_domain = Ustrlen(sender_address) + 1;
4983           /* deconst ok as sender_address was not const */
4984           sender_address = US rewrite_address_qualify(sender_address, FALSE);
4985           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4986             raw_sender);
4987           }
4988         else
4989           {
4990           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4991             smtp_cmd_data);
4992           log_write(L_smtp_syntax_error,
4993             LOG_MAIN|LOG_REJECT,
4994             "unqualified sender rejected: <%s> %s%s",
4995             raw_sender,
4996             host_and_ident(TRUE),
4997             host_lookup_msg);
4998           sender_address = NULL;
4999           break;
5000           }
5001
5002       /* Apply an ACL check if one is defined, before responding. Afterwards,
5003       when pipelining is not advertised, do another sync check in case the ACL
5004       delayed and the client started sending in the meantime. */
5005
5006       if (acl_smtp_mail)
5007         {
5008         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
5009         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
5010           goto SYNC_FAILURE;
5011         }
5012       else
5013         rc = OK;
5014
5015       if (rc == OK || rc == DISCARD)
5016         {
5017         BOOL more = pipeline_response();
5018
5019         if (!user_msg)
5020           smtp_printf("%s%s%s", more, US"250 OK",
5021                     #ifndef DISABLE_PRDR
5022                       prdr_requested ? US", PRDR Requested" : US"",
5023                     #else
5024                       US"",
5025                     #endif
5026                       US"\r\n");
5027         else
5028           {
5029         #ifndef DISABLE_PRDR
5030           if (prdr_requested)
5031              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
5032         #endif
5033           smtp_user_msg(US"250", user_msg);
5034           }
5035         smtp_delay_rcpt = smtp_rlr_base;
5036         f.recipients_discarded = (rc == DISCARD);
5037         was_rej_mail = FALSE;
5038         }
5039       else
5040         {
5041         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
5042         sender_address = NULL;
5043         }
5044       break;
5045
5046
5047     /* The RCPT command requires an address as an operand. There may be any
5048     number of RCPT commands, specifying multiple recipients. We build them all
5049     into a data structure. The start/end values given by parse_extract_address
5050     are not used, as we keep only the extracted address. */
5051
5052     case RCPT_CMD:
5053       HAD(SCH_RCPT);
5054       /* We got really to many recipients. A check against configured
5055       limits is done later */
5056       if (rcpt_count < 0 || rcpt_count >= INT_MAX/2)
5057         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Too many recipients: %d", rcpt_count);
5058       rcpt_count++;
5059       was_rcpt = fl.rcpt_in_progress = TRUE;
5060
5061       /* There must be a sender address; if the sender was rejected and
5062       pipelining was advertised, we assume the client was pipelining, and do not
5063       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5064       get the same treatment. */
5065
5066       if (sender_address == NULL)
5067         {
5068         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5069           {
5070           smtp_printf("503 sender not yet given\r\n", FALSE);
5071           was_rej_mail = TRUE;
5072           }
5073         else
5074           {
5075           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5076             US"sender not yet given");
5077           was_rcpt = FALSE;             /* Not a valid RCPT */
5078           }
5079         rcpt_fail_count++;
5080         break;
5081         }
5082
5083       /* Check for an operand */
5084
5085       if (smtp_cmd_data[0] == 0)
5086         {
5087         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5088           US"RCPT must have an address operand");
5089         rcpt_fail_count++;
5090         break;
5091         }
5092
5093       /* Set the DSN flags orcpt and dsn_flags from the session*/
5094       orcpt = NULL;
5095       dsn_flags = 0;
5096
5097       if (fl.esmtp) for(;;)
5098         {
5099         uschar *name, *value;
5100
5101         if (!extract_option(&name, &value))
5102           break;
5103
5104         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5105           {
5106           /* Check whether orcpt has been already set */
5107           if (orcpt)
5108             {
5109             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5110               US"ORCPT can be specified once only");
5111             goto COMMAND_LOOP;
5112             }
5113           orcpt = string_copy(value);
5114           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5115           }
5116
5117         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5118           {
5119           /* Check if the notify flags have been already set */
5120           if (dsn_flags > 0)
5121             {
5122             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5123                 US"NOTIFY can be specified once only");
5124             goto COMMAND_LOOP;
5125             }
5126           if (strcmpic(value, US"NEVER") == 0)
5127             dsn_flags |= rf_notify_never;
5128           else
5129             {
5130             uschar *p = value;
5131             while (*p != 0)
5132               {
5133               uschar *pp = p;
5134               while (*pp != 0 && *pp != ',') pp++;
5135               if (*pp == ',') *pp++ = 0;
5136               if (strcmpic(p, US"SUCCESS") == 0)
5137                 {
5138                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5139                 dsn_flags |= rf_notify_success;
5140                 }
5141               else if (strcmpic(p, US"FAILURE") == 0)
5142                 {
5143                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5144                 dsn_flags |= rf_notify_failure;
5145                 }
5146               else if (strcmpic(p, US"DELAY") == 0)
5147                 {
5148                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5149                 dsn_flags |= rf_notify_delay;
5150                 }
5151               else
5152                 {
5153                 /* Catch any strange values */
5154                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5155                   US"Invalid value for NOTIFY parameter");
5156                 goto COMMAND_LOOP;
5157                 }
5158               p = pp;
5159               }
5160               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5161             }
5162           }
5163
5164         /* Unknown option. Stick back the terminator characters and break
5165         the loop. An error for a malformed address will occur. */
5166
5167         else
5168           {
5169           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5170           name[-1] = ' ';
5171           value[-1] = '=';
5172           break;
5173           }
5174         }
5175
5176       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5177       as a recipient address */
5178
5179       recipient = rewrite_existflags & rewrite_smtp
5180         /* deconst ok as smtp_cmd_data was not const */
5181         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5182             global_rewrite_rules)
5183         : smtp_cmd_data;
5184
5185       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5186         &recipient_domain, FALSE)))
5187         {
5188         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5189         rcpt_fail_count++;
5190         break;
5191         }
5192
5193       /* If the recipient address is unqualified, reject it, unless this is a
5194       locally generated message. However, unqualified addresses are permitted
5195       from a configured list of hosts and nets - typically when behaving as
5196       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5197       really. The flag is set at the start of the SMTP connection.
5198
5199       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5200       assumed this meant "reserved local part", but the revision of RFC 821 and
5201       friends now makes it absolutely clear that it means *mailbox*. Consequently
5202       we must always qualify this address, regardless. */
5203
5204       if (!recipient_domain)
5205         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5206                                     US"recipient")))
5207           {
5208           rcpt_fail_count++;
5209           break;
5210           }
5211
5212       /* Check maximum allowed */
5213
5214       if (rcpt_count+1 < 0 || rcpt_count > recipients_max && recipients_max > 0)
5215         {
5216         if (recipients_max_reject)
5217           {
5218           rcpt_fail_count++;
5219           smtp_printf("552 too many recipients\r\n", FALSE);
5220           if (!toomany)
5221             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5222               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5223           }
5224         else
5225           {
5226           rcpt_defer_count++;
5227           smtp_printf("452 too many recipients\r\n", FALSE);
5228           if (!toomany)
5229             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5230               "temporarily rejected: sender=<%s> %s", sender_address,
5231               host_and_ident(TRUE));
5232           }
5233
5234         toomany = TRUE;
5235         break;
5236         }
5237
5238       /* If we have passed the threshold for rate limiting, apply the current
5239       delay, and update it for next time, provided this is a limited host. */
5240
5241       if (rcpt_count > smtp_rlr_threshold &&
5242           verify_check_host(&smtp_ratelimit_hosts) == OK)
5243         {
5244         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5245           smtp_delay_rcpt/1000.0);
5246         millisleep((int)smtp_delay_rcpt);
5247         smtp_delay_rcpt *= smtp_rlr_factor;
5248         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5249           smtp_delay_rcpt = (double)smtp_rlr_limit;
5250         }
5251
5252       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5253       for them. Otherwise, check the access control list for this recipient. As
5254       there may be a delay in this, re-check for a synchronization error
5255       afterwards, unless pipelining was advertised. */
5256
5257       if (f.recipients_discarded)
5258         rc = DISCARD;
5259       else
5260         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5261                       &log_msg)) == OK
5262            && !f.smtp_in_pipelining_advertised && !check_sync())
5263           goto SYNC_FAILURE;
5264
5265       /* The ACL was happy */
5266
5267       if (rc == OK)
5268         {
5269         BOOL more = pipeline_response();
5270
5271         if (user_msg)
5272           smtp_user_msg(US"250", user_msg);
5273         else
5274           smtp_printf("250 Accepted\r\n", more);
5275         receive_add_recipient(recipient, -1);
5276
5277         /* Set the dsn flags in the recipients_list */
5278         recipients_list[recipients_count-1].orcpt = orcpt;
5279         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5280
5281         /* DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5282           recipients_list[recipients_count-1].orcpt,
5283           recipients_list[recipients_count-1].dsn_flags); */
5284         }
5285
5286       /* The recipient was discarded */
5287
5288       else if (rc == DISCARD)
5289         {
5290         if (user_msg)
5291           smtp_user_msg(US"250", user_msg);
5292         else
5293           smtp_printf("250 Accepted\r\n", FALSE);
5294         rcpt_fail_count++;
5295         discarded = TRUE;
5296         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5297           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5298           sender_address_unrewritten ? sender_address_unrewritten : sender_address,
5299           smtp_cmd_argument, f.recipients_discarded ? "MAIL" : "RCPT",
5300           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5301         }
5302
5303       /* Either the ACL failed the address, or it was deferred. */
5304
5305       else
5306         {
5307         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5308         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5309         }
5310       break;
5311
5312
5313     /* The DATA command is legal only if it follows successful MAIL FROM
5314     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5315     not counted as a protocol error if it follows RCPT (which must have been
5316     rejected if there are no recipients.) This function is complete when a
5317     valid DATA command is encountered.
5318
5319     Note concerning the code used: RFC 2821 says this:
5320
5321      -  If there was no MAIL, or no RCPT, command, or all such commands
5322         were rejected, the server MAY return a "command out of sequence"
5323         (503) or "no valid recipients" (554) reply in response to the
5324         DATA command.
5325
5326     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5327     because it is the same whether pipelining is in use or not.
5328
5329     If all the RCPT commands that precede DATA provoked the same error message
5330     (often indicating some kind of system error), it is helpful to include it
5331     with the DATA rejection (an idea suggested by Tony Finch). */
5332
5333     case BDAT_CMD:
5334       {
5335       int n;
5336
5337       HAD(SCH_BDAT);
5338       if (chunking_state != CHUNKING_OFFERED)
5339         {
5340         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5341           US"BDAT command used when CHUNKING not advertised");
5342         break;
5343         }
5344
5345       /* grab size, endmarker */
5346
5347       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5348         {
5349         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5350           US"missing size for BDAT command");
5351         break;
5352         }
5353       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5354         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5355       chunking_data_left = chunking_datasize;
5356       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5357                                     (int)chunking_state, chunking_data_left);
5358
5359       f.bdat_readers_wanted = TRUE; /* FIXME: redundant vs chunking_state? */
5360       f.dot_ends = FALSE;
5361
5362       goto DATA_BDAT;
5363       }
5364
5365     case DATA_CMD:
5366       HAD(SCH_DATA);
5367       f.dot_ends = TRUE;
5368       f.bdat_readers_wanted = FALSE;
5369
5370     DATA_BDAT:          /* Common code for DATA and BDAT */
5371 #ifndef DISABLE_PIPE_CONNECT
5372       fl.pipe_connect_acceptable = FALSE;
5373 #endif
5374       if (!discarded && recipients_count <= 0)
5375         {
5376         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5377           {
5378           uschar *code = US"503";
5379           int len = Ustrlen(rcpt_smtp_response);
5380           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5381             "this error:");
5382           /* Responses from smtp_printf() will have \r\n on the end */
5383           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5384             rcpt_smtp_response[len-2] = 0;
5385           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5386           }
5387         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5388           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5389             smtp_names[smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)]]);
5390         else
5391           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5392             smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)] == SCH_DATA
5393             ? US"valid RCPT command must precede DATA"
5394             : US"valid RCPT command must precede BDAT");
5395
5396         if (chunking_state > CHUNKING_OFFERED)
5397           {
5398           bdat_push_receive_functions();
5399           bdat_flush_data();
5400           }
5401         break;
5402         }
5403
5404       if (toomany && recipients_max_reject)
5405         {
5406         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5407         sender_address_unrewritten = NULL;
5408         smtp_printf("554 Too many recipients\r\n", FALSE);
5409
5410         if (chunking_state > CHUNKING_OFFERED)
5411           {
5412           bdat_push_receive_functions();
5413           bdat_flush_data();
5414           }
5415         break;
5416         }
5417
5418       if (chunking_state > CHUNKING_OFFERED)
5419         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5420       else
5421         {
5422         /* If there is an ACL, re-check the synchronization afterwards, since the
5423         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5424         to get the DATA command sent. */
5425
5426         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5427           rc = OK;
5428         else
5429           {
5430           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5431           f.enable_dollar_recipients = TRUE;
5432           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5433             &log_msg);
5434           f.enable_dollar_recipients = FALSE;
5435           if (rc == OK && !check_sync())
5436             goto SYNC_FAILURE;
5437
5438           if (rc != OK)
5439             {   /* Either the ACL failed the address, or it was deferred. */
5440             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5441             break;
5442             }
5443           }
5444
5445         if (user_msg)
5446           smtp_user_msg(US"354", user_msg);
5447         else
5448           smtp_printf(
5449             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5450         }
5451
5452       if (f.bdat_readers_wanted)
5453         bdat_push_receive_functions();
5454
5455 #ifdef TCP_QUICKACK
5456       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5457         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5458                 US &on, sizeof(on));
5459 #endif
5460       done = 3;
5461       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5462
5463       break;
5464
5465
5466     case VRFY_CMD:
5467       {
5468       uschar * address;
5469
5470       HAD(SCH_VRFY);
5471
5472       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5473             &start, &end, &recipient_domain, FALSE)))
5474         {
5475         smtp_printf("501 %s\r\n", FALSE, errmess);
5476         break;
5477         }
5478
5479       if (!recipient_domain)
5480         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5481                                     US"verify")))
5482           break;
5483
5484       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5485                     &user_msg, &log_msg)) != OK)
5486         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5487       else
5488         {
5489         uschar * s = NULL;
5490         address_item * addr = deliver_make_addr(address, FALSE);
5491
5492         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5493                -1, -1, NULL, NULL, NULL))
5494           {
5495           case OK:
5496             s = string_sprintf("250 <%s> is deliverable", address);
5497             break;
5498
5499           case DEFER:
5500             s = (addr->user_message != NULL)?
5501               string_sprintf("451 <%s> %s", address, addr->user_message) :
5502               string_sprintf("451 Cannot resolve <%s> at this time", address);
5503             break;
5504
5505           case FAIL:
5506             s = (addr->user_message != NULL)?
5507               string_sprintf("550 <%s> %s", address, addr->user_message) :
5508               string_sprintf("550 <%s> is not deliverable", address);
5509             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5510               smtp_cmd_argument, host_and_ident(TRUE));
5511             break;
5512           }
5513
5514         smtp_printf("%s\r\n", FALSE, s);
5515         }
5516       break;
5517       }
5518
5519
5520     case EXPN_CMD:
5521       HAD(SCH_EXPN);
5522       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5523       if (rc != OK)
5524         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5525       else
5526         {
5527         BOOL save_log_testing_mode = f.log_testing_mode;
5528         f.address_test_mode = f.log_testing_mode = TRUE;
5529         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5530           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5531           NULL, NULL, NULL);
5532         f.address_test_mode = FALSE;
5533         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5534         }
5535       break;
5536
5537
5538     #ifndef DISABLE_TLS
5539
5540     case STARTTLS_CMD:
5541       HAD(SCH_STARTTLS);
5542       if (!fl.tls_advertised)
5543         {
5544         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5545           US"STARTTLS command used when not advertised");
5546         break;
5547         }
5548
5549       /* Apply an ACL check if one is defined */
5550
5551       if (  acl_smtp_starttls
5552          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5553                     &user_msg, &log_msg)) != OK
5554          )
5555         {
5556         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5557         break;
5558         }
5559
5560       /* RFC 2487 is not clear on when this command may be sent, though it
5561       does state that all information previously obtained from the client
5562       must be discarded if a TLS session is started. It seems reasonable to
5563       do an implied RSET when STARTTLS is received. */
5564
5565       incomplete_transaction_log(US"STARTTLS");
5566       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5567       reset_point = smtp_reset(reset_point);
5568       toomany = FALSE;
5569       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5570
5571       /* There's an attack where more data is read in past the STARTTLS command
5572       before TLS is negotiated, then assumed to be part of the secure session
5573       when used afterwards; we use segregated input buffers, so are not
5574       vulnerable, but we want to note when it happens and, for sheer paranoia,
5575       ensure that the buffer is "wiped".
5576       Pipelining sync checks will normally have protected us too, unless disabled
5577       by configuration. */
5578
5579       if (receive_smtp_buffered())
5580         {
5581         DEBUG(D_any)
5582           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5583         if (tls_in.active.sock < 0)
5584           smtp_inend = smtp_inptr = smtp_inbuffer;
5585         /* and if TLS is already active, tls_server_start() should fail */
5586         }
5587
5588       /* There is nothing we value in the input buffer and if TLS is successfully
5589       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5590       fresh content into it.  The buffer contains arbitrary content from an
5591       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5592       It seems safest to just wipe away the content rather than leave it as a
5593       target to jump to. */
5594
5595       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5596
5597       /* Attempt to start up a TLS session, and if successful, discard all
5598       knowledge that was obtained previously. At least, that's what the RFC says,
5599       and that's what happens by default. However, in order to work round YAEB,
5600       there is an option to remember the esmtp state. Sigh.
5601
5602       We must allow for an extra EHLO command and an extra AUTH command after
5603       STARTTLS that don't add to the nonmail command count. */
5604
5605       s = NULL;
5606       if ((rc = tls_server_start(&s)) == OK)
5607         {
5608         if (!tls_remember_esmtp)
5609           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5610         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5611         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5612         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5613         if (sender_helo_name)
5614           {
5615           sender_helo_name = NULL;
5616           host_build_sender_fullhost();  /* Rebuild */
5617           set_process_info("handling incoming TLS connection from %s",
5618             host_and_ident(FALSE));
5619           }
5620         received_protocol =
5621           (sender_host_address ? protocols : protocols_local)
5622             [ (fl.esmtp
5623               ? pextend + (sender_host_authenticated ? pauthed : 0)
5624               : pnormal)
5625             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5626             ];
5627
5628         sender_host_auth_pubname = sender_host_authenticated = NULL;
5629         authenticated_id = NULL;
5630         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5631         DEBUG(D_tls) debug_printf("TLS active\n");
5632         break;     /* Successful STARTTLS */
5633         }
5634       else
5635         (void) smtp_log_tls_fail(s);
5636
5637       /* Some local configuration problem was discovered before actually trying
5638       to do a TLS handshake; give a temporary error. */
5639
5640       if (rc == DEFER)
5641         {
5642         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5643         break;
5644         }
5645
5646       /* Hard failure. Reject everything except QUIT or closed connection. One
5647       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5648       set, but we must still reject all incoming commands.  Another is a handshake
5649       failure - and there may some encrypted data still in the pipe to us, which we
5650       see as garbage commands. */
5651
5652       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5653       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5654         {
5655         case EOF_CMD:
5656           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5657             smtp_get_connection_info());
5658           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5659           done = 2;
5660           break;
5661
5662         /* It is perhaps arguable as to which exit ACL should be called here,
5663         but as it is probably a situation that almost never arises, it
5664         probably doesn't matter. We choose to call the real QUIT ACL, which in
5665         some sense is perhaps "right". */
5666
5667         case QUIT_CMD:
5668           f.smtp_in_quit = TRUE;
5669           user_msg = NULL;
5670           if (  acl_smtp_quit
5671              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5672                                 &log_msg)) == ERROR))
5673               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5674                 log_msg);
5675           if (user_msg)
5676             smtp_respond(US"221", 3, TRUE, user_msg);
5677           else
5678             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5679           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5680             smtp_get_connection_info());
5681           done = 2;
5682           break;
5683
5684         default:
5685           smtp_printf("554 Security failure\r\n", FALSE);
5686           break;
5687         }
5688       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5689       break;
5690     #endif
5691
5692
5693     /* The ACL for QUIT is provided for gathering statistical information or
5694     similar; it does not affect the response code, but it can supply a custom
5695     message. */
5696
5697     case QUIT_CMD:
5698       smtp_quit_handler(&user_msg, &log_msg);
5699       done = 2;
5700       break;
5701
5702
5703     case RSET_CMD:
5704       smtp_rset_handler();
5705       cancel_cutthrough_connection(TRUE, US"RSET received");
5706       reset_point = smtp_reset(reset_point);
5707       toomany = FALSE;
5708       break;
5709
5710
5711     case NOOP_CMD:
5712       HAD(SCH_NOOP);
5713       smtp_printf("250 OK\r\n", FALSE);
5714       break;
5715
5716
5717     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5718     used, a check will be done for permitted hosts. Show STARTTLS only if not
5719     already in a TLS session and if it would be advertised in the EHLO
5720     response. */
5721
5722     case HELP_CMD:
5723       HAD(SCH_HELP);
5724       smtp_printf("214-Commands supported:\r\n", TRUE);
5725         {
5726         uschar buffer[256];
5727         buffer[0] = 0;
5728         Ustrcat(buffer, US" AUTH");
5729         #ifndef DISABLE_TLS
5730         if (tls_in.active.sock < 0 &&
5731             verify_check_host(&tls_advertise_hosts) != FAIL)
5732           Ustrcat(buffer, US" STARTTLS");
5733         #endif
5734         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5735         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5736         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5737         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5738         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5739         smtp_printf("214%s\r\n", FALSE, buffer);
5740         }
5741       break;
5742
5743
5744     case EOF_CMD:
5745       incomplete_transaction_log(US"connection lost");
5746       smtp_notquit_exit(US"connection-lost", US"421",
5747         US"%s lost input connection", smtp_active_hostname);
5748
5749       /* Don't log by default unless in the middle of a message, as some mailers
5750       just drop the call rather than sending QUIT, and it clutters up the logs.
5751       */
5752
5753       if (sender_address || recipients_count > 0)
5754         log_write(L_lost_incoming_connection, LOG_MAIN,
5755           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5756           f.sender_host_unknown ? "EOF" : "disconnection",
5757           f.tcp_in_fastopen_logged
5758           ? US""
5759           : f.tcp_in_fastopen
5760           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5761           : US"",
5762           host_and_ident(FALSE), smtp_read_error,
5763           string_timesince(&smtp_connection_start)
5764           );
5765
5766       else
5767         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5768           smtp_get_connection_info(),
5769           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5770           smtp_read_error,
5771           string_timesince(&smtp_connection_start)
5772           );
5773
5774       done = 1;
5775       break;
5776
5777
5778     case ETRN_CMD:
5779       HAD(SCH_ETRN);
5780       if (sender_address)
5781         {
5782         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5783           US"ETRN is not permitted inside a transaction");
5784         break;
5785         }
5786
5787       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5788         host_and_ident(FALSE));
5789
5790       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5791                   &user_msg, &log_msg)) != OK)
5792         {
5793         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5794         break;
5795         }
5796
5797       /* Compute the serialization key for this command. */
5798
5799       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5800
5801       /* If a command has been specified for running as a result of ETRN, we
5802       permit any argument to ETRN. If not, only the # standard form is permitted,
5803       since that is strictly the only kind of ETRN that can be implemented
5804       according to the RFC. */
5805
5806       if (smtp_etrn_command)
5807         {
5808         uschar *error;
5809         BOOL rc;
5810         etrn_command = smtp_etrn_command;
5811         deliver_domain = smtp_cmd_data;
5812         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5813           US"ETRN processing", &error);
5814         deliver_domain = NULL;
5815         if (!rc)
5816           {
5817           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5818             error);
5819           smtp_printf("458 Internal failure\r\n", FALSE);
5820           break;
5821           }
5822         }
5823
5824       /* Else set up to call Exim with the -R option. */
5825
5826       else
5827         {
5828         if (*smtp_cmd_data++ != '#')
5829           {
5830           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5831             US"argument must begin with #");
5832           break;
5833           }
5834         etrn_command = US"exim -R";
5835         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5836           *queue_name ? 4 : 2,
5837           US"-R", smtp_cmd_data,
5838           US"-MCG", queue_name);
5839         }
5840
5841       /* If we are host-testing, don't actually do anything. */
5842
5843       if (host_checking)
5844         {
5845         HDEBUG(D_any)
5846           {
5847           debug_printf("ETRN command is: %s\n", etrn_command);
5848           debug_printf("ETRN command execution skipped\n");
5849           }
5850         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5851           else smtp_user_msg(US"250", user_msg);
5852         break;
5853         }
5854
5855
5856       /* If ETRN queue runs are to be serialized, check the database to
5857       ensure one isn't already running. */
5858
5859       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5860         {
5861         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5862         break;
5863         }
5864
5865       /* Fork a child process and run the command. We don't want to have to
5866       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5867       forking. It should be set that way anyway for external incoming SMTP,
5868       but we save and restore to be tidy. If serialization is required, we
5869       actually run the command in yet another process, so we can wait for it
5870       to complete and then remove the serialization lock. */
5871
5872       oldsignal = signal(SIGCHLD, SIG_IGN);
5873
5874       if ((pid = exim_fork(US"etrn-command")) == 0)
5875         {
5876         smtp_input = FALSE;       /* This process is not associated with the */
5877         (void)fclose(smtp_in);    /* SMTP call any more. */
5878         (void)fclose(smtp_out);
5879
5880         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5881
5882         /* If not serializing, do the exec right away. Otherwise, fork down
5883         into another process. */
5884
5885         if (  !smtp_etrn_serialize
5886            || (pid = exim_fork(US"etrn-serialised-command")) == 0)
5887           {
5888           DEBUG(D_exec) debug_print_argv(argv);
5889           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5890           execv(CS argv[0], (char *const *)argv);
5891           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5892             etrn_command, strerror(errno));
5893           _exit(EXIT_FAILURE);         /* paranoia */
5894           }
5895
5896         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5897         is, we are in the first subprocess, after forking again. All we can do
5898         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5899         complete, before removing the serialization. */
5900
5901         if (pid < 0)
5902           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5903             "failed: %s", strerror(errno));
5904         else
5905           {
5906           int status;
5907           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5908             (int)pid);
5909           (void)wait(&status);
5910           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5911             (int)pid);
5912           }
5913
5914         enq_end(etrn_serialize_key);
5915         exim_underbar_exit(EXIT_SUCCESS);
5916         }
5917
5918       /* Back in the top level SMTP process. Check that we started a subprocess
5919       and restore the signal state. */
5920
5921       if (pid < 0)
5922         {
5923         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5924           strerror(errno));
5925         smtp_printf("458 Unable to fork process\r\n", FALSE);
5926         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5927         }
5928       else
5929         if (!user_msg)
5930           smtp_printf("250 OK\r\n", FALSE);
5931         else
5932           smtp_user_msg(US"250", user_msg);
5933
5934       signal(SIGCHLD, oldsignal);
5935       break;
5936
5937
5938     case BADARG_CMD:
5939       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5940         US"unexpected argument data");
5941       break;
5942
5943
5944     /* This currently happens only for NULLs, but could be extended. */
5945
5946     case BADCHAR_CMD:
5947       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5948         US"NUL character(s) present (shown as '?')");
5949       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5950                   FALSE);
5951       break;
5952
5953
5954     case BADSYN_CMD:
5955     SYNC_FAILURE:
5956       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5957         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5958       c = smtp_inend - smtp_inptr;
5959       if (c > 150) c = 150;     /* limit logged amount */
5960       smtp_inptr[c] = 0;
5961       incomplete_transaction_log(US"sync failure");
5962       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5963         "(next input sent too soon: pipelining was%s advertised): "
5964         "rejected \"%s\" %s next input=\"%s\"",
5965         f.smtp_in_pipelining_advertised ? "" : " not",
5966         smtp_cmd_buffer, host_and_ident(TRUE),
5967         string_printing(smtp_inptr));
5968       smtp_notquit_exit(US"synchronization-error", US"554",
5969         US"SMTP synchronization error");
5970       done = 1;   /* Pretend eof - drops connection */
5971       break;
5972
5973
5974     case TOO_MANY_NONMAIL_CMD:
5975       s = smtp_cmd_buffer;
5976       while (*s != 0 && !isspace(*s)) s++;
5977       incomplete_transaction_log(US"too many non-mail commands");
5978       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5979         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5980         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5981       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5982       done = 1;   /* Pretend eof - drops connection */
5983       break;
5984
5985 #ifdef SUPPORT_PROXY
5986     case PROXY_FAIL_IGNORE_CMD:
5987       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5988       break;
5989 #endif
5990
5991     default:
5992       if (unknown_command_count++ >= smtp_max_unknown_commands)
5993         {
5994         log_write(L_smtp_syntax_error, LOG_MAIN,
5995           "SMTP syntax error in \"%s\" %s %s",
5996           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5997           US"unrecognized command");
5998         incomplete_transaction_log(US"unrecognized command");
5999         smtp_notquit_exit(US"bad-commands", US"500",
6000           US"Too many unrecognized commands");
6001         done = 2;
6002         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
6003           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
6004           string_printing(smtp_cmd_buffer));
6005         }
6006       else
6007         done = synprot_error(L_smtp_syntax_error, 500, NULL,
6008           US"unrecognized command");
6009       break;
6010     }
6011
6012   /* This label is used by goto's inside loops that want to break out to
6013   the end of the command-processing loop. */
6014
6015   COMMAND_LOOP:
6016   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
6017   last_was_rcpt = was_rcpt;             /* protocol error handling */
6018   continue;
6019   }
6020
6021 return done - 2;  /* Convert yield values */
6022 }
6023
6024
6025
6026 gstring *
6027 authres_smtpauth(gstring * g)
6028 {
6029 if (!sender_host_authenticated)
6030   return g;
6031
6032 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
6033
6034 if (Ustrcmp(sender_host_auth_pubname, "tls") == 0)
6035   g = authenticated_id
6036     ? string_append(g, 2, US") x509.auth=", authenticated_id)
6037     : string_cat(g, US") reason=x509.auth");
6038 else
6039   g = authenticated_id
6040     ? string_append(g, 2, US") smtp.auth=", authenticated_id)
6041     : string_cat(g, US", no id saved)");
6042
6043 if (authenticated_sender)
6044   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
6045 return g;
6046 }
6047
6048
6049
6050 /* vi: aw ai sw=2
6051 */
6052 /* End of smtp_in.c */