CVE-2020-28019: Failure to reset function pointer after BDAT error
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions for handling an incoming SMTP call. */
10
11
12 #include "exim.h"
13 #include <assert.h>
14
15
16 /* Initialize for TCP wrappers if so configured. It appears that the macro
17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
18 including that header, and restore its value afterwards. */
19
20 #ifdef USE_TCP_WRAPPERS
21
22   #if HAVE_IPV6
23   #define EXIM_HAVE_IPV6
24   #endif
25   #undef HAVE_IPV6
26   #include <tcpd.h>
27   #undef HAVE_IPV6
28   #ifdef EXIM_HAVE_IPV6
29   #define HAVE_IPV6 TRUE
30   #endif
31
32 int allow_severity = LOG_INFO;
33 int deny_severity  = LOG_NOTICE;
34 uschar *tcp_wrappers_name;
35 #endif
36
37
38 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
39 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
40 commands that accept arguments, and this in particular applies to AUTH, where
41 the data can be quite long.  More recently this value was 2048 in Exim;
42 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
43 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
44 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
45 we need room to handle large base64-encoded AUTHs for GSSAPI.
46 */
47
48 #define SMTP_CMD_BUFFER_SIZE  16384
49
50 /* Size of buffer for reading SMTP incoming packets */
51
52 #define IN_BUFFER_SIZE  8192
53
54 /* Structure for SMTP command list */
55
56 typedef struct {
57   const char *name;
58   int len;
59   short int cmd;
60   short int has_arg;
61   short int is_mail_cmd;
62 } smtp_cmd_list;
63
64 /* Codes for identifying commands. We order them so that those that come first
65 are those for which synchronization is always required. Checking this can help
66 block some spam.  */
67
68 enum {
69   /* These commands are required to be synchronized, i.e. to be the last in a
70   block of commands when pipelining. */
71
72   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
73   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
74   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
75   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
76   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
77
78   /* This is a dummy to identify the non-sync commands when pipelining */
79
80   NON_SYNC_CMD_PIPELINING,
81
82   /* These commands need not be synchronized when pipelining */
83
84   MAIL_CMD, RCPT_CMD, RSET_CMD,
85
86   /* This is a dummy to identify the non-sync commands when not pipelining */
87
88   NON_SYNC_CMD_NON_PIPELINING,
89
90   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
91   processed the message is sent using a series of BDAT commands"
92   implies that BDAT should be synchronized.  However, we see Google, at least,
93   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
94   processing of the RCPT response(s).  We shall do the same, and not require
95   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
96   command-header in the same packet we cannot do the usual "is there any
97   follow-on data after the command line" even for non-pipeline mode.
98   So we'll need an explicit check after reading the expected chunk amount
99   when non-pipe, before sending the ACK. */
100
101   BDAT_CMD,
102
103   /* I have been unable to find a statement about the use of pipelining
104   with AUTH, so to be on the safe side it is here, though I kind of feel
105   it should be up there with the synchronized commands. */
106
107   AUTH_CMD,
108
109   /* I'm not sure about these, but I don't think they matter. */
110
111   QUIT_CMD, HELP_CMD,
112
113 #ifdef SUPPORT_PROXY
114   PROXY_FAIL_IGNORE_CMD,
115 #endif
116
117   /* These are specials that don't correspond to actual commands */
118
119   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
120   TOO_MANY_NONMAIL_CMD };
121
122
123 /* This is a convenience macro for adding the identity of an SMTP command
124 to the circular buffer that holds a list of the last n received. */
125
126 #define HAD(n) \
127     smtp_connection_had[smtp_ch_index++] = n; \
128     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
129
130
131 /*************************************************
132 *                Local static variables          *
133 *************************************************/
134
135 static struct {
136   BOOL auth_advertised                  :1;
137 #ifndef DISABLE_TLS
138   BOOL tls_advertised                   :1;
139 #endif
140   BOOL dsn_advertised                   :1;
141   BOOL esmtp                            :1;
142   BOOL helo_required                    :1;
143   BOOL helo_verify                      :1;
144   BOOL helo_seen                        :1;
145   BOOL helo_accept_junk                 :1;
146 #ifndef DISABLE_PIPE_CONNECT
147   BOOL pipe_connect_acceptable          :1;
148 #endif
149   BOOL rcpt_smtp_response_same          :1;
150   BOOL rcpt_in_progress                 :1;
151   BOOL smtp_exit_function_called        :1;
152 #ifdef SUPPORT_I18N
153   BOOL smtputf8_advertised              :1;
154 #endif
155 } fl = {
156   .helo_required = FALSE,
157   .helo_verify = FALSE,
158   .smtp_exit_function_called = FALSE,
159 };
160
161 static auth_instance *authenticated_by;
162 static int  count_nonmail;
163 static int  nonmail_command_count;
164 static int  synprot_error_count;
165 static int  unknown_command_count;
166 static int  sync_cmd_limit;
167 static int  smtp_write_error = 0;
168
169 static uschar *rcpt_smtp_response;
170 static uschar *smtp_data_buffer;
171 static uschar *smtp_cmd_data;
172
173 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
174 final fields of all except AUTH are forced TRUE at the start of a new message
175 setup, to allow one of each between messages that is not counted as a nonmail
176 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
177 allow a new EHLO after starting up TLS.
178
179 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
180 counted. However, the flag is changed when AUTH is received, so that multiple
181 failing AUTHs will eventually hit the limit. After a successful AUTH, another
182 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
183 forced TRUE, to allow for the re-authentication that can happen at that point.
184
185 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
186 count of non-mail commands and possibly provoke an error.
187
188 tls_auth is a pseudo-command, never expected in input.  It is activated
189 on TLS startup and looks for a tls authenticator. */
190
191 static smtp_cmd_list cmd_list[] = {
192   /* name         len                     cmd     has_arg is_mail_cmd */
193
194   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
195   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
196   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
197   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
198 #ifndef DISABLE_TLS
199   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
200   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
201 #endif
202
203 /* If you change anything above here, also fix the definitions below. */
204
205   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
206   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
207   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
208   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
209   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
210   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
211   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
212   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
213   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
214   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
215 };
216
217 static smtp_cmd_list *cmd_list_end =
218   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
219
220 #define CMD_LIST_RSET      0
221 #define CMD_LIST_HELO      1
222 #define CMD_LIST_EHLO      2
223 #define CMD_LIST_AUTH      3
224 #define CMD_LIST_STARTTLS  4
225 #define CMD_LIST_TLS_AUTH  5
226
227 /* This list of names is used for performing the smtp_no_mail logging action.
228 It must be kept in step with the SCH_xxx enumerations. */
229
230 uschar * smtp_names[] =
231   {
232   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
233   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
234   US"STARTTLS", US"VRFY" };
235
236 static uschar *protocols_local[] = {
237   US"local-smtp",        /* HELO */
238   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
239   US"local-esmtp",       /* EHLO */
240   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
241   US"local-esmtpa",      /* EHLO->AUTH */
242   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
243   };
244 static uschar *protocols[] = {
245   US"smtp",              /* HELO */
246   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
247   US"esmtp",             /* EHLO */
248   US"esmtps",            /* EHLO->STARTTLS->EHLO */
249   US"esmtpa",            /* EHLO->AUTH */
250   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
251   };
252
253 #define pnormal  0
254 #define pextend  2
255 #define pcrpted  1  /* added to pextend or pnormal */
256 #define pauthed  2  /* added to pextend */
257
258 /* Sanity check and validate optional args to MAIL FROM: envelope */
259 enum {
260   ENV_MAIL_OPT_NULL,
261   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
262 #ifndef DISABLE_PRDR
263   ENV_MAIL_OPT_PRDR,
264 #endif
265   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
266 #ifdef SUPPORT_I18N
267   ENV_MAIL_OPT_UTF8,
268 #endif
269   };
270 typedef struct {
271   uschar *   name;  /* option requested during MAIL cmd */
272   int       value;  /* enum type */
273   BOOL need_value;  /* TRUE requires value (name=value pair format)
274                        FALSE is a singleton */
275   } env_mail_type_t;
276 static env_mail_type_t env_mail_type_list[] = {
277     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
278     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
279     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
280 #ifndef DISABLE_PRDR
281     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
282 #endif
283     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
284     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
285 #ifdef SUPPORT_I18N
286     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
287 #endif
288     /* keep this the last entry */
289     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
290   };
291
292 /* When reading SMTP from a remote host, we have to use our own versions of the
293 C input-reading functions, in order to be able to flush the SMTP output only
294 when about to read more data from the socket. This is the only way to get
295 optimal performance when the client is using pipelining. Flushing for every
296 command causes a separate packet and reply packet each time; saving all the
297 responses up (when pipelining) combines them into one packet and one response.
298
299 For simplicity, these functions are used for *all* SMTP input, not only when
300 receiving over a socket. However, after setting up a secure socket (SSL), input
301 is read via the OpenSSL library, and another set of functions is used instead
302 (see tls.c).
303
304 These functions are set in the receive_getc etc. variables and called with the
305 same interface as the C functions. However, since there can only ever be
306 one incoming SMTP call, we just use a single buffer and flags. There is no need
307 to implement a complicated private FILE-like structure.*/
308
309 static uschar *smtp_inbuffer;
310 static uschar *smtp_inptr;
311 static uschar *smtp_inend;
312 static int     smtp_had_eof;
313 static int     smtp_had_error;
314
315
316 /* forward declarations */
317 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
318 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
319 static void smtp_quit_handler(uschar **, uschar **);
320 static void smtp_rset_handler(void);
321
322 /*************************************************
323 *          Recheck synchronization               *
324 *************************************************/
325
326 /* Synchronization checks can never be perfect because a packet may be on its
327 way but not arrived when the check is done.  Normally, the checks happen when
328 commands are read: Exim ensures that there is no more input in the input buffer.
329 In normal cases, the response to the command will be fast, and there is no
330 further check.
331
332 However, for some commands an ACL is run, and that can include delays. In those
333 cases, it is useful to do another check on the input just before sending the
334 response. This also applies at the start of a connection. This function does
335 that check by means of the select() function, as long as the facility is not
336 disabled or inappropriate. A failure of select() is ignored.
337
338 When there is unwanted input, we read it so that it appears in the log of the
339 error.
340
341 Arguments: none
342 Returns:   TRUE if all is well; FALSE if there is input pending
343 */
344
345 static BOOL
346 wouldblock_reading(void)
347 {
348 int fd, rc;
349 fd_set fds;
350 struct timeval tzero = {.tv_sec = 0, .tv_usec = 0};
351
352 #ifndef DISABLE_TLS
353 if (tls_in.active.sock >= 0)
354  return !tls_could_read();
355 #endif
356
357 if (smtp_inptr < smtp_inend)
358   return FALSE;
359
360 fd = fileno(smtp_in);
361 FD_ZERO(&fds);
362 FD_SET(fd, &fds);
363 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
364
365 if (rc <= 0) return TRUE;     /* Not ready to read */
366 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
367 if (rc < 0) return TRUE;      /* End of file or error */
368
369 smtp_ungetc(rc);
370 return FALSE;
371 }
372
373 static BOOL
374 check_sync(void)
375 {
376 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
377   return TRUE;
378
379 return wouldblock_reading();
380 }
381
382
383 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
384 a reponse with the one following. */
385
386 static BOOL
387 pipeline_response(void)
388 {
389 if (  !smtp_enforce_sync || !sender_host_address
390    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
391   return FALSE;
392
393 if (wouldblock_reading()) return FALSE;
394 f.smtp_in_pipelining_used = TRUE;
395 return TRUE;
396 }
397
398
399 #ifndef DISABLE_PIPE_CONNECT
400 static BOOL
401 pipeline_connect_sends(void)
402 {
403 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
404   return FALSE;
405
406 if (wouldblock_reading()) return FALSE;
407 f.smtp_in_early_pipe_used = TRUE;
408 return TRUE;
409 }
410 #endif
411
412 /*************************************************
413 *          Log incomplete transactions           *
414 *************************************************/
415
416 /* This function is called after a transaction has been aborted by RSET, QUIT,
417 connection drops or other errors. It logs the envelope information received
418 so far in order to preserve address verification attempts.
419
420 Argument:   string to indicate what aborted the transaction
421 Returns:    nothing
422 */
423
424 static void
425 incomplete_transaction_log(uschar *what)
426 {
427 if (!sender_address                             /* No transaction in progress */
428    || !LOGGING(smtp_incomplete_transaction))
429   return;
430
431 /* Build list of recipients for logging */
432
433 if (recipients_count > 0)
434   {
435   raw_recipients = store_get(recipients_count * sizeof(uschar *), FALSE);
436   for (int i = 0; i < recipients_count; i++)
437     raw_recipients[i] = recipients_list[i].address;
438   raw_recipients_count = recipients_count;
439   }
440
441 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
442   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
443 }
444
445
446
447
448 void
449 smtp_command_timeout_exit(void)
450 {
451 log_write(L_lost_incoming_connection,
452           LOG_MAIN, "SMTP command timeout on%s connection from %s",
453           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
454 if (smtp_batched_input)
455   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
456 smtp_notquit_exit(US"command-timeout", US"421",
457   US"%s: SMTP command timeout - closing connection",
458   smtp_active_hostname);
459 exim_exit(EXIT_FAILURE);
460 }
461
462 void
463 smtp_command_sigterm_exit(void)
464 {
465 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
468 smtp_notquit_exit(US"signal-exit", US"421",
469   US"%s: Service not available - closing connection", smtp_active_hostname);
470 exim_exit(EXIT_FAILURE);
471 }
472
473 void
474 smtp_data_timeout_exit(void)
475 {
476 log_write(L_lost_incoming_connection,
477   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
478   sender_fullhost ? sender_fullhost : US"local process", sender_address);
479 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
480 /* Does not return */
481 }
482
483 void
484 smtp_data_sigint_exit(void)
485 {
486 log_write(0, LOG_MAIN, "%s closed after %s",
487   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
488 receive_bomb_out(US"signal-exit",
489   US"Service not available - SIGTERM or SIGINT received");
490 /* Does not return */
491 }
492
493
494
495 /* Refill the buffer, and notify DKIM verification code.
496 Return false for error or EOF.
497 */
498
499 static BOOL
500 smtp_refill(unsigned lim)
501 {
502 int rc, save_errno;
503 if (!smtp_out) return FALSE;
504 fflush(smtp_out);
505 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
506
507 /* Limit amount read, so non-message data is not fed to DKIM.
508 Take care to not touch the safety NUL at the end of the buffer. */
509
510 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
511 save_errno = errno;
512 if (smtp_receive_timeout > 0) ALARM_CLR(0);
513 if (rc <= 0)
514   {
515   /* Must put the error text in fixed store, because this might be during
516   header reading, where it releases unused store above the header. */
517   if (rc < 0)
518     {
519     if (had_command_timeout)            /* set by signal handler */
520       smtp_command_timeout_exit();      /* does not return */
521     if (had_command_sigterm)
522       smtp_command_sigterm_exit();
523     if (had_data_timeout)
524       smtp_data_timeout_exit();
525     if (had_data_sigint)
526       smtp_data_sigint_exit();
527
528     smtp_had_error = save_errno;
529     smtp_read_error = string_copy_perm(
530       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
531     }
532   else
533     smtp_had_eof = 1;
534   return FALSE;
535   }
536 #ifndef DISABLE_DKIM
537 dkim_exim_verify_feed(smtp_inbuffer, rc);
538 #endif
539 smtp_inend = smtp_inbuffer + rc;
540 smtp_inptr = smtp_inbuffer;
541 return TRUE;
542 }
543
544 /*************************************************
545 *          SMTP version of getc()                *
546 *************************************************/
547
548 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
549 it flushes the output, and refills the buffer, with a timeout. The signal
550 handler is set appropriately by the calling function. This function is not used
551 after a connection has negotiated itself into an TLS/SSL state.
552
553 Arguments:  lim         Maximum amount to read/buffer
554 Returns:    the next character or EOF
555 */
556
557 int
558 smtp_getc(unsigned lim)
559 {
560 if (smtp_inptr >= smtp_inend)
561   if (!smtp_refill(lim))
562     return EOF;
563 return *smtp_inptr++;
564 }
565
566 uschar *
567 smtp_getbuf(unsigned * len)
568 {
569 unsigned size;
570 uschar * buf;
571
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(*len))
574     { *len = 0; return NULL; }
575
576 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
577 buf = smtp_inptr;
578 smtp_inptr += size;
579 *len = size;
580 return buf;
581 }
582
583 void
584 smtp_get_cache(void)
585 {
586 #ifndef DISABLE_DKIM
587 int n = smtp_inend - smtp_inptr;
588 if (chunking_state == CHUNKING_LAST && chunking_data_left < n)
589   n = chunking_data_left;
590 if (n > 0)
591   dkim_exim_verify_feed(smtp_inptr, n);
592 #endif
593 }
594
595
596 /* Forward declarations */
597 static inline void bdat_push_receive_functions(void);
598 static inline void bdat_pop_receive_functions(void);
599
600
601 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
602 previous BDAT chunk and getting new ones when we run out.  Uses the
603 underlying smtp_getc or tls_getc both for that and for getting the
604 (buffered) data byte.  EOD signals (an expected) no further data.
605 ERR signals a protocol error, and EOF a closed input stream.
606
607 Called from read_bdat_smtp() in receive.c for the message body, but also
608 by the headers read loop in receive_msg(); manipulates chunking_state
609 to handle the BDAT command/response.
610 Placed here due to the correlation with the above smtp_getc(), which it wraps,
611 and also by the need to do smtp command/response handling.
612
613 Arguments:  lim         (ignored)
614 Returns:    the next character or ERR, EOD or EOF
615 */
616
617 int
618 bdat_getc(unsigned lim)
619 {
620 uschar * user_msg = NULL;
621 uschar * log_msg;
622
623 for(;;)
624   {
625 #ifndef DISABLE_DKIM
626   unsigned dkim_save;
627 #endif
628
629   if (chunking_data_left > 0)
630     return lwr_receive_getc(chunking_data_left--);
631
632   bdat_pop_receive_functions();
633 #ifndef DISABLE_DKIM
634   dkim_save = dkim_collect_input;
635   dkim_collect_input = 0;
636 #endif
637
638   /* Unless PIPELINING was offered, there should be no next command
639   until after we ack that chunk */
640
641   if (!f.smtp_in_pipelining_advertised && !check_sync())
642     {
643     unsigned n = smtp_inend - smtp_inptr;
644     if (n > 32) n = 32;
645
646     incomplete_transaction_log(US"sync failure");
647     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
648       "(next input sent too soon: pipelining was not advertised): "
649       "rejected \"%s\" %s next input=\"%s\"%s",
650       smtp_cmd_buffer, host_and_ident(TRUE),
651       string_printing(string_copyn(smtp_inptr, n)),
652       smtp_inend - smtp_inptr > n ? "..." : "");
653     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
654       US"SMTP synchronization error");
655     goto repeat_until_rset;
656     }
657
658   /* If not the last, ack the received chunk.  The last response is delayed
659   until after the data ACL decides on it */
660
661   if (chunking_state == CHUNKING_LAST)
662     {
663 #ifndef DISABLE_DKIM
664     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
665 #endif
666     return EOD;
667     }
668
669   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
670   chunking_state = CHUNKING_OFFERED;
671   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
672
673   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
674   QUIT, RSET or NOOP but handling them seems obvious */
675
676 next_cmd:
677   switch(smtp_read_command(TRUE, 1))
678     {
679     default:
680       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
681         US"only BDAT permissible after non-LAST BDAT");
682
683   repeat_until_rset:
684       switch(smtp_read_command(TRUE, 1))
685         {
686         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
687         case EOF_CMD:   return EOF;
688         case RSET_CMD:  smtp_rset_handler(); return ERR;
689         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
690                                           US"only RSET accepted now") > 0)
691                           return EOF;
692                         goto repeat_until_rset;
693         }
694
695     case QUIT_CMD:
696       smtp_quit_handler(&user_msg, &log_msg);
697       /*FALLTHROUGH*/
698     case EOF_CMD:
699       return EOF;
700
701     case RSET_CMD:
702       smtp_rset_handler();
703       return ERR;
704
705     case NOOP_CMD:
706       HAD(SCH_NOOP);
707       smtp_printf("250 OK\r\n", FALSE);
708       goto next_cmd;
709
710     case BDAT_CMD:
711       {
712       int n;
713
714       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
715         {
716         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
717           US"missing size for BDAT command");
718         return ERR;
719         }
720       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
721         ? CHUNKING_LAST : CHUNKING_ACTIVE;
722       chunking_data_left = chunking_datasize;
723       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
724                                     (int)chunking_state, chunking_data_left);
725
726       if (chunking_datasize == 0)
727         if (chunking_state == CHUNKING_LAST)
728           return EOD;
729         else
730           {
731           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
732             US"zero size for BDAT command");
733           goto repeat_until_rset;
734           }
735
736       bdat_push_receive_functions();
737 #ifndef DISABLE_DKIM
738       dkim_collect_input = dkim_save;
739 #endif
740       break;    /* to top of main loop */
741       }
742     }
743   }
744 }
745
746 uschar *
747 bdat_getbuf(unsigned * len)
748 {
749 uschar * buf;
750
751 if (chunking_data_left <= 0)
752   { *len = 0; return NULL; }
753
754 if (*len > chunking_data_left) *len = chunking_data_left;
755 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
756 chunking_data_left -= *len;
757 return buf;
758 }
759
760 void
761 bdat_flush_data(void)
762 {
763 while (chunking_data_left)
764   {
765   unsigned n = chunking_data_left;
766   if (!bdat_getbuf(&n)) break;
767   }
768
769 bdat_pop_receive_functions();
770
771 if (chunking_state != CHUNKING_LAST)
772   {
773   chunking_state = CHUNKING_OFFERED;
774   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
775   }
776 }
777
778
779 static inline void
780 bdat_push_receive_functions(void)
781 {
782 /* push the current receive_* function on the "stack", and
783 replace them by bdat_getc(), which in turn will use the lwr_receive_*
784 functions to do the dirty work. */
785 if (lwr_receive_getc == NULL)
786   {
787   lwr_receive_getc = receive_getc;
788   lwr_receive_getbuf = receive_getbuf;
789   lwr_receive_ungetc = receive_ungetc;
790   }
791 else
792   {
793   DEBUG(D_receive) debug_printf("chunking double-push receive functions\n");
794   }
795
796 receive_getc = bdat_getc;
797 receive_getbuf = bdat_getbuf;
798 receive_ungetc = bdat_ungetc;
799 }
800
801 static inline void
802 bdat_pop_receive_functions(void)
803 {
804 if (lwr_receive_getc == NULL)
805   {
806   DEBUG(D_receive) debug_printf("chunking double-pop receive functions\n");
807   return;
808   }
809 receive_getc = lwr_receive_getc;
810 receive_getbuf = lwr_receive_getbuf;
811 receive_ungetc = lwr_receive_ungetc;
812
813 lwr_receive_getc = NULL;
814 lwr_receive_getbuf = NULL;
815 lwr_receive_ungetc = NULL;
816 }
817
818 /*************************************************
819 *          SMTP version of ungetc()              *
820 *************************************************/
821
822 /* Puts a character back in the input buffer. Only ever
823 called once.
824
825 Arguments:
826   ch           the character
827
828 Returns:       the character
829 */
830
831 int
832 smtp_ungetc(int ch)
833 {
834 *--smtp_inptr = ch;
835 return ch;
836 }
837
838
839 int
840 bdat_ungetc(int ch)
841 {
842 chunking_data_left++;
843 return lwr_receive_ungetc(ch);
844 }
845
846
847
848 /*************************************************
849 *          SMTP version of feof()                *
850 *************************************************/
851
852 /* Tests for a previous EOF
853
854 Arguments:     none
855 Returns:       non-zero if the eof flag is set
856 */
857
858 int
859 smtp_feof(void)
860 {
861 return smtp_had_eof;
862 }
863
864
865
866
867 /*************************************************
868 *          SMTP version of ferror()              *
869 *************************************************/
870
871 /* Tests for a previous read error, and returns with errno
872 restored to what it was when the error was detected.
873
874 Arguments:     none
875 Returns:       non-zero if the error flag is set
876 */
877
878 int
879 smtp_ferror(void)
880 {
881 errno = smtp_had_error;
882 return smtp_had_error;
883 }
884
885
886
887 /*************************************************
888 *      Test for characters in the SMTP buffer    *
889 *************************************************/
890
891 /* Used at the end of a message
892
893 Arguments:     none
894 Returns:       TRUE/FALSE
895 */
896
897 BOOL
898 smtp_buffered(void)
899 {
900 return smtp_inptr < smtp_inend;
901 }
902
903
904
905 /*************************************************
906 *     Write formatted string to SMTP channel     *
907 *************************************************/
908
909 /* This is a separate function so that we don't have to repeat everything for
910 TLS support or debugging. It is global so that the daemon and the
911 authentication functions can use it. It does not return any error indication,
912 because major problems such as dropped connections won't show up till an output
913 flush for non-TLS connections. The smtp_fflush() function is available for
914 checking that: for convenience, TLS output errors are remembered here so that
915 they are also picked up later by smtp_fflush().
916
917 This function is exposed to the local_scan API; do not change the signature.
918
919 Arguments:
920   format      format string
921   more        further data expected
922   ...         optional arguments
923
924 Returns:      nothing
925 */
926
927 void
928 smtp_printf(const char *format, BOOL more, ...)
929 {
930 va_list ap;
931
932 va_start(ap, more);
933 smtp_vprintf(format, more, ap);
934 va_end(ap);
935 }
936
937 /* This is split off so that verify.c:respond_printf() can, in effect, call
938 smtp_printf(), bearing in mind that in C a vararg function can't directly
939 call another vararg function, only a function which accepts a va_list.
940
941 This function is exposed to the local_scan API; do not change the signature.
942 */
943 /*XXX consider passing caller-info in, for string_vformat-onward */
944
945 void
946 smtp_vprintf(const char *format, BOOL more, va_list ap)
947 {
948 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
949 BOOL yield;
950
951 /* Use taint-unchecked routines for writing into big_buffer, trusting
952 that we'll never expand it. */
953
954 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
955 string_from_gstring(&gs);
956
957 DEBUG(D_receive)
958   {
959   uschar *msg_copy, *cr, *end;
960   msg_copy = string_copy(gs.s);
961   end = msg_copy + gs.ptr;
962   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
963     memmove(cr, cr + 1, (end--) - cr);
964   debug_printf("SMTP>> %s", msg_copy);
965   }
966
967 if (!yield)
968   {
969   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
970   smtp_closedown(US"Unexpected error");
971   exim_exit(EXIT_FAILURE);
972   }
973
974 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
975 have had the same. Note: this code is also present in smtp_respond(). It would
976 be tidier to have it only in one place, but when it was added, it was easier to
977 do it that way, so as not to have to mess with the code for the RCPT command,
978 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
979
980 if (fl.rcpt_in_progress)
981   {
982   if (rcpt_smtp_response == NULL)
983     rcpt_smtp_response = string_copy(big_buffer);
984   else if (fl.rcpt_smtp_response_same &&
985            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
986     fl.rcpt_smtp_response_same = FALSE;
987   fl.rcpt_in_progress = FALSE;
988   }
989
990 /* Now write the string */
991
992 if (
993 #ifndef DISABLE_TLS
994     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
995 #endif
996     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
997    )
998     smtp_write_error = -1;
999 }
1000
1001
1002
1003 /*************************************************
1004 *        Flush SMTP out and check for error      *
1005 *************************************************/
1006
1007 /* This function isn't currently used within Exim (it detects errors when it
1008 tries to read the next SMTP input), but is available for use in local_scan().
1009 It flushes the output and checks for errors.
1010
1011 Arguments:  none
1012 Returns:    0 for no error; -1 after an error
1013 */
1014
1015 int
1016 smtp_fflush(void)
1017 {
1018 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
1019
1020 if (
1021 #ifndef DISABLE_TLS
1022     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
1023 #endif
1024     (fflush(smtp_out) != 0)
1025    )
1026     smtp_write_error = -1;
1027
1028 return smtp_write_error;
1029 }
1030
1031
1032
1033 /*************************************************
1034 *          SMTP command read timeout             *
1035 *************************************************/
1036
1037 /* Signal handler for timing out incoming SMTP commands. This attempts to
1038 finish off tidily.
1039
1040 Argument: signal number (SIGALRM)
1041 Returns:  nothing
1042 */
1043
1044 static void
1045 command_timeout_handler(int sig)
1046 {
1047 had_command_timeout = sig;
1048 }
1049
1050
1051
1052 /*************************************************
1053 *               SIGTERM received                 *
1054 *************************************************/
1055
1056 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1057
1058 Argument: signal number (SIGTERM)
1059 Returns:  nothing
1060 */
1061
1062 static void
1063 command_sigterm_handler(int sig)
1064 {
1065 had_command_sigterm = sig;
1066 }
1067
1068
1069
1070
1071 #ifdef SUPPORT_PROXY
1072 /*************************************************
1073 *       Check if host is required proxy host     *
1074 *************************************************/
1075 /* The function determines if inbound host will be a regular smtp host
1076 or if it is configured that it must use Proxy Protocol.  A local
1077 connection cannot.
1078
1079 Arguments: none
1080 Returns:   bool
1081 */
1082
1083 static BOOL
1084 check_proxy_protocol_host()
1085 {
1086 int rc;
1087
1088 if (  sender_host_address
1089    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1090                            sender_host_address, NULL)) == OK)
1091   {
1092   DEBUG(D_receive)
1093     debug_printf("Detected proxy protocol configured host\n");
1094   proxy_session = TRUE;
1095   }
1096 return proxy_session;
1097 }
1098
1099
1100 /*************************************************
1101 *    Read data until newline or end of buffer    *
1102 *************************************************/
1103 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1104 read an entire buffer and assume there will be nothing past a proxy protocol
1105 header.  Our approach normally is to use stdio, but again that relies upon
1106 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1107 reading _nothing_ before client TLS handshake.  So we don't want to use the
1108 usual buffering reads which may read enough to block TLS starting.
1109
1110 So unfortunately we're down to "read one byte at a time, with a syscall each,
1111 and expect a little overhead", for all proxy-opened connections which are v1,
1112 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1113 underlying fd, we can't assume that we can feed them any already-read content.
1114
1115 We need to know where to read to, the max capacity, and we'll read until we
1116 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1117
1118 Return the amount read.
1119 */
1120
1121 static int
1122 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1123 {
1124 uschar *to = base + already;
1125 uschar *cr;
1126 int have = 0;
1127 int ret;
1128 int last = 0;
1129
1130 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1131 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1132
1133 cr = memchr(base, '\r', already);
1134 if (cr != NULL)
1135   {
1136   if ((cr - base) < already - 1)
1137     {
1138     /* \r and presumed \n already within what we have; probably not
1139     actually proxy protocol, but abort cleanly. */
1140     return 0;
1141     }
1142   /* \r is last character read, just need one more. */
1143   last = 1;
1144   }
1145
1146 while (capacity > 0)
1147   {
1148   do { ret = read(fd, to, 1); } while (ret == -1 && errno == EINTR && !had_command_timeout);
1149   if (ret == -1)
1150     return -1;
1151   have++;
1152   if (last)
1153     return have;
1154   if (*to == '\r')
1155     last = 1;
1156   capacity--;
1157   to++;
1158   }
1159
1160 /* reached end without having room for a final newline, abort */
1161 errno = EOVERFLOW;
1162 return -1;
1163 }
1164
1165 /*************************************************
1166 *         Setup host for proxy protocol          *
1167 *************************************************/
1168 /* The function configures the connection based on a header from the
1169 inbound host to use Proxy Protocol. The specification is very exact
1170 so exit with an error if do not find the exact required pieces. This
1171 includes an incorrect number of spaces separating args.
1172
1173 Arguments: none
1174 Returns:   Boolean success
1175 */
1176
1177 static void
1178 setup_proxy_protocol_host()
1179 {
1180 union {
1181   struct {
1182     uschar line[108];
1183   } v1;
1184   struct {
1185     uschar sig[12];
1186     uint8_t ver_cmd;
1187     uint8_t fam;
1188     uint16_t len;
1189     union {
1190       struct { /* TCP/UDP over IPv4, len = 12 */
1191         uint32_t src_addr;
1192         uint32_t dst_addr;
1193         uint16_t src_port;
1194         uint16_t dst_port;
1195       } ip4;
1196       struct { /* TCP/UDP over IPv6, len = 36 */
1197         uint8_t  src_addr[16];
1198         uint8_t  dst_addr[16];
1199         uint16_t src_port;
1200         uint16_t dst_port;
1201       } ip6;
1202       struct { /* AF_UNIX sockets, len = 216 */
1203         uschar   src_addr[108];
1204         uschar   dst_addr[108];
1205       } unx;
1206     } addr;
1207   } v2;
1208 } hdr;
1209
1210 /* Temp variables used in PPv2 address:port parsing */
1211 uint16_t tmpport;
1212 char tmpip[INET_ADDRSTRLEN];
1213 struct sockaddr_in tmpaddr;
1214 char tmpip6[INET6_ADDRSTRLEN];
1215 struct sockaddr_in6 tmpaddr6;
1216
1217 /* We can't read "all data until end" because while SMTP is
1218 server-speaks-first, the TLS handshake is client-speaks-first, so for
1219 TLS-on-connect ports the proxy protocol header will usually be immediately
1220 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1221 reinject data for reading by those.  So instead we first read "enough to be
1222 safely read within the header, and figure out how much more to read".
1223 For v1 we will later read to the end-of-line, for v2 we will read based upon
1224 the stated length.
1225
1226 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1227 data is needed total.  For v1, where the line looks like:
1228 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1229
1230 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1231 We seem to support that.  So, if we read 14 octets then we can tell if we're
1232 v2 or v1.  If we're v1, we can continue reading as normal.
1233
1234 If we're v2, we can't slurp up the entire header.  We need the length in the
1235 15th & 16th octets, then to read everything after that.
1236
1237 So to safely handle v1 and v2, with client-sent-first supported correctly,
1238 we have to do a minimum of 3 read calls, not 1.  Eww.
1239 */
1240
1241 #define PROXY_INITIAL_READ 14
1242 #define PROXY_V2_HEADER_SIZE 16
1243 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1244 # error Code bug in sizes of data to read for proxy usage
1245 #endif
1246
1247 int get_ok = 0;
1248 int size, ret;
1249 int fd = fileno(smtp_in);
1250 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1251 uschar * iptype;  /* To display debug info */
1252 socklen_t vslen = sizeof(struct timeval);
1253 BOOL yield = FALSE;
1254
1255 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1256 ALARM(proxy_protocol_timeout);
1257
1258 do
1259   {
1260   /* The inbound host was declared to be a Proxy Protocol host, so
1261   don't do a PEEK into the data, actually slurp up enough to be
1262   "safe". Can't take it all because TLS-on-connect clients follow
1263   immediately with TLS handshake. */
1264   ret = read(fd, &hdr, PROXY_INITIAL_READ);
1265   }
1266   while (ret == -1 && errno == EINTR && !had_command_timeout);
1267
1268 if (ret == -1)
1269   goto proxyfail;
1270
1271 /* For v2, handle reading the length, and then the rest. */
1272 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1273   {
1274   int retmore;
1275   uint8_t ver;
1276
1277   /* First get the length fields. */
1278   do
1279     {
1280     retmore = read(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ);
1281     } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1282   if (retmore == -1)
1283     goto proxyfail;
1284   ret += retmore;
1285
1286   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1287
1288   /* May 2014: haproxy combined the version and command into one byte to
1289   allow two full bytes for the length field in order to proxy SSL
1290   connections.  SSL Proxy is not supported in this version of Exim, but
1291   must still separate values here. */
1292
1293   if (ver != 0x02)
1294     {
1295     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1296     goto proxyfail;
1297     }
1298
1299   /* The v2 header will always be 16 bytes per the spec. */
1300   size = 16 + ntohs(hdr.v2.len);
1301   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1302       size, (int)sizeof(hdr));
1303
1304   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1305   amount that we need.  Double-check that the size is not unreasonable, then
1306   get the rest. */
1307   if (size > sizeof(hdr))
1308     {
1309     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1310     goto proxyfail;
1311     }
1312
1313   do
1314     {
1315     do
1316       {
1317       retmore = read(fd, (uschar*)&hdr + ret, size-ret);
1318       } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1319     if (retmore == -1)
1320       goto proxyfail;
1321     ret += retmore;
1322     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1323     } while (ret < size);
1324
1325   } /* end scope for getting rest of data for v2 */
1326
1327 /* At this point: if PROXYv2, we've read the exact size required for all data;
1328 if PROXYv1 then we've read "less than required for any valid line" and should
1329 read the rest". */
1330
1331 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1332   {
1333   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1334
1335   switch (cmd)
1336     {
1337     case 0x01: /* PROXY command */
1338       switch (hdr.v2.fam)
1339         {
1340         case 0x11:  /* TCPv4 address type */
1341           iptype = US"IPv4";
1342           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1343           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1344           if (!string_is_ip_address(US tmpip, NULL))
1345             {
1346             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1347             goto proxyfail;
1348             }
1349           proxy_local_address = sender_host_address;
1350           sender_host_address = string_copy(US tmpip);
1351           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1352           proxy_local_port    = sender_host_port;
1353           sender_host_port    = tmpport;
1354           /* Save dest ip/port */
1355           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1356           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1357           if (!string_is_ip_address(US tmpip, NULL))
1358             {
1359             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1360             goto proxyfail;
1361             }
1362           proxy_external_address = string_copy(US tmpip);
1363           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1364           proxy_external_port  = tmpport;
1365           goto done;
1366         case 0x21:  /* TCPv6 address type */
1367           iptype = US"IPv6";
1368           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1369           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1370           if (!string_is_ip_address(US tmpip6, NULL))
1371             {
1372             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1373             goto proxyfail;
1374             }
1375           proxy_local_address = sender_host_address;
1376           sender_host_address = string_copy(US tmpip6);
1377           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1378           proxy_local_port    = sender_host_port;
1379           sender_host_port    = tmpport;
1380           /* Save dest ip/port */
1381           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1382           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1383           if (!string_is_ip_address(US tmpip6, NULL))
1384             {
1385             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1386             goto proxyfail;
1387             }
1388           proxy_external_address = string_copy(US tmpip6);
1389           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1390           proxy_external_port  = tmpport;
1391           goto done;
1392         default:
1393           DEBUG(D_receive)
1394             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1395                          hdr.v2.fam);
1396           goto proxyfail;
1397         }
1398       /* Unsupported protocol, keep local connection address */
1399       break;
1400     case 0x00: /* LOCAL command */
1401       /* Keep local connection address for LOCAL */
1402       iptype = US"local";
1403       break;
1404     default:
1405       DEBUG(D_receive)
1406         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1407       goto proxyfail;
1408     }
1409   }
1410 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1411   {
1412   uschar *p;
1413   uschar *end;
1414   uschar *sp;     /* Utility variables follow */
1415   int     tmp_port;
1416   int     r2;
1417   char   *endc;
1418
1419   /* get the rest of the line */
1420   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1421   if (r2 == -1)
1422     goto proxyfail;
1423   ret += r2;
1424
1425   p = string_copy(hdr.v1.line);
1426   end = memchr(p, '\r', ret - 1);
1427
1428   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1429     {
1430     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1431     goto proxyfail;
1432     }
1433   *end = '\0'; /* Terminate the string */
1434   size = end + 2 - p; /* Skip header + CRLF */
1435   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1436   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1437   /* Step through the string looking for the required fields. Ensure
1438   strict adherence to required formatting, exit for any error. */
1439   p += 5;
1440   if (!isspace(*(p++)))
1441     {
1442     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1443     goto proxyfail;
1444     }
1445   if (!Ustrncmp(p, CCS"TCP4", 4))
1446     iptype = US"IPv4";
1447   else if (!Ustrncmp(p,CCS"TCP6", 4))
1448     iptype = US"IPv6";
1449   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1450     {
1451     iptype = US"Unknown";
1452     goto done;
1453     }
1454   else
1455     {
1456     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1457     goto proxyfail;
1458     }
1459
1460   p += Ustrlen(iptype);
1461   if (!isspace(*(p++)))
1462     {
1463     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1464     goto proxyfail;
1465     }
1466   /* Find the end of the arg */
1467   if ((sp = Ustrchr(p, ' ')) == NULL)
1468     {
1469     DEBUG(D_receive)
1470       debug_printf("Did not find proxied src %s\n", iptype);
1471     goto proxyfail;
1472     }
1473   *sp = '\0';
1474   if(!string_is_ip_address(p, NULL))
1475     {
1476     DEBUG(D_receive)
1477       debug_printf("Proxied src arg is not an %s address\n", iptype);
1478     goto proxyfail;
1479     }
1480   proxy_local_address = sender_host_address;
1481   sender_host_address = p;
1482   p = sp + 1;
1483   if ((sp = Ustrchr(p, ' ')) == NULL)
1484     {
1485     DEBUG(D_receive)
1486       debug_printf("Did not find proxy dest %s\n", iptype);
1487     goto proxyfail;
1488     }
1489   *sp = '\0';
1490   if(!string_is_ip_address(p, NULL))
1491     {
1492     DEBUG(D_receive)
1493       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1494     goto proxyfail;
1495     }
1496   proxy_external_address = p;
1497   p = sp + 1;
1498   if ((sp = Ustrchr(p, ' ')) == NULL)
1499     {
1500     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1501     goto proxyfail;
1502     }
1503   *sp = '\0';
1504   tmp_port = strtol(CCS p, &endc, 10);
1505   if (*endc || tmp_port == 0)
1506     {
1507     DEBUG(D_receive)
1508       debug_printf("Proxied src port '%s' not an integer\n", p);
1509     goto proxyfail;
1510     }
1511   proxy_local_port = sender_host_port;
1512   sender_host_port = tmp_port;
1513   p = sp + 1;
1514   if ((sp = Ustrchr(p, '\0')) == NULL)
1515     {
1516     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1517     goto proxyfail;
1518     }
1519   tmp_port = strtol(CCS p, &endc, 10);
1520   if (*endc || tmp_port == 0)
1521     {
1522     DEBUG(D_receive)
1523       debug_printf("Proxy dest port '%s' not an integer\n", p);
1524     goto proxyfail;
1525     }
1526   proxy_external_port = tmp_port;
1527   /* Already checked for /r /n above. Good V1 header received. */
1528   }
1529 else
1530   {
1531   /* Wrong protocol */
1532   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1533   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1534   goto proxyfail;
1535   }
1536
1537 done:
1538   DEBUG(D_receive)
1539     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1540   yield = proxy_session;
1541
1542 /* Don't flush any potential buffer contents. Any input on proxyfail
1543 should cause a synchronization failure */
1544
1545 proxyfail:
1546   DEBUG(D_receive) if (had_command_timeout)
1547     debug_printf("Timeout while reading proxy header\n");
1548
1549 bad:
1550   if (yield)
1551     {
1552     sender_host_name = NULL;
1553     (void) host_name_lookup();
1554     host_build_sender_fullhost();
1555     }
1556   else
1557     {
1558     f.proxy_session_failed = TRUE;
1559     DEBUG(D_receive)
1560       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1561     }
1562
1563 ALARM(0);
1564 return;
1565 }
1566 #endif
1567
1568 /*************************************************
1569 *           Read one command line                *
1570 *************************************************/
1571
1572 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1573 There are sites that don't do this, and in any case internal SMTP probably
1574 should check only for LF. Consequently, we check here for LF only. The line
1575 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1576 an unknown command. The command is read into the global smtp_cmd_buffer so that
1577 it is available via $smtp_command.
1578
1579 The character reading routine sets up a timeout for each block actually read
1580 from the input (which may contain more than one command). We set up a special
1581 signal handler that closes down the session on a timeout. Control does not
1582 return when it runs.
1583
1584 Arguments:
1585   check_sync    if TRUE, check synchronization rules if global option is TRUE
1586   buffer_lim    maximum to buffer in lower layer
1587
1588 Returns:       a code identifying the command (enumerated above)
1589 */
1590
1591 static int
1592 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1593 {
1594 int c;
1595 int ptr = 0;
1596 BOOL hadnull = FALSE;
1597
1598 had_command_timeout = 0;
1599 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1600
1601 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1602   {
1603   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1604     {
1605     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1606     return OTHER_CMD;
1607     }
1608   if (c == 0)
1609     {
1610     hadnull = TRUE;
1611     c = '?';
1612     }
1613   smtp_cmd_buffer[ptr++] = c;
1614   }
1615
1616 receive_linecount++;    /* For BSMTP errors */
1617 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1618
1619 /* If hit end of file, return pseudo EOF command. Whether we have a
1620 part-line already read doesn't matter, since this is an error state. */
1621
1622 if (c == EOF) return EOF_CMD;
1623
1624 /* Remove any CR and white space at the end of the line, and terminate the
1625 string. */
1626
1627 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1628 smtp_cmd_buffer[ptr] = 0;
1629
1630 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1631
1632 /* NULLs are not allowed in SMTP commands */
1633
1634 if (hadnull) return BADCHAR_CMD;
1635
1636 /* Scan command list and return identity, having set the data pointer
1637 to the start of the actual data characters. Check for SMTP synchronization
1638 if required. */
1639
1640 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1641   {
1642 #ifdef SUPPORT_PROXY
1643   /* Only allow QUIT command if Proxy Protocol parsing failed */
1644   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1645     continue;
1646 #endif
1647   if (  p->len
1648      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1649      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1650         || smtp_cmd_buffer[p->len] == 0
1651         || smtp_cmd_buffer[p->len] == ' '
1652      )  )
1653     {
1654     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1655         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1656         check_sync &&                                  /* Local flag set */
1657         smtp_enforce_sync &&                           /* Global flag set */
1658         sender_host_address != NULL &&                 /* Not local input */
1659         !f.sender_host_notsocket)                        /* Really is a socket */
1660       return BADSYN_CMD;
1661
1662     /* The variables $smtp_command and $smtp_command_argument point into the
1663     unmodified input buffer. A copy of the latter is taken for actual
1664     processing, so that it can be chopped up into separate parts if necessary,
1665     for example, when processing a MAIL command options such as SIZE that can
1666     follow the sender address. */
1667
1668     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1669     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1670     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1671     smtp_cmd_data = smtp_data_buffer;
1672
1673     /* Count non-mail commands from those hosts that are controlled in this
1674     way. The default is all hosts. We don't waste effort checking the list
1675     until we get a non-mail command, but then cache the result to save checking
1676     again. If there's a DEFER while checking the host, assume it's in the list.
1677
1678     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1679     start of each incoming message by fiddling with the value in the table. */
1680
1681     if (!p->is_mail_cmd)
1682       {
1683       if (count_nonmail == TRUE_UNSET) count_nonmail =
1684         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1685       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1686         return TOO_MANY_NONMAIL_CMD;
1687       }
1688
1689     /* If there is data for a command that does not expect it, generate the
1690     error here. */
1691
1692     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1693     }
1694   }
1695
1696 #ifdef SUPPORT_PROXY
1697 /* Only allow QUIT command if Proxy Protocol parsing failed */
1698 if (proxy_session && f.proxy_session_failed)
1699   return PROXY_FAIL_IGNORE_CMD;
1700 #endif
1701
1702 /* Enforce synchronization for unknown commands */
1703
1704 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1705    && check_sync                        /* Local flag set */
1706    && smtp_enforce_sync                 /* Global flag set */
1707    && sender_host_address               /* Not local input */
1708    && !f.sender_host_notsocket)         /* Really is a socket */
1709   return BADSYN_CMD;
1710
1711 return OTHER_CMD;
1712 }
1713
1714
1715
1716 /*************************************************
1717 *          Forced closedown of call              *
1718 *************************************************/
1719
1720 /* This function is called from log.c when Exim is dying because of a serious
1721 disaster, and also from some other places. If an incoming non-batched SMTP
1722 channel is open, it swallows the rest of the incoming message if in the DATA
1723 phase, sends the reply string, and gives an error to all subsequent commands
1724 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1725 smtp_in.
1726
1727 Arguments:
1728   message   SMTP reply string to send, excluding the code
1729
1730 Returns:    nothing
1731 */
1732
1733 void
1734 smtp_closedown(uschar *message)
1735 {
1736 if (!smtp_in || smtp_batched_input) return;
1737 receive_swallow_smtp();
1738 smtp_printf("421 %s\r\n", FALSE, message);
1739
1740 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1741   {
1742   case EOF_CMD:
1743     return;
1744
1745   case QUIT_CMD:
1746     f.smtp_in_quit = TRUE;
1747     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1748     mac_smtp_fflush();
1749     return;
1750
1751   case RSET_CMD:
1752     smtp_printf("250 Reset OK\r\n", FALSE);
1753     break;
1754
1755   default:
1756     smtp_printf("421 %s\r\n", FALSE, message);
1757     break;
1758   }
1759 }
1760
1761
1762
1763
1764 /*************************************************
1765 *        Set up connection info for logging      *
1766 *************************************************/
1767
1768 /* This function is called when logging information about an SMTP connection.
1769 It sets up appropriate source information, depending on the type of connection.
1770 If sender_fullhost is NULL, we are at a very early stage of the connection;
1771 just use the IP address.
1772
1773 Argument:    none
1774 Returns:     a string describing the connection
1775 */
1776
1777 uschar *
1778 smtp_get_connection_info(void)
1779 {
1780 const uschar * hostname = sender_fullhost
1781   ? sender_fullhost : sender_host_address;
1782
1783 if (host_checking)
1784   return string_sprintf("SMTP connection from %s", hostname);
1785
1786 if (f.sender_host_unknown || f.sender_host_notsocket)
1787   return string_sprintf("SMTP connection from %s", sender_ident);
1788
1789 if (f.is_inetd)
1790   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1791
1792 if (LOGGING(incoming_interface) && interface_address)
1793   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1794     interface_address, interface_port);
1795
1796 return string_sprintf("SMTP connection from %s", hostname);
1797 }
1798
1799
1800
1801 #ifndef DISABLE_TLS
1802 /* Append TLS-related information to a log line
1803
1804 Arguments:
1805   g             String under construction: allocated string to extend, or NULL
1806
1807 Returns:        Allocated string or NULL
1808 */
1809 static gstring *
1810 s_tlslog(gstring * g)
1811 {
1812 if (LOGGING(tls_cipher) && tls_in.cipher)
1813   {
1814   g = string_append(g, 2, US" X=", tls_in.cipher);
1815 #ifndef DISABLE_TLS_RESUME
1816   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1817     g = string_catn(g, US"*", 1);
1818 #endif
1819   }
1820 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1821   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1822 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1823   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1824 if (LOGGING(tls_sni) && tls_in.sni)
1825   g = string_append(g, 2, US" SNI=", string_printing2(tls_in.sni, SP_TAB|SP_SPACE));
1826 return g;
1827 }
1828 #endif
1829
1830
1831
1832 static gstring *
1833 s_connhad_log(gstring * g)
1834 {
1835 const uschar * sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE
1836   ? US" C=..." : US" C=";
1837
1838 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1839   if (smtp_connection_had[i] != SCH_NONE)
1840     {
1841     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1842     sep = US",";
1843     }
1844 for (int i = 0; i < smtp_ch_index; i++, sep = US",")
1845   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1846 return g;
1847 }
1848
1849
1850 /*************************************************
1851 *      Log lack of MAIL if so configured         *
1852 *************************************************/
1853
1854 /* This function is called when an SMTP session ends. If the log selector
1855 smtp_no_mail is set, write a log line giving some details of what has happened
1856 in the SMTP session.
1857
1858 Arguments:   none
1859 Returns:     nothing
1860 */
1861
1862 void
1863 smtp_log_no_mail(void)
1864 {
1865 uschar * s;
1866 gstring * g = NULL;
1867
1868 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1869   return;
1870
1871 if (sender_host_authenticated)
1872   {
1873   g = string_append(g, 2, US" A=", sender_host_authenticated);
1874   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1875   }
1876
1877 #ifndef DISABLE_TLS
1878 g = s_tlslog(g);
1879 #endif
1880
1881 g = s_connhad_log(g);
1882
1883 if (!(s = string_from_gstring(g))) s = US"";
1884
1885 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1886   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1887   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1888 }
1889
1890
1891 /* Return list of recent smtp commands */
1892
1893 uschar *
1894 smtp_cmd_hist(void)
1895 {
1896 gstring * list = NULL;
1897 uschar * s;
1898
1899 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1900   if (smtp_connection_had[i] != SCH_NONE)
1901     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1902
1903 for (int i = 0; i < smtp_ch_index; i++)
1904   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1905
1906 s = string_from_gstring(list);
1907 return s ? s : US"";
1908 }
1909
1910
1911
1912
1913 /*************************************************
1914 *   Check HELO line and set sender_helo_name     *
1915 *************************************************/
1916
1917 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1918 the domain name of the sending host, or an ip literal in square brackets. The
1919 argument is placed in sender_helo_name, which is in malloc store, because it
1920 must persist over multiple incoming messages. If helo_accept_junk is set, this
1921 host is permitted to send any old junk (needed for some broken hosts).
1922 Otherwise, helo_allow_chars can be used for rogue characters in general
1923 (typically people want to let in underscores).
1924
1925 Argument:
1926   s       the data portion of the line (already past any white space)
1927
1928 Returns:  TRUE or FALSE
1929 */
1930
1931 static BOOL
1932 check_helo(uschar *s)
1933 {
1934 uschar *start = s;
1935 uschar *end = s + Ustrlen(s);
1936 BOOL yield = fl.helo_accept_junk;
1937
1938 /* Discard any previous helo name */
1939
1940 sender_helo_name = NULL;
1941
1942 /* Skip tests if junk is permitted. */
1943
1944 if (!yield)
1945
1946   /* Allow the new standard form for IPv6 address literals, namely,
1947   [IPv6:....], and because someone is bound to use it, allow an equivalent
1948   IPv4 form. Allow plain addresses as well. */
1949
1950   if (*s == '[')
1951     {
1952     if (end[-1] == ']')
1953       {
1954       end[-1] = 0;
1955       if (strncmpic(s, US"[IPv6:", 6) == 0)
1956         yield = (string_is_ip_address(s+6, NULL) == 6);
1957       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1958         yield = (string_is_ip_address(s+6, NULL) == 4);
1959       else
1960         yield = (string_is_ip_address(s+1, NULL) != 0);
1961       end[-1] = ']';
1962       }
1963     }
1964
1965   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1966   that have been configured (usually underscore - sigh). */
1967
1968   else if (*s)
1969     for (yield = TRUE; *s; s++)
1970       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1971           Ustrchr(helo_allow_chars, *s) == NULL)
1972         {
1973         yield = FALSE;
1974         break;
1975         }
1976
1977 /* Save argument if OK */
1978
1979 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
1980 return yield;
1981 }
1982
1983
1984
1985
1986
1987 /*************************************************
1988 *         Extract SMTP command option            *
1989 *************************************************/
1990
1991 /* This function picks the next option setting off the end of smtp_cmd_data. It
1992 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1993 things that can appear there.
1994
1995 Arguments:
1996    name           point this at the name
1997    value          point this at the data string
1998
1999 Returns:          TRUE if found an option
2000 */
2001
2002 static BOOL
2003 extract_option(uschar **name, uschar **value)
2004 {
2005 uschar *n;
2006 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
2007 while (isspace(*v)) v--;
2008 v[1] = '\0';
2009 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
2010   {
2011   /* Take care to not stop at a space embedded in a quoted local-part */
2012
2013   if ((*v == '"') && (v > smtp_cmd_data + 1))
2014     do v--; while (*v != '"' && v > smtp_cmd_data+1);
2015   v--;
2016   }
2017
2018 n = v;
2019 if (*v == '=')
2020   {
2021   while(isalpha(n[-1])) n--;
2022   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2023   if (!isspace(n[-1])) return FALSE;
2024   n[-1] = 0;
2025   }
2026 else
2027   {
2028   n++;
2029   if (v == smtp_cmd_data) return FALSE;
2030   }
2031 *v++ = 0;
2032 *name = n;
2033 *value = v;
2034 return TRUE;
2035 }
2036
2037
2038
2039
2040
2041 /*************************************************
2042 *         Reset for new message                  *
2043 *************************************************/
2044
2045 /* This function is called whenever the SMTP session is reset from
2046 within either of the setup functions; also from the daemon loop.
2047
2048 Argument:   the stacking pool storage reset point
2049 Returns:    nothing
2050 */
2051
2052 void *
2053 smtp_reset(void *reset_point)
2054 {
2055 recipients_list = NULL;
2056 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2057   raw_recipients_count = recipients_count = recipients_list_max = 0;
2058 message_linecount = 0;
2059 message_size = -1;
2060 message_body = message_body_end = NULL;
2061 acl_added_headers = NULL;
2062 acl_removed_headers = NULL;
2063 f.queue_only_policy = FALSE;
2064 rcpt_smtp_response = NULL;
2065 fl.rcpt_smtp_response_same = TRUE;
2066 fl.rcpt_in_progress = FALSE;
2067 f.deliver_freeze = FALSE;                               /* Can be set by ACL */
2068 freeze_tell = freeze_tell_config;                       /* Can be set by ACL */
2069 fake_response = OK;                                     /* Can be set by ACL */
2070 #ifdef WITH_CONTENT_SCAN
2071 f.no_mbox_unspool = FALSE;                              /* Can be set by ACL */
2072 #endif
2073 f.submission_mode = FALSE;                              /* Can be set by ACL */
2074 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2075 f.active_local_from_check = local_from_check;           /* Can be set by ACL */
2076 f.active_local_sender_retain = local_sender_retain;     /* Can be set by ACL */
2077 sending_ip_address = NULL;
2078 return_path = sender_address = NULL;
2079 deliver_localpart_data = deliver_domain_data =
2080 recipient_data = sender_data = NULL;                    /* Can be set by ACL */
2081 recipient_verify_failure = NULL;
2082 deliver_localpart_parent = deliver_localpart_orig = NULL;
2083 deliver_domain_parent = deliver_domain_orig = NULL;
2084 callout_address = NULL;
2085 submission_name = NULL;                                 /* Can be set by ACL */
2086 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2087 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2088 sender_verified_list = NULL;        /* No senders verified */
2089 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2090 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2091
2092 authenticated_sender = NULL;
2093 #ifdef EXPERIMENTAL_BRIGHTMAIL
2094 bmi_run = 0;
2095 bmi_verdicts = NULL;
2096 #endif
2097 dnslist_domain = dnslist_matched = NULL;
2098 #ifdef SUPPORT_SPF
2099 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2100 spf_result_guessed = FALSE;
2101 #endif
2102 #ifndef DISABLE_DKIM
2103 dkim_cur_signer = dkim_signers =
2104 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2105 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2106 f.dkim_disable_verify = FALSE;
2107 dkim_collect_input = 0;
2108 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2109 dkim_key_length = 0;
2110 #endif
2111 #ifdef SUPPORT_DMARC
2112 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2113 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2114 dmarc_used_domain = NULL;
2115 #endif
2116 #ifdef EXPERIMENTAL_ARC
2117 arc_state = arc_state_reason = NULL;
2118 arc_received_instance = 0;
2119 #endif
2120 dsn_ret = 0;
2121 dsn_envid = NULL;
2122 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2123 #ifndef DISABLE_PRDR
2124 prdr_requested = FALSE;
2125 #endif
2126 #ifdef SUPPORT_I18N
2127 message_smtputf8 = FALSE;
2128 #endif
2129 body_linecount = body_zerocount = 0;
2130
2131 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2132 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2133                    /* Note that ratelimiters_conn persists across resets. */
2134
2135 /* Reset message ACL variables */
2136
2137 acl_var_m = NULL;
2138
2139 /* Warning log messages are saved in malloc store. They are saved to avoid
2140 repetition in the same message, but it seems right to repeat them for different
2141 messages. */
2142
2143 while (acl_warn_logged)
2144   {
2145   string_item *this = acl_warn_logged;
2146   acl_warn_logged = acl_warn_logged->next;
2147   store_free(this);
2148   }
2149
2150 message_tidyup();
2151 store_reset(reset_point);
2152
2153 message_start();
2154 return store_mark();
2155 }
2156
2157
2158
2159
2160
2161 /*************************************************
2162 *  Initialize for incoming batched SMTP message  *
2163 *************************************************/
2164
2165 /* This function is called from smtp_setup_msg() in the case when
2166 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2167 of messages in one file with SMTP commands between them. All errors must be
2168 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2169 relevant. After an error on a sender, or an invalid recipient, the remainder
2170 of the message is skipped. The value of received_protocol is already set.
2171
2172 Argument: none
2173 Returns:  > 0 message successfully started (reached DATA)
2174           = 0 QUIT read or end of file reached
2175           < 0 should not occur
2176 */
2177
2178 static int
2179 smtp_setup_batch_msg(void)
2180 {
2181 int done = 0;
2182 rmark reset_point = store_mark();
2183
2184 /* Save the line count at the start of each transaction - single commands
2185 like HELO and RSET count as whole transactions. */
2186
2187 bsmtp_transaction_linecount = receive_linecount;
2188
2189 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2190
2191 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2192 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2193
2194 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2195 value. The values are 2 larger than the required yield of the function. */
2196
2197 while (done <= 0)
2198   {
2199   uschar *errmess;
2200   uschar *recipient = NULL;
2201   int start, end, sender_domain, recipient_domain;
2202
2203   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2204     {
2205     /* The HELO/EHLO commands set sender_address_helo if they have
2206     valid data; otherwise they are ignored, except that they do
2207     a reset of the state. */
2208
2209     case HELO_CMD:
2210     case EHLO_CMD:
2211
2212       check_helo(smtp_cmd_data);
2213       /* Fall through */
2214
2215     case RSET_CMD:
2216       cancel_cutthrough_connection(TRUE, US"RSET received");
2217       reset_point = smtp_reset(reset_point);
2218       bsmtp_transaction_linecount = receive_linecount;
2219       break;
2220
2221
2222     /* The MAIL FROM command requires an address as an operand. All we
2223     do here is to parse it for syntactic correctness. The form "<>" is
2224     a special case which converts into an empty string. The start/end
2225     pointers in the original are not used further for this address, as
2226     it is the canonical extracted address which is all that is kept. */
2227
2228     case MAIL_CMD:
2229       smtp_mailcmd_count++;              /* Count for no-mail log */
2230       if (sender_address)
2231         /* The function moan_smtp_batch() does not return. */
2232         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2233
2234       if (smtp_cmd_data[0] == 0)
2235         /* The function moan_smtp_batch() does not return. */
2236         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2237
2238       /* Reset to start of message */
2239
2240       cancel_cutthrough_connection(TRUE, US"MAIL received");
2241       reset_point = smtp_reset(reset_point);
2242
2243       /* Apply SMTP rewrite */
2244
2245       raw_sender = rewrite_existflags & rewrite_smtp
2246         /* deconst ok as smtp_cmd_data was not const */
2247         ? US rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL,
2248                       FALSE, US"", global_rewrite_rules)
2249         : smtp_cmd_data;
2250
2251       /* Extract the address; the TRUE flag allows <> as valid */
2252
2253       raw_sender =
2254         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2255           TRUE);
2256
2257       if (!raw_sender)
2258         /* The function moan_smtp_batch() does not return. */
2259         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2260
2261       sender_address = string_copy(raw_sender);
2262
2263       /* Qualify unqualified sender addresses if permitted to do so. */
2264
2265       if (  !sender_domain
2266          && sender_address[0] != 0 && sender_address[0] != '@')
2267         if (f.allow_unqualified_sender)
2268           {
2269           /* deconst ok as sender_address was not const */
2270           sender_address = US rewrite_address_qualify(sender_address, FALSE);
2271           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2272             "and rewritten\n", raw_sender);
2273           }
2274         /* The function moan_smtp_batch() does not return. */
2275         else
2276           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2277             "a domain");
2278       break;
2279
2280
2281     /* The RCPT TO command requires an address as an operand. All we do
2282     here is to parse it for syntactic correctness. There may be any number
2283     of RCPT TO commands, specifying multiple senders. We build them all into
2284     a data structure that is in argc/argv format. The start/end values
2285     given by parse_extract_address are not used, as we keep only the
2286     extracted address. */
2287
2288     case RCPT_CMD:
2289       if (!sender_address)
2290         /* The function moan_smtp_batch() does not return. */
2291         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2292
2293       if (smtp_cmd_data[0] == 0)
2294         /* The function moan_smtp_batch() does not return. */
2295         moan_smtp_batch(smtp_cmd_buffer,
2296           "501 RCPT TO must have an address operand");
2297
2298       /* Check maximum number allowed */
2299
2300       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2301         /* The function moan_smtp_batch() does not return. */
2302         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2303           recipients_max_reject? "552": "452");
2304
2305       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2306       recipient address */
2307
2308       recipient = rewrite_existflags & rewrite_smtp
2309         /* deconst ok as smtp_cmd_data was not const */
2310         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2311                       global_rewrite_rules)
2312         : smtp_cmd_data;
2313
2314       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2315         &recipient_domain, FALSE);
2316
2317       if (!recipient)
2318         /* The function moan_smtp_batch() does not return. */
2319         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2320
2321       /* If the recipient address is unqualified, qualify it if permitted. Then
2322       add it to the list of recipients. */
2323
2324       if (!recipient_domain)
2325         if (f.allow_unqualified_recipient)
2326           {
2327           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2328             recipient);
2329           /* deconst ok as recipient was not const */
2330           recipient = US rewrite_address_qualify(recipient, TRUE);
2331           }
2332         /* The function moan_smtp_batch() does not return. */
2333         else
2334           moan_smtp_batch(smtp_cmd_buffer,
2335             "501 recipient address must contain a domain");
2336
2337       receive_add_recipient(recipient, -1);
2338       break;
2339
2340
2341     /* The DATA command is legal only if it follows successful MAIL FROM
2342     and RCPT TO commands. This function is complete when a valid DATA
2343     command is encountered. */
2344
2345     case DATA_CMD:
2346       if (!sender_address || recipients_count <= 0)
2347         /* The function moan_smtp_batch() does not return. */
2348         if (!sender_address)
2349           moan_smtp_batch(smtp_cmd_buffer,
2350             "503 MAIL FROM:<sender> command must precede DATA");
2351         else
2352           moan_smtp_batch(smtp_cmd_buffer,
2353             "503 RCPT TO:<recipient> must precede DATA");
2354       else
2355         {
2356         done = 3;                      /* DATA successfully achieved */
2357         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2358         }
2359       break;
2360
2361
2362     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2363
2364     case VRFY_CMD:
2365     case EXPN_CMD:
2366     case HELP_CMD:
2367     case NOOP_CMD:
2368     case ETRN_CMD:
2369       bsmtp_transaction_linecount = receive_linecount;
2370       break;
2371
2372
2373     case QUIT_CMD:
2374       f.smtp_in_quit = TRUE;
2375     case EOF_CMD:
2376       done = 2;
2377       break;
2378
2379
2380     case BADARG_CMD:
2381       /* The function moan_smtp_batch() does not return. */
2382       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2383       break;
2384
2385
2386     case BADCHAR_CMD:
2387       /* The function moan_smtp_batch() does not return. */
2388       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2389       break;
2390
2391
2392     default:
2393       /* The function moan_smtp_batch() does not return. */
2394       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2395       break;
2396     }
2397   }
2398
2399 return done - 2;  /* Convert yield values */
2400 }
2401
2402
2403
2404
2405 #ifndef DISABLE_TLS
2406 static BOOL
2407 smtp_log_tls_fail(uschar * errstr)
2408 {
2409 uschar * conn_info = smtp_get_connection_info();
2410
2411 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2412 /* I'd like to get separated H= here, but too hard for now */
2413
2414 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2415 return FALSE;
2416 }
2417 #endif
2418
2419
2420
2421
2422 #ifdef TCP_FASTOPEN
2423 static void
2424 tfo_in_check(void)
2425 {
2426 # ifdef __FreeBSD__
2427 int is_fastopen;
2428 socklen_t len = sizeof(is_fastopen);
2429
2430 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2431 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2432
2433 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2434   {
2435   if (is_fastopen)
2436     {
2437     DEBUG(D_receive)
2438       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2439     f.tcp_in_fastopen = TRUE;
2440     }
2441   }
2442 else DEBUG(D_receive)
2443   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2444
2445 # elif defined(TCP_INFO)
2446 struct tcp_info tinfo;
2447 socklen_t len = sizeof(tinfo);
2448
2449 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2450 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2451   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2452     {
2453     DEBUG(D_receive)
2454       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2455     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2456     }
2457   else
2458 #  endif
2459     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2460     {
2461     DEBUG(D_receive)
2462       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2463     f.tcp_in_fastopen = TRUE;
2464     }
2465 else DEBUG(D_receive)
2466   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2467 # endif
2468 }
2469 #endif
2470
2471
2472 /*************************************************
2473 *          Start an SMTP session                 *
2474 *************************************************/
2475
2476 /* This function is called at the start of an SMTP session. Thereafter,
2477 smtp_setup_msg() is called to initiate each separate message. This
2478 function does host-specific testing, and outputs the banner line.
2479
2480 Arguments:     none
2481 Returns:       FALSE if the session can not continue; something has
2482                gone wrong, or the connection to the host is blocked
2483 */
2484
2485 BOOL
2486 smtp_start_session(void)
2487 {
2488 int esclen;
2489 uschar *user_msg, *log_msg;
2490 uschar *code, *esc;
2491 uschar *p, *s;
2492 gstring * ss;
2493
2494 gettimeofday(&smtp_connection_start, NULL);
2495 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2496   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2497 smtp_ch_index = 0;
2498
2499 /* Default values for certain variables */
2500
2501 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2502 smtp_mailcmd_count = 0;
2503 count_nonmail = TRUE_UNSET;
2504 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2505 smtp_delay_mail = smtp_rlm_base;
2506 fl.auth_advertised = FALSE;
2507 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2508 f.pipelining_enable = TRUE;
2509 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2510 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2511
2512 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2513 authentication settings from -oMaa to remain in force. */
2514
2515 if (!host_checking && !f.sender_host_notsocket)
2516   sender_host_auth_pubname = sender_host_authenticated = NULL;
2517 authenticated_by = NULL;
2518
2519 #ifndef DISABLE_TLS
2520 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2521 tls_in.ourcert = tls_in.peercert = NULL;
2522 tls_in.sni = NULL;
2523 tls_in.ocsp = OCSP_NOT_REQ;
2524 fl.tls_advertised = FALSE;
2525 #endif
2526 fl.dsn_advertised = FALSE;
2527 #ifdef SUPPORT_I18N
2528 fl.smtputf8_advertised = FALSE;
2529 #endif
2530
2531 /* Reset ACL connection variables */
2532
2533 acl_var_c = NULL;
2534
2535 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2536
2537 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, TRUE);
2538
2539 smtp_cmd_buffer[0] = 0;
2540 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2541
2542 /* For batched input, the protocol setting can be overridden from the
2543 command line by a trusted caller. */
2544
2545 if (smtp_batched_input)
2546   {
2547   if (!received_protocol) received_protocol = US"local-bsmtp";
2548   }
2549
2550 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2551 reset later if any of EHLO/AUTH/STARTTLS are received. */
2552
2553 else
2554   received_protocol =
2555     (sender_host_address ? protocols : protocols_local) [pnormal];
2556
2557 /* Set up the buffer for inputting using direct read() calls, and arrange to
2558 call the local functions instead of the standard C ones.  Place a NUL at the
2559 end of the buffer to safety-stop C-string reads from it. */
2560
2561 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2562   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2563 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2564
2565 receive_getc = smtp_getc;
2566 receive_getbuf = smtp_getbuf;
2567 receive_get_cache = smtp_get_cache;
2568 receive_ungetc = smtp_ungetc;
2569 receive_feof = smtp_feof;
2570 receive_ferror = smtp_ferror;
2571 receive_smtp_buffered = smtp_buffered;
2572 lwr_receive_getc = NULL;
2573 lwr_receive_getbuf = NULL;
2574 lwr_receive_ungetc = NULL;
2575 smtp_inptr = smtp_inend = smtp_inbuffer;
2576 smtp_had_eof = smtp_had_error = 0;
2577
2578 /* Set up the message size limit; this may be host-specific */
2579
2580 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2581 if (expand_string_message)
2582   {
2583   if (thismessage_size_limit == -1)
2584     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2585       "%s", expand_string_message);
2586   else
2587     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2588       "%s", expand_string_message);
2589   smtp_closedown(US"Temporary local problem - please try later");
2590   return FALSE;
2591   }
2592
2593 /* When a message is input locally via the -bs or -bS options, sender_host_
2594 unknown is set unless -oMa was used to force an IP address, in which case it
2595 is checked like a real remote connection. When -bs is used from inetd, this
2596 flag is not set, causing the sending host to be checked. The code that deals
2597 with IP source routing (if configured) is never required for -bs or -bS and
2598 the flag sender_host_notsocket is used to suppress it.
2599
2600 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2601 reserve for certain hosts and/or networks. */
2602
2603 if (!f.sender_host_unknown)
2604   {
2605   int rc;
2606   BOOL reserved_host = FALSE;
2607
2608   /* Look up IP options (source routing info) on the socket if this is not an
2609   -oMa "host", and if any are found, log them and drop the connection.
2610
2611   Linux (and others now, see below) is different to everyone else, so there
2612   has to be some conditional compilation here. Versions of Linux before 2.1.15
2613   used a structure whose name was "options". Somebody finally realized that
2614   this name was silly, and it got changed to "ip_options". I use the
2615   newer name here, but there is a fudge in the script that sets up os.h
2616   to define a macro in older Linux systems.
2617
2618   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2619   glibc 2, which has chosen ip_opts for the structure name. This is now
2620   really a glibc thing rather than a Linux thing, so the condition name
2621   has been changed to reflect this. It is relevant also to GNU/Hurd.
2622
2623   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2624   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2625   a special macro defined in the os.h file.
2626
2627   Some DGUX versions on older hardware appear not to support IP options at
2628   all, so there is now a general macro which can be set to cut out this
2629   support altogether.
2630
2631   How to do this properly in IPv6 is not yet known. */
2632
2633 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2634
2635   #ifdef GLIBC_IP_OPTIONS
2636     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2637     #define OPTSTYLE 1
2638     #else
2639     #define OPTSTYLE 2
2640     #endif
2641   #elif defined DARWIN_IP_OPTIONS
2642     #define OPTSTYLE 2
2643   #else
2644     #define OPTSTYLE 3
2645   #endif
2646
2647   if (!host_checking && !f.sender_host_notsocket)
2648     {
2649     #if OPTSTYLE == 1
2650     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2651     struct ip_options *ipopt = store_get(optlen, FALSE);
2652     #elif OPTSTYLE == 2
2653     struct ip_opts ipoptblock;
2654     struct ip_opts *ipopt = &ipoptblock;
2655     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2656     #else
2657     struct ipoption ipoptblock;
2658     struct ipoption *ipopt = &ipoptblock;
2659     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2660     #endif
2661
2662     /* Occasional genuine failures of getsockopt() have been seen - for
2663     example, "reset by peer". Therefore, just log and give up on this
2664     call, unless the error is ENOPROTOOPT. This error is given by systems
2665     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2666     of writing. So for that error, carry on - we just can't do an IP options
2667     check. */
2668
2669     DEBUG(D_receive) debug_printf("checking for IP options\n");
2670
2671     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2672           &optlen) < 0)
2673       {
2674       if (errno != ENOPROTOOPT)
2675         {
2676         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2677           host_and_ident(FALSE), strerror(errno));
2678         smtp_printf("451 SMTP service not available\r\n", FALSE);
2679         return FALSE;
2680         }
2681       }
2682
2683     /* Deal with any IP options that are set. On the systems I have looked at,
2684     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2685     more logging data than will fit in big_buffer. Nevertheless, after somebody
2686     questioned this code, I've added in some paranoid checking. */
2687
2688     else if (optlen > 0)
2689       {
2690       uschar *p = big_buffer;
2691       uschar *pend = big_buffer + big_buffer_size;
2692       uschar *adptr;
2693       int optcount;
2694       struct in_addr addr;
2695
2696       #if OPTSTYLE == 1
2697       uschar *optstart = US (ipopt->__data);
2698       #elif OPTSTYLE == 2
2699       uschar *optstart = US (ipopt->ip_opts);
2700       #else
2701       uschar *optstart = US (ipopt->ipopt_list);
2702       #endif
2703
2704       DEBUG(D_receive) debug_printf("IP options exist\n");
2705
2706       Ustrcpy(p, "IP options on incoming call:");
2707       p += Ustrlen(p);
2708
2709       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2710         switch (*opt)
2711           {
2712           case IPOPT_EOL:
2713           opt = NULL;
2714           break;
2715
2716           case IPOPT_NOP:
2717           opt++;
2718           break;
2719
2720           case IPOPT_SSRR:
2721           case IPOPT_LSRR:
2722           if (!string_format(p, pend-p, " %s [@%s",
2723                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2724                #if OPTSTYLE == 1
2725                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2726                #elif OPTSTYLE == 2
2727                inet_ntoa(ipopt->ip_dst)))
2728                #else
2729                inet_ntoa(ipopt->ipopt_dst)))
2730                #endif
2731             {
2732             opt = NULL;
2733             break;
2734             }
2735
2736           p += Ustrlen(p);
2737           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2738           adptr = opt + 3;
2739           while (optcount-- > 0)
2740             {
2741             memcpy(&addr, adptr, sizeof(addr));
2742             if (!string_format(p, pend - p - 1, "%s%s",
2743                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2744               {
2745               opt = NULL;
2746               break;
2747               }
2748             p += Ustrlen(p);
2749             adptr += sizeof(struct in_addr);
2750             }
2751           *p++ = ']';
2752           opt += opt[1];
2753           break;
2754
2755           default:
2756             {
2757             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2758             Ustrcat(p, "[ ");
2759             p += 2;
2760             for (int i = 0; i < opt[1]; i++)
2761               p += sprintf(CS p, "%2.2x ", opt[i]);
2762             *p++ = ']';
2763             }
2764           opt += opt[1];
2765           break;
2766           }
2767
2768       *p = 0;
2769       log_write(0, LOG_MAIN, "%s", big_buffer);
2770
2771       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2772
2773       log_write(0, LOG_MAIN|LOG_REJECT,
2774         "connection from %s refused (IP options)", host_and_ident(FALSE));
2775
2776       smtp_printf("554 SMTP service not available\r\n", FALSE);
2777       return FALSE;
2778       }
2779
2780     /* Length of options = 0 => there are no options */
2781
2782     else DEBUG(D_receive) debug_printf("no IP options found\n");
2783     }
2784 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2785
2786   /* Set keep-alive in socket options. The option is on by default. This
2787   setting is an attempt to get rid of some hanging connections that stick in
2788   read() when the remote end (usually a dialup) goes away. */
2789
2790   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2791     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2792
2793   /* If the current host matches host_lookup, set the name by doing a
2794   reverse lookup. On failure, sender_host_name will be NULL and
2795   host_lookup_failed will be TRUE. This may or may not be serious - optional
2796   checks later. */
2797
2798   if (verify_check_host(&host_lookup) == OK)
2799     {
2800     (void)host_name_lookup();
2801     host_build_sender_fullhost();
2802     }
2803
2804   /* Delay this until we have the full name, if it is looked up. */
2805
2806   set_process_info("handling incoming connection from %s",
2807     host_and_ident(FALSE));
2808
2809   /* Expand smtp_receive_timeout, if needed */
2810
2811   if (smtp_receive_timeout_s)
2812     {
2813     uschar * exp;
2814     if (  !(exp = expand_string(smtp_receive_timeout_s))
2815        || !(*exp)
2816        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2817        )
2818       log_write(0, LOG_MAIN|LOG_PANIC,
2819         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2820     }
2821
2822   /* Test for explicit connection rejection */
2823
2824   if (verify_check_host(&host_reject_connection) == OK)
2825     {
2826     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2827       "from %s (host_reject_connection)", host_and_ident(FALSE));
2828     smtp_printf("554 SMTP service not available\r\n", FALSE);
2829     return FALSE;
2830     }
2831
2832   /* Test with TCP Wrappers if so configured. There is a problem in that
2833   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2834   such as disks dying. In these cases, it is desirable to reject with a 4xx
2835   error instead of a 5xx error. There isn't a "right" way to detect such
2836   problems. The following kludge is used: errno is zeroed before calling
2837   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2838   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2839   not exist). */
2840
2841 #ifdef USE_TCP_WRAPPERS
2842   errno = 0;
2843   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2844     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2845       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2846         expand_string_message);
2847
2848   if (!hosts_ctl(tcp_wrappers_name,
2849          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2850          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2851          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2852     {
2853     if (errno == 0 || errno == ENOENT)
2854       {
2855       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2856       log_write(L_connection_reject,
2857                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2858                 "(tcp wrappers)", host_and_ident(FALSE));
2859       smtp_printf("554 SMTP service not available\r\n", FALSE);
2860       }
2861     else
2862       {
2863       int save_errno = errno;
2864       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2865         "errno value %d\n", save_errno);
2866       log_write(L_connection_reject,
2867                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2868                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2869       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2870       }
2871     return FALSE;
2872     }
2873 #endif
2874
2875   /* Check for reserved slots. The value of smtp_accept_count has already been
2876   incremented to include this process. */
2877
2878   if (smtp_accept_max > 0 &&
2879       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2880     {
2881     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2882       {
2883       log_write(L_connection_reject,
2884         LOG_MAIN, "temporarily refused connection from %s: not in "
2885         "reserve list: connected=%d max=%d reserve=%d%s",
2886         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2887         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2888       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2889         "please try again later\r\n", FALSE, smtp_active_hostname);
2890       return FALSE;
2891       }
2892     reserved_host = TRUE;
2893     }
2894
2895   /* If a load level above which only messages from reserved hosts are
2896   accepted is set, check the load. For incoming calls via the daemon, the
2897   check is done in the superior process if there are no reserved hosts, to
2898   save a fork. In all cases, the load average will already be available
2899   in a global variable at this point. */
2900
2901   if (smtp_load_reserve >= 0 &&
2902        load_average > smtp_load_reserve &&
2903        !reserved_host &&
2904        verify_check_host(&smtp_reserve_hosts) != OK)
2905     {
2906     log_write(L_connection_reject,
2907       LOG_MAIN, "temporarily refused connection from %s: not in "
2908       "reserve list and load average = %.2f", host_and_ident(FALSE),
2909       (double)load_average/1000.0);
2910     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2911       smtp_active_hostname);
2912     return FALSE;
2913     }
2914
2915   /* Determine whether unqualified senders or recipients are permitted
2916   for this host. Unfortunately, we have to do this every time, in order to
2917   set the flags so that they can be inspected when considering qualifying
2918   addresses in the headers. For a site that permits no qualification, this
2919   won't take long, however. */
2920
2921   f.allow_unqualified_sender =
2922     verify_check_host(&sender_unqualified_hosts) == OK;
2923
2924   f.allow_unqualified_recipient =
2925     verify_check_host(&recipient_unqualified_hosts) == OK;
2926
2927   /* Determine whether HELO/EHLO is required for this host. The requirement
2928   can be hard or soft. */
2929
2930   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2931   if (!fl.helo_required)
2932     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2933
2934   /* Determine whether this hosts is permitted to send syntactic junk
2935   after a HELO or EHLO command. */
2936
2937   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2938   }
2939
2940 /* For batch SMTP input we are now done. */
2941
2942 if (smtp_batched_input) return TRUE;
2943
2944 /* If valid Proxy Protocol source is connecting, set up session.
2945 Failure will not allow any SMTP function other than QUIT. */
2946
2947 #ifdef SUPPORT_PROXY
2948 proxy_session = FALSE;
2949 f.proxy_session_failed = FALSE;
2950 if (check_proxy_protocol_host())
2951   setup_proxy_protocol_host();
2952 #endif
2953
2954 /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2955 smtps port for use with older style SSL MTAs. */
2956
2957 #ifndef DISABLE_TLS
2958 if (tls_in.on_connect)
2959   {
2960   if (tls_server_start(&user_msg) != OK)
2961     return smtp_log_tls_fail(user_msg);
2962   cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2963   }
2964 #endif
2965
2966 /* Run the connect ACL if it exists */
2967
2968 user_msg = NULL;
2969 if (acl_smtp_connect)
2970   {
2971   int rc;
2972   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2973                       &log_msg)) != OK)
2974     {
2975     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2976     return FALSE;
2977     }
2978   }
2979
2980 /* Output the initial message for a two-way SMTP connection. It may contain
2981 newlines, which then cause a multi-line response to be given. */
2982
2983 code = US"220";   /* Default status code */
2984 esc = US"";       /* Default extended status code */
2985 esclen = 0;       /* Length of esc */
2986
2987 if (!user_msg)
2988   {
2989   if (!(s = expand_string(smtp_banner)))
2990     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2991       "failed: %s", smtp_banner, expand_string_message);
2992   }
2993 else
2994   {
2995   int codelen = 3;
2996   s = user_msg;
2997   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2998   if (codelen > 4)
2999     {
3000     esc = code + 4;
3001     esclen = codelen - 4;
3002     }
3003   }
3004
3005 /* Remove any terminating newlines; might as well remove trailing space too */
3006
3007 p = s + Ustrlen(s);
3008 while (p > s && isspace(p[-1])) p--;
3009 *p = 0;
3010
3011 /* It seems that CC:Mail is braindead, and assumes that the greeting message
3012 is all contained in a single IP packet. The original code wrote out the
3013 greeting using several calls to fprint/fputc, and on busy servers this could
3014 cause it to be split over more than one packet - which caused CC:Mail to fall
3015 over when it got the second part of the greeting after sending its first
3016 command. Sigh. To try to avoid this, build the complete greeting message
3017 first, and output it in one fell swoop. This gives a better chance of it
3018 ending up as a single packet. */
3019
3020 ss = string_get(256);
3021
3022 p = s;
3023 do       /* At least once, in case we have an empty string */
3024   {
3025   int len;
3026   uschar *linebreak = Ustrchr(p, '\n');
3027   ss = string_catn(ss, code, 3);
3028   if (!linebreak)
3029     {
3030     len = Ustrlen(p);
3031     ss = string_catn(ss, US" ", 1);
3032     }
3033   else
3034     {
3035     len = linebreak - p;
3036     ss = string_catn(ss, US"-", 1);
3037     }
3038   ss = string_catn(ss, esc, esclen);
3039   ss = string_catn(ss, p, len);
3040   ss = string_catn(ss, US"\r\n", 2);
3041   p += len;
3042   if (linebreak) p++;
3043   }
3044 while (*p);
3045
3046 /* Before we write the banner, check that there is no input pending, unless
3047 this synchronisation check is disabled. */
3048
3049 #ifndef DISABLE_PIPE_CONNECT
3050 fl.pipe_connect_acceptable =
3051   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3052
3053 if (!check_sync())
3054   if (fl.pipe_connect_acceptable)
3055     f.smtp_in_early_pipe_used = TRUE;
3056   else
3057 #else
3058 if (!check_sync())
3059 #endif
3060     {
3061     unsigned n = smtp_inend - smtp_inptr;
3062     if (n > 128) n = 128;
3063
3064     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3065       "synchronization error (input sent without waiting for greeting): "
3066       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3067       string_printing(string_copyn(smtp_inptr, n)));
3068     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3069     return FALSE;
3070     }
3071
3072 /* Now output the banner */
3073 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3074
3075 smtp_printf("%s",
3076 #ifndef DISABLE_PIPE_CONNECT
3077   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3078 #else
3079   FALSE,
3080 #endif
3081   string_from_gstring(ss));
3082
3083 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3084 handshake arrived.  If so we must have managed a TFO. */
3085
3086 #ifdef TCP_FASTOPEN
3087 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3088 #endif
3089
3090 return TRUE;
3091 }
3092
3093
3094
3095
3096
3097 /*************************************************
3098 *     Handle SMTP syntax and protocol errors     *
3099 *************************************************/
3100
3101 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3102 to do so. Then transmit the error response. The return value depends on the
3103 number of syntax and protocol errors in this SMTP session.
3104
3105 Arguments:
3106   type      error type, given as a log flag bit
3107   code      response code; <= 0 means don't send a response
3108   data      data to reflect in the response (can be NULL)
3109   errmess   the error message
3110
3111 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3112             +1   limit of syntax/protocol errors IS exceeded
3113
3114 These values fit in with the values of the "done" variable in the main
3115 processing loop in smtp_setup_msg(). */
3116
3117 static int
3118 synprot_error(int type, int code, uschar *data, uschar *errmess)
3119 {
3120 int yield = -1;
3121
3122 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3123   type == L_smtp_syntax_error ? "syntax" : "protocol",
3124   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3125
3126 if (++synprot_error_count > smtp_max_synprot_errors)
3127   {
3128   yield = 1;
3129   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3130     "syntax or protocol errors (last command was \"%s\", %s)",
3131     host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
3132     string_from_gstring(s_connhad_log(NULL))
3133     );
3134   }
3135
3136 if (code > 0)
3137   {
3138   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3139     data ? data : US"", data ? US": " : US"", errmess);
3140   if (yield == 1)
3141     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3142   }
3143
3144 return yield;
3145 }
3146
3147
3148
3149
3150 /*************************************************
3151 *    Send SMTP response, possibly multiline      *
3152 *************************************************/
3153
3154 /* There are, it seems, broken clients out there that cannot handle multiline
3155 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3156 output nothing for non-final calls, and only the first line for anything else.
3157
3158 Arguments:
3159   code          SMTP code, may involve extended status codes
3160   codelen       length of smtp code; if > 4 there's an ESC
3161   final         FALSE if the last line isn't the final line
3162   msg           message text, possibly containing newlines
3163
3164 Returns:        nothing
3165 */
3166
3167 void
3168 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3169 {
3170 int esclen = 0;
3171 uschar *esc = US"";
3172
3173 if (!final && f.no_multiline_responses) return;
3174
3175 if (codelen > 4)
3176   {
3177   esc = code + 4;
3178   esclen = codelen - 4;
3179   }
3180
3181 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3182 have had the same. Note: this code is also present in smtp_printf(). It would
3183 be tidier to have it only in one place, but when it was added, it was easier to
3184 do it that way, so as not to have to mess with the code for the RCPT command,
3185 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3186
3187 if (fl.rcpt_in_progress)
3188   {
3189   if (rcpt_smtp_response == NULL)
3190     rcpt_smtp_response = string_copy(msg);
3191   else if (fl.rcpt_smtp_response_same &&
3192            Ustrcmp(rcpt_smtp_response, msg) != 0)
3193     fl.rcpt_smtp_response_same = FALSE;
3194   fl.rcpt_in_progress = FALSE;
3195   }
3196
3197 /* Now output the message, splitting it up into multiple lines if necessary.
3198 We only handle pipelining these responses as far as nonfinal/final groups,
3199 not the whole MAIL/RCPT/DATA response set. */
3200
3201 for (;;)
3202   {
3203   uschar *nl = Ustrchr(msg, '\n');
3204   if (nl == NULL)
3205     {
3206     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3207     return;
3208     }
3209   else if (nl[1] == 0 || f.no_multiline_responses)
3210     {
3211     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3212       (int)(nl - msg), msg);
3213     return;
3214     }
3215   else
3216     {
3217     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3218     msg = nl + 1;
3219     Uskip_whitespace(&msg);
3220     }
3221   }
3222 }
3223
3224
3225
3226
3227 /*************************************************
3228 *            Parse user SMTP message             *
3229 *************************************************/
3230
3231 /* This function allows for user messages overriding the response code details
3232 by providing a suitable response code string at the start of the message
3233 user_msg. Check the message for starting with a response code and optionally an
3234 extended status code. If found, check that the first digit is valid, and if so,
3235 change the code pointer and length to use the replacement. An invalid code
3236 causes a panic log; in this case, if the log messages is the same as the user
3237 message, we must also adjust the value of the log message to show the code that
3238 is actually going to be used (the original one).
3239
3240 This function is global because it is called from receive.c as well as within
3241 this module.
3242
3243 Note that the code length returned includes the terminating whitespace
3244 character, which is always included in the regex match.
3245
3246 Arguments:
3247   code          SMTP code, may involve extended status codes
3248   codelen       length of smtp code; if > 4 there's an ESC
3249   msg           message text
3250   log_msg       optional log message, to be adjusted with the new SMTP code
3251   check_valid   if true, verify the response code
3252
3253 Returns:        nothing
3254 */
3255
3256 void
3257 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3258   BOOL check_valid)
3259 {
3260 int n;
3261 int ovector[3];
3262
3263 if (!msg || !*msg) return;
3264
3265 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3266   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3267
3268 if (check_valid && (*msg)[0] != (*code)[0])
3269   {
3270   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3271     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3272   if (log_msg != NULL && *log_msg == *msg)
3273     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3274   }
3275 else
3276   {
3277   *code = *msg;
3278   *codelen = ovector[1];    /* Includes final space */
3279   }
3280 *msg += ovector[1];         /* Chop the code off the message */
3281 return;
3282 }
3283
3284
3285
3286
3287 /*************************************************
3288 *           Handle an ACL failure                *
3289 *************************************************/
3290
3291 /* This function is called when acl_check() fails. As well as calls from within
3292 this module, it is called from receive.c for an ACL after DATA. It sorts out
3293 logging the incident, and sends the error response. A message containing
3294 newlines is turned into a multiline SMTP response, but for logging, only the
3295 first line is used.
3296
3297 There's a table of default permanent failure response codes to use in
3298 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3299 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3300 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3301 state, because there are broken clients that try VRFY before RCPT. A 5xx
3302 response should be given only when the address is positively known to be
3303 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3304 no explicit code, but if there is one we let it know best.
3305 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3306
3307 From Exim 4.63, it is possible to override the response code details by
3308 providing a suitable response code string at the start of the message provided
3309 in user_msg. The code's first digit is checked for validity.
3310
3311 Arguments:
3312   where        where the ACL was called from
3313   rc           the failure code
3314   user_msg     a message that can be included in an SMTP response
3315   log_msg      a message for logging
3316
3317 Returns:     0 in most cases
3318              2 if the failure code was FAIL_DROP, in which case the
3319                SMTP connection should be dropped (this value fits with the
3320                "done" variable in smtp_setup_msg() below)
3321 */
3322
3323 int
3324 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3325 {
3326 BOOL drop = rc == FAIL_DROP;
3327 int codelen = 3;
3328 uschar *smtp_code;
3329 uschar *lognl;
3330 uschar *sender_info = US"";
3331 uschar *what;
3332
3333 if (drop) rc = FAIL;
3334
3335 /* Set the default SMTP code, and allow a user message to change it. */
3336
3337 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3338 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3339   where != ACL_WHERE_VRFY);
3340
3341 /* We used to have sender_address here; however, there was a bug that was not
3342 updating sender_address after a rewrite during a verify. When this bug was
3343 fixed, sender_address at this point became the rewritten address. I'm not sure
3344 this is what should be logged, so I've changed to logging the unrewritten
3345 address to retain backward compatibility. */
3346
3347 switch (where)
3348   {
3349 #ifdef WITH_CONTENT_SCAN
3350   case ACL_WHERE_MIME:          what = US"during MIME ACL checks";      break;
3351 #endif
3352   case ACL_WHERE_PREDATA:       what = US"DATA";                        break;
3353   case ACL_WHERE_DATA:          what = US"after DATA";                  break;
3354 #ifndef DISABLE_PRDR
3355   case ACL_WHERE_PRDR:          what = US"after DATA PRDR";             break;
3356 #endif
3357   default:
3358     {
3359     uschar * place = smtp_cmd_data ? smtp_cmd_data : US"in \"connect\" ACL";
3360     int lim = 100;
3361
3362     if (where == ACL_WHERE_AUTH)        /* avoid logging auth creds */
3363       {
3364       uschar * s;
3365       for (s = smtp_cmd_data; *s && !isspace(*s); ) s++;
3366       lim = s - smtp_cmd_data;  /* atop after method */
3367       }
3368     what = string_sprintf("%s %.*s", acl_wherenames[where], lim, place);
3369     }
3370   }
3371 switch (where)
3372   {
3373   case ACL_WHERE_RCPT:
3374   case ACL_WHERE_DATA:
3375 #ifdef WITH_CONTENT_SCAN
3376   case ACL_WHERE_MIME:
3377 #endif
3378     sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3379       sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3380       sender_host_authenticated ? US" A="                                    : US"",
3381       sender_host_authenticated ? sender_host_authenticated                  : US"",
3382       sender_host_authenticated && authenticated_id ? US":"                  : US"",
3383       sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3384       );
3385   break;
3386   }
3387
3388 /* If there's been a sender verification failure with a specific message, and
3389 we have not sent a response about it yet, do so now, as a preliminary line for
3390 failures, but not defers. However, always log it for defer, and log it for fail
3391 unless the sender_verify_fail log selector has been turned off. */
3392
3393 if (sender_verified_failed &&
3394     !testflag(sender_verified_failed, af_sverify_told))
3395   {
3396   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3397   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3398
3399   setflag(sender_verified_failed, af_sverify_told);
3400
3401   if (rc != FAIL || LOGGING(sender_verify_fail))
3402     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3403       host_and_ident(TRUE),
3404       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3405       sender_verified_failed->address,
3406       (sender_verified_failed->message == NULL)? US"" :
3407       string_sprintf(": %s", sender_verified_failed->message));
3408
3409   if (rc == FAIL && sender_verified_failed->user_message)
3410     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3411         testflag(sender_verified_failed, af_verify_pmfail)?
3412           "Postmaster verification failed while checking <%s>\n%s\n"
3413           "Several RFCs state that you are required to have a postmaster\n"
3414           "mailbox for each mail domain. This host does not accept mail\n"
3415           "from domains whose servers reject the postmaster address."
3416           :
3417         testflag(sender_verified_failed, af_verify_nsfail)?
3418           "Callback setup failed while verifying <%s>\n%s\n"
3419           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3420           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3421           "RFC requirements, and stops you from receiving standard bounce\n"
3422           "messages. This host does not accept mail from domains whose servers\n"
3423           "refuse bounces."
3424           :
3425           "Verification failed for <%s>\n%s",
3426         sender_verified_failed->address,
3427         sender_verified_failed->user_message));
3428
3429   fl.rcpt_in_progress = save_rcpt_in_progress;
3430   }
3431
3432 /* Sort out text for logging */
3433
3434 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3435 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3436
3437 /* Send permanent failure response to the command, but the code used isn't
3438 always a 5xx one - see comments at the start of this function. If the original
3439 rc was FAIL_DROP we drop the connection and yield 2. */
3440
3441 if (rc == FAIL)
3442   smtp_respond(smtp_code, codelen, TRUE,
3443     user_msg ? user_msg : US"Administrative prohibition");
3444
3445 /* Send temporary failure response to the command. Don't give any details,
3446 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3447 verb, and for a header verify when smtp_return_error_details is set.
3448
3449 This conditional logic is all somewhat of a mess because of the odd
3450 interactions between temp_details and return_error_details. One day it should
3451 be re-implemented in a tidier fashion. */
3452
3453 else
3454   if (f.acl_temp_details && user_msg)
3455     {
3456     if (  smtp_return_error_details
3457        && sender_verified_failed
3458        && sender_verified_failed->message
3459        )
3460       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3461
3462     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3463     }
3464   else
3465     smtp_respond(smtp_code, codelen, TRUE,
3466       US"Temporary local problem - please try later");
3467
3468 /* Log the incident to the logs that are specified by log_reject_target
3469 (default main, reject). This can be empty to suppress logging of rejections. If
3470 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3471 is closing if required and return 2.  */
3472
3473 if (log_reject_target != 0)
3474   {
3475 #ifndef DISABLE_TLS
3476   gstring * g = s_tlslog(NULL);
3477   uschar * tls = string_from_gstring(g);
3478   if (!tls) tls = US"";
3479 #else
3480   uschar * tls = US"";
3481 #endif
3482   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3483     log_reject_target, "%s%s%s %s%srejected %s%s",
3484     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3485     host_and_ident(TRUE),
3486     tls,
3487     sender_info,
3488     rc == FAIL ? US"" : US"temporarily ",
3489     what, log_msg);
3490   }
3491
3492 if (!drop) return 0;
3493
3494 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3495   smtp_get_connection_info());
3496
3497 /* Run the not-quit ACL, but without any custom messages. This should not be a
3498 problem, because we get here only if some other ACL has issued "drop", and
3499 in that case, *its* custom messages will have been used above. */
3500
3501 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3502 return 2;
3503 }
3504
3505
3506
3507
3508 /*************************************************
3509 *     Handle SMTP exit when QUIT is not given    *
3510 *************************************************/
3511
3512 /* This function provides a logging/statistics hook for when an SMTP connection
3513 is dropped on the floor or the other end goes away. It's a global function
3514 because it's called from receive.c as well as this module. As well as running
3515 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3516 response, either with a custom message from the ACL, or using a default. There
3517 is one case, however, when no message is output - after "drop". In that case,
3518 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3519 passed to this function.
3520
3521 In case things go wrong while processing this function, causing an error that
3522 may re-enter this function, there is a recursion check.
3523
3524 Arguments:
3525   reason          What $smtp_notquit_reason will be set to in the ACL;
3526                     if NULL, the ACL is not run
3527   code            The error code to return as part of the response
3528   defaultrespond  The default message if there's no user_msg
3529
3530 Returns:          Nothing
3531 */
3532
3533 void
3534 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3535 {
3536 int rc;
3537 uschar *user_msg = NULL;
3538 uschar *log_msg = NULL;
3539
3540 /* Check for recursive call */
3541
3542 if (fl.smtp_exit_function_called)
3543   {
3544   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3545     reason);
3546   return;
3547   }
3548 fl.smtp_exit_function_called = TRUE;
3549
3550 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3551
3552 if (acl_smtp_notquit && reason)
3553   {
3554   smtp_notquit_reason = reason;
3555   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3556                       &log_msg)) == ERROR)
3557     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3558       log_msg);
3559   }
3560
3561 /* If the connection was dropped, we certainly are no longer talking TLS */
3562 tls_in.active.sock = -1;
3563
3564 /* Write an SMTP response if we are expected to give one. As the default
3565 responses are all internal, they should be reasonable size. */
3566
3567 if (code && defaultrespond)
3568   {
3569   if (user_msg)
3570     smtp_respond(code, 3, TRUE, user_msg);
3571   else
3572     {
3573     gstring * g;
3574     va_list ap;
3575
3576     va_start(ap, defaultrespond);
3577     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3578     va_end(ap);
3579     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3580     }
3581   mac_smtp_fflush();
3582   }
3583 }
3584
3585
3586
3587
3588 /*************************************************
3589 *             Verify HELO argument               *
3590 *************************************************/
3591
3592 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3593 matched. It is also called from ACL processing if verify = helo is used and
3594 verification was not previously tried (i.e. helo_try_verify_hosts was not
3595 matched). The result of its processing is to set helo_verified and
3596 helo_verify_failed. These variables should both be FALSE for this function to
3597 be called.
3598
3599 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3600 for IPv6 ::ffff: literals.
3601
3602 Argument:   none
3603 Returns:    TRUE if testing was completed;
3604             FALSE on a temporary failure
3605 */
3606
3607 BOOL
3608 smtp_verify_helo(void)
3609 {
3610 BOOL yield = TRUE;
3611
3612 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3613   sender_helo_name);
3614
3615 if (sender_helo_name == NULL)
3616   {
3617   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3618   }
3619
3620 /* Deal with the case of -bs without an IP address */
3621
3622 else if (sender_host_address == NULL)
3623   {
3624   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3625   f.helo_verified = TRUE;
3626   }
3627
3628 /* Deal with the more common case when there is a sending IP address */
3629
3630 else if (sender_helo_name[0] == '[')
3631   {
3632   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3633     Ustrlen(sender_host_address)) == 0;
3634
3635 #if HAVE_IPV6
3636   if (!f.helo_verified)
3637     {
3638     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3639       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3640         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3641     }
3642 #endif
3643
3644   HDEBUG(D_receive)
3645     { if (f.helo_verified) debug_printf("matched host address\n"); }
3646   }
3647
3648 /* Do a reverse lookup if one hasn't already given a positive or negative
3649 response. If that fails, or the name doesn't match, try checking with a forward
3650 lookup. */
3651
3652 else
3653   {
3654   if (sender_host_name == NULL && !host_lookup_failed)
3655     yield = host_name_lookup() != DEFER;
3656
3657   /* If a host name is known, check it and all its aliases. */
3658
3659   if (sender_host_name)
3660     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3661       {
3662       sender_helo_dnssec = sender_host_dnssec;
3663       HDEBUG(D_receive) debug_printf("matched host name\n");
3664       }
3665     else
3666       {
3667       uschar **aliases = sender_host_aliases;
3668       while (*aliases)
3669         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3670           {
3671           sender_helo_dnssec = sender_host_dnssec;
3672           break;
3673           }
3674
3675       HDEBUG(D_receive) if (f.helo_verified)
3676           debug_printf("matched alias %s\n", *(--aliases));
3677       }
3678
3679   /* Final attempt: try a forward lookup of the helo name */
3680
3681   if (!f.helo_verified)
3682     {
3683     int rc;
3684     host_item h =
3685       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3686     dnssec_domains d =
3687       {.request = US"*", .require = US""};
3688
3689     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3690       sender_helo_name);
3691     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3692                           NULL, NULL, NULL, &d, NULL, NULL);
3693     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3694       for (host_item * hh = &h; hh; hh = hh->next)
3695         if (Ustrcmp(hh->address, sender_host_address) == 0)
3696           {
3697           f.helo_verified = TRUE;
3698           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3699           HDEBUG(D_receive)
3700             debug_printf("IP address for %s matches calling address\n"
3701               "Forward DNS security status: %sverified\n",
3702               sender_helo_name, sender_helo_dnssec ? "" : "un");
3703           break;
3704           }
3705     }
3706   }
3707
3708 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3709 return yield;
3710 }
3711
3712
3713
3714
3715 /*************************************************
3716 *        Send user response message              *
3717 *************************************************/
3718
3719 /* This function is passed a default response code and a user message. It calls
3720 smtp_message_code() to check and possibly modify the response code, and then
3721 calls smtp_respond() to transmit the response. I put this into a function
3722 just to avoid a lot of repetition.
3723
3724 Arguments:
3725   code         the response code
3726   user_msg     the user message
3727
3728 Returns:       nothing
3729 */
3730
3731 static void
3732 smtp_user_msg(uschar *code, uschar *user_msg)
3733 {
3734 int len = 3;
3735 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3736 smtp_respond(code, len, TRUE, user_msg);
3737 }
3738
3739
3740
3741 static int
3742 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3743 {
3744 const uschar *set_id = NULL;
3745 int rc;
3746
3747 /* Run the checking code, passing the remainder of the command line as
3748 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3749 it as the only set numerical variable. The authenticator may set $auth<n>
3750 and also set other numeric variables. The $auth<n> variables are preferred
3751 nowadays; the numerical variables remain for backwards compatibility.
3752
3753 Afterwards, have a go at expanding the set_id string, even if
3754 authentication failed - for bad passwords it can be useful to log the
3755 userid. On success, require set_id to expand and exist, and put it in
3756 authenticated_id. Save this in permanent store, as the working store gets
3757 reset at HELO, RSET, etc. */
3758
3759 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3760 expand_nmax = 0;
3761 expand_nlength[0] = 0;   /* $0 contains nothing */
3762
3763 rc = (au->info->servercode)(au, smtp_cmd_data);
3764 if (au->set_id) set_id = expand_string(au->set_id);
3765 expand_nmax = -1;        /* Reset numeric variables */
3766 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3767
3768 /* The value of authenticated_id is stored in the spool file and printed in
3769 log lines. It must not contain binary zeros or newline characters. In
3770 normal use, it never will, but when playing around or testing, this error
3771 can (did) happen. To guard against this, ensure that the id contains only
3772 printing characters. */
3773
3774 if (set_id) set_id = string_printing(set_id);
3775
3776 /* For the non-OK cases, set up additional logging data if set_id
3777 is not empty. */
3778
3779 if (rc != OK)
3780   set_id = set_id && *set_id
3781     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3782
3783 /* Switch on the result */
3784
3785 switch(rc)
3786   {
3787   case OK:
3788     if (!au->set_id || set_id)    /* Complete success */
3789       {
3790       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3791       sender_host_authenticated = au->name;
3792       sender_host_auth_pubname  = au->public_name;
3793       authentication_failed = FALSE;
3794       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3795
3796       received_protocol =
3797         (sender_host_address ? protocols : protocols_local)
3798           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3799       *s = *ss = US"235 Authentication succeeded";
3800       authenticated_by = au;
3801       break;
3802       }
3803
3804     /* Authentication succeeded, but we failed to expand the set_id string.
3805     Treat this as a temporary error. */
3806
3807     auth_defer_msg = expand_string_message;
3808     /* Fall through */
3809
3810   case DEFER:
3811     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3812     *s = string_sprintf("435 Unable to authenticate at present%s",
3813       auth_defer_user_msg);
3814     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3815       set_id, auth_defer_msg);
3816     break;
3817
3818   case BAD64:
3819     *s = *ss = US"501 Invalid base64 data";
3820     break;
3821
3822   case CANCELLED:
3823     *s = *ss = US"501 Authentication cancelled";
3824     break;
3825
3826   case UNEXPECTED:
3827     *s = *ss = US"553 Initial data not expected";
3828     break;
3829
3830   case FAIL:
3831     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3832     *s = US"535 Incorrect authentication data";
3833     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3834     break;
3835
3836   default:
3837     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3838     *s = US"435 Internal error";
3839     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3840       "check", set_id, rc);
3841     break;
3842   }
3843
3844 return rc;
3845 }
3846
3847
3848
3849
3850
3851 static int
3852 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3853 {
3854 int rd;
3855 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3856   {
3857   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3858     *recipient);
3859   rd = Ustrlen(recipient) + 1;
3860   /* deconst ok as *recipient was not const */
3861   *recipient = US rewrite_address_qualify(*recipient, TRUE);
3862   return rd;
3863   }
3864 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3865   smtp_cmd_data);
3866 log_write(L_smtp_syntax_error,
3867   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3868   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3869 return 0;
3870 }
3871
3872
3873
3874
3875 static void
3876 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3877 {
3878 HAD(SCH_QUIT);
3879 f.smtp_in_quit = TRUE;
3880 incomplete_transaction_log(US"QUIT");
3881 if (  acl_smtp_quit
3882    && acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp)
3883         == ERROR)
3884     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3885       *log_msgp);
3886
3887 #ifdef EXIM_TCP_CORK
3888 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, EXIM_TCP_CORK, US &on, sizeof(on));
3889 #endif
3890
3891 if (*user_msgp)
3892   smtp_respond(US"221", 3, TRUE, *user_msgp);
3893 else
3894   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3895
3896 #ifdef SERVERSIDE_CLOSE_NOWAIT
3897 # ifndef DISABLE_TLS
3898 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3899 # endif
3900
3901 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3902   smtp_get_connection_info());
3903 #else
3904
3905 # ifndef DISABLE_TLS
3906 tls_close(NULL, TLS_SHUTDOWN_WAIT);
3907 # endif
3908
3909 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3910   smtp_get_connection_info());
3911
3912 /* Pause, hoping client will FIN first so that they get the TIME_WAIT.
3913 The socket should become readble (though with no data) */
3914
3915   {
3916   int fd = fileno(smtp_in);
3917   fd_set fds;
3918   struct timeval t_limit = {.tv_sec = 0, .tv_usec = 200*1000};
3919
3920   FD_ZERO(&fds);
3921   FD_SET(fd, &fds);
3922   (void) select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &t_limit);
3923   }
3924 #endif  /*!DAEMON_CLOSE_NOWAIT*/
3925 }
3926
3927
3928 static void
3929 smtp_rset_handler(void)
3930 {
3931 HAD(SCH_RSET);
3932 incomplete_transaction_log(US"RSET");
3933 smtp_printf("250 Reset OK\r\n", FALSE);
3934 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3935 }
3936
3937
3938 static int
3939 expand_mailmax(const uschar * s)
3940 {
3941 if (!(s = expand_cstring(s)))
3942   log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand smtp_accept_max_per_connection");
3943 return *s ? Uatoi(s) : 0;
3944 }
3945
3946 /*************************************************
3947 *       Initialize for SMTP incoming message     *
3948 *************************************************/
3949
3950 /* This function conducts the initial dialogue at the start of an incoming SMTP
3951 message, and builds a list of recipients. However, if the incoming message
3952 is part of a batch (-bS option) a separate function is called since it would
3953 be messy having tests splattered about all over this function. This function
3954 therefore handles the case where interaction is occurring. The input and output
3955 files are set up in smtp_in and smtp_out.
3956
3957 The global recipients_list is set to point to a vector of recipient_item
3958 blocks, whose number is given by recipients_count. This is extended by the
3959 receive_add_recipient() function. The global variable sender_address is set to
3960 the sender's address. The yield is +1 if a message has been successfully
3961 started, 0 if a QUIT command was encountered or the connection was refused from
3962 the particular host, or -1 if the connection was lost.
3963
3964 Argument: none
3965
3966 Returns:  > 0 message successfully started (reached DATA)
3967           = 0 QUIT read or end of file reached or call refused
3968           < 0 lost connection
3969 */
3970
3971 int
3972 smtp_setup_msg(void)
3973 {
3974 int done = 0;
3975 int mailmax = -1;
3976 BOOL toomany = FALSE;
3977 BOOL discarded = FALSE;
3978 BOOL last_was_rej_mail = FALSE;
3979 BOOL last_was_rcpt = FALSE;
3980 rmark reset_point = store_mark();
3981
3982 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3983
3984 /* Reset for start of new message. We allow one RSET not to be counted as a
3985 nonmail command, for those MTAs that insist on sending it between every
3986 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3987 TLS between messages (an Exim client may do this if it has messages queued up
3988 for the host). Note: we do NOT reset AUTH at this point. */
3989
3990 reset_point = smtp_reset(reset_point);
3991 message_ended = END_NOTSTARTED;
3992
3993 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3994
3995 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3996 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3997 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3998 #ifndef DISABLE_TLS
3999 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
4000 #endif
4001
4002 if (lwr_receive_getc != NULL)
4003   {
4004   /* This should have already happened, but if we've gotten confused,
4005   force a reset here. */
4006   DEBUG(D_receive) debug_printf("WARNING: smtp_setup_msg had to restore receive functions to lowers\n");
4007   bdat_pop_receive_functions();
4008   }
4009
4010 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
4011
4012 had_command_sigterm = 0;
4013 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
4014
4015 /* Batched SMTP is handled in a different function. */
4016
4017 if (smtp_batched_input) return smtp_setup_batch_msg();
4018
4019 #ifdef TCP_QUICKACK
4020 if (smtp_in)            /* Avoid pure-ACKs while in cmd pingpong phase */
4021   (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4022           US &off, sizeof(off));
4023 #endif
4024
4025 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
4026 value. The values are 2 larger than the required yield of the function. */
4027
4028 while (done <= 0)
4029   {
4030   const uschar **argv;
4031   uschar *etrn_command;
4032   uschar *etrn_serialize_key;
4033   uschar *errmess;
4034   uschar *log_msg, *smtp_code;
4035   uschar *user_msg = NULL;
4036   uschar *recipient = NULL;
4037   uschar *hello = NULL;
4038   uschar *s, *ss;
4039   BOOL was_rej_mail = FALSE;
4040   BOOL was_rcpt = FALSE;
4041   void (*oldsignal)(int);
4042   pid_t pid;
4043   int start, end, sender_domain, recipient_domain;
4044   int rc;
4045   int c;
4046   uschar *orcpt = NULL;
4047   int dsn_flags;
4048   gstring * g;
4049
4050 #ifdef AUTH_TLS
4051   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
4052   if (  tls_in.active.sock >= 0
4053      && tls_in.peercert
4054      && tls_in.certificate_verified
4055      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
4056      )
4057     {
4058     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
4059
4060     for (auth_instance * au = auths; au; au = au->next)
4061       if (strcmpic(US"tls", au->driver_name) == 0)
4062         {
4063         if (  acl_smtp_auth
4064            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4065                       &user_msg, &log_msg)) != OK
4066            )
4067           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4068         else
4069           {
4070           smtp_cmd_data = NULL;
4071
4072           if (smtp_in_auth(au, &s, &ss) == OK)
4073             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
4074           else
4075             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
4076           }
4077         break;
4078         }
4079     }
4080 #endif
4081
4082   switch(smtp_read_command(
4083 #ifndef DISABLE_PIPE_CONNECT
4084           !fl.pipe_connect_acceptable,
4085 #else
4086           TRUE,
4087 #endif
4088           GETC_BUFFER_UNLIMITED))
4089     {
4090     /* The AUTH command is not permitted to occur inside a transaction, and may
4091     occur successfully only once per connection. Actually, that isn't quite
4092     true. When TLS is started, all previous information about a connection must
4093     be discarded, so a new AUTH is permitted at that time.
4094
4095     AUTH may only be used when it has been advertised. However, it seems that
4096     there are clients that send AUTH when it hasn't been advertised, some of
4097     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4098     So there's a get-out that allows this to happen.
4099
4100     AUTH is initially labelled as a "nonmail command" so that one occurrence
4101     doesn't get counted. We change the label here so that multiple failing
4102     AUTHS will eventually hit the nonmail threshold. */
4103
4104     case AUTH_CMD:
4105       HAD(SCH_AUTH);
4106       authentication_failed = TRUE;
4107       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4108
4109       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4110         {
4111         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4112           US"AUTH command used when not advertised");
4113         break;
4114         }
4115       if (sender_host_authenticated)
4116         {
4117         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4118           US"already authenticated");
4119         break;
4120         }
4121       if (sender_address)
4122         {
4123         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4124           US"not permitted in mail transaction");
4125         break;
4126         }
4127
4128       /* Check the ACL */
4129
4130       if (  acl_smtp_auth
4131          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4132                     &user_msg, &log_msg)) != OK
4133          )
4134         {
4135         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4136         break;
4137         }
4138
4139       /* Find the name of the requested authentication mechanism. */
4140
4141       s = smtp_cmd_data;
4142       for (; (c = *smtp_cmd_data) && !isspace(c); smtp_cmd_data++)
4143         if (!isalnum(c) && c != '-' && c != '_')
4144           {
4145           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4146             US"invalid character in authentication mechanism name");
4147           goto COMMAND_LOOP;
4148           }
4149
4150       /* If not at the end of the line, we must be at white space. Terminate the
4151       name and move the pointer on to any data that may be present. */
4152
4153       if (*smtp_cmd_data)
4154         {
4155         *smtp_cmd_data++ = 0;
4156         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4157         }
4158
4159       /* Search for an authentication mechanism which is configured for use
4160       as a server and which has been advertised (unless, sigh, allow_auth_
4161       unadvertised is set). */
4162
4163         {
4164         auth_instance * au;
4165         for (au = auths; au; au = au->next)
4166           if (strcmpic(s, au->public_name) == 0 && au->server &&
4167               (au->advertised || f.allow_auth_unadvertised))
4168             break;
4169
4170         if (au)
4171           {
4172           c = smtp_in_auth(au, &s, &ss);
4173
4174           smtp_printf("%s\r\n", FALSE, s);
4175           if (c != OK)
4176             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4177               au->name, host_and_ident(FALSE), ss);
4178           }
4179         else
4180           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4181             string_sprintf("%s authentication mechanism not supported", s));
4182         }
4183
4184       break;  /* AUTH_CMD */
4185
4186     /* The HELO/EHLO commands are permitted to appear in the middle of a
4187     session as well as at the beginning. They have the effect of a reset in
4188     addition to their other functions. Their absence at the start cannot be
4189     taken to be an error.
4190
4191     RFC 2821 says:
4192
4193       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4194       or 502 failure replies MUST be returned as appropriate.  The SMTP
4195       server MUST stay in the same state after transmitting these replies
4196       that it was in before the EHLO was received.
4197
4198     Therefore, we do not do the reset until after checking the command for
4199     acceptability. This change was made for Exim release 4.11. Previously
4200     it did the reset first. */
4201
4202     case HELO_CMD:
4203       HAD(SCH_HELO);
4204       hello = US"HELO";
4205       fl.esmtp = FALSE;
4206       goto HELO_EHLO;
4207
4208     case EHLO_CMD:
4209       HAD(SCH_EHLO);
4210       hello = US"EHLO";
4211       fl.esmtp = TRUE;
4212
4213     HELO_EHLO:      /* Common code for HELO and EHLO */
4214       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4215       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4216
4217       /* Reject the HELO if its argument was invalid or non-existent. A
4218       successful check causes the argument to be saved in malloc store. */
4219
4220       if (!check_helo(smtp_cmd_data))
4221         {
4222         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4223
4224         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4225           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4226           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4227                              string_printing(smtp_cmd_argument));
4228
4229         if (++synprot_error_count > smtp_max_synprot_errors)
4230           {
4231           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4232             "syntax or protocol errors (last command was \"%s\", %s)",
4233             host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
4234             string_from_gstring(s_connhad_log(NULL))
4235             );
4236           done = 1;
4237           }
4238
4239         break;
4240         }
4241
4242       /* If sender_host_unknown is true, we have got here via the -bs interface,
4243       not called from inetd. Otherwise, we are running an IP connection and the
4244       host address will be set. If the helo name is the primary name of this
4245       host and we haven't done a reverse lookup, force one now. If helo_required
4246       is set, ensure that the HELO name matches the actual host. If helo_verify
4247       is set, do the same check, but softly. */
4248
4249       if (!f.sender_host_unknown)
4250         {
4251         BOOL old_helo_verified = f.helo_verified;
4252         uschar *p = smtp_cmd_data;
4253
4254         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4255         *p = 0;
4256
4257         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4258         because otherwise the log can be confusing. */
4259
4260         if (  !sender_host_name
4261            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4262                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4263           (void)host_name_lookup();
4264
4265         /* Rebuild the fullhost info to include the HELO name (and the real name
4266         if it was looked up.) */
4267
4268         host_build_sender_fullhost();  /* Rebuild */
4269         set_process_info("handling%s incoming connection from %s",
4270           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4271
4272         /* Verify if configured. This doesn't give much security, but it does
4273         make some people happy to be able to do it. If helo_required is set,
4274         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4275         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4276         now obsolescent, since the verification can now be requested selectively
4277         at ACL time. */
4278
4279         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4280         if (fl.helo_required || fl.helo_verify)
4281           {
4282           BOOL tempfail = !smtp_verify_helo();
4283           if (!f.helo_verified)
4284             {
4285             if (fl.helo_required)
4286               {
4287               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4288                 tempfail? 451 : 550, hello);
4289               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4290                 tempfail? "temporarily " : "",
4291                 hello, sender_helo_name, host_and_ident(FALSE));
4292               f.helo_verified = old_helo_verified;
4293               break;                   /* End of HELO/EHLO processing */
4294               }
4295             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4296               "helo_try_verify_hosts\n", hello);
4297             }
4298           }
4299         }
4300
4301 #ifdef SUPPORT_SPF
4302       /* set up SPF context */
4303       spf_conn_init(sender_helo_name, sender_host_address);
4304 #endif
4305
4306       /* Apply an ACL check if one is defined; afterwards, recheck
4307       synchronization in case the client started sending in a delay. */
4308
4309       if (acl_smtp_helo)
4310         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4311                   &user_msg, &log_msg)) != OK)
4312           {
4313           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4314           sender_helo_name = NULL;
4315           host_build_sender_fullhost();  /* Rebuild */
4316           break;
4317           }
4318 #ifndef DISABLE_PIPE_CONNECT
4319         else if (!fl.pipe_connect_acceptable && !check_sync())
4320 #else
4321         else if (!check_sync())
4322 #endif
4323           goto SYNC_FAILURE;
4324
4325       /* Generate an OK reply. The default string includes the ident if present,
4326       and also the IP address if present. Reflecting back the ident is intended
4327       as a deterrent to mail forgers. For maximum efficiency, and also because
4328       some broken systems expect each response to be in a single packet, arrange
4329       that the entire reply is sent in one write(). */
4330
4331       fl.auth_advertised = FALSE;
4332       f.smtp_in_pipelining_advertised = FALSE;
4333 #ifndef DISABLE_TLS
4334       fl.tls_advertised = FALSE;
4335 #endif
4336       fl.dsn_advertised = FALSE;
4337 #ifdef SUPPORT_I18N
4338       fl.smtputf8_advertised = FALSE;
4339 #endif
4340
4341       /* Expand the per-connection message count limit option */
4342       mailmax = expand_mailmax(smtp_accept_max_per_connection);
4343
4344       smtp_code = US"250 ";        /* Default response code plus space*/
4345       if (!user_msg)
4346         {
4347         /* sender_host_name below will be tainted, so save on copy when we hit it */
4348         g = string_get_tainted(24, TRUE);
4349         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4350           smtp_code,
4351           smtp_active_hostname,
4352           sender_ident ? sender_ident : US"",
4353           sender_ident ? US" at " : US"",
4354           sender_host_name ? sender_host_name : sender_helo_name);
4355
4356         if (sender_host_address)
4357           g = string_fmt_append(g, " [%s]", sender_host_address);
4358         }
4359
4360       /* A user-supplied EHLO greeting may not contain more than one line. Note
4361       that the code returned by smtp_message_code() includes the terminating
4362       whitespace character. */
4363
4364       else
4365         {
4366         char *ss;
4367         int codelen = 4;
4368         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4369         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4370         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4371           {
4372           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4373             "newlines: message truncated: %s", string_printing(s));
4374           *ss = 0;
4375           }
4376         g = string_cat(NULL, s);
4377         }
4378
4379       g = string_catn(g, US"\r\n", 2);
4380
4381       /* If we received EHLO, we must create a multiline response which includes
4382       the functions supported. */
4383
4384       if (fl.esmtp)
4385         {
4386         g->s[3] = '-';
4387
4388         /* I'm not entirely happy with this, as an MTA is supposed to check
4389         that it has enough room to accept a message of maximum size before
4390         it sends this. However, there seems little point in not sending it.
4391         The actual size check happens later at MAIL FROM time. By postponing it
4392         till then, VRFY and EXPN can be used after EHLO when space is short. */
4393
4394         if (thismessage_size_limit > 0)
4395           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4396             thismessage_size_limit);
4397         else
4398           {
4399           g = string_catn(g, smtp_code, 3);
4400           g = string_catn(g, US"-SIZE\r\n", 7);
4401           }
4402
4403 #ifdef EXPERIMENTAL_ESMTP_LIMITS
4404         if (  (mailmax > 0 || recipients_max)
4405            && verify_check_host(&limits_advertise_hosts) == OK)
4406           {
4407           g = string_fmt_append(g, "%.3s-LIMITS", smtp_code);
4408           if (mailmax > 0)
4409             g = string_fmt_append(g, " MAILMAX=%d", mailmax);
4410           if (recipients_max)
4411             g = string_fmt_append(g, " RCPTMAX=%d", recipients_max);
4412           g = string_catn(g, US"\r\n", 2);
4413           }
4414 #endif
4415
4416         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4417         clean; if it has an 8-bit character in its hand, it just sends it. It
4418         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4419         However, some users want this option simply in order to stop MUAs
4420         mangling messages that contain top-bit-set characters. It is therefore
4421         provided as an option. */
4422
4423         if (accept_8bitmime)
4424           {
4425           g = string_catn(g, smtp_code, 3);
4426           g = string_catn(g, US"-8BITMIME\r\n", 11);
4427           }
4428
4429         /* Advertise DSN support if configured to do so. */
4430         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4431           {
4432           g = string_catn(g, smtp_code, 3);
4433           g = string_catn(g, US"-DSN\r\n", 6);
4434           fl.dsn_advertised = TRUE;
4435           }
4436
4437         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4438         permitted to issue them; a check is made when any host actually tries. */
4439
4440         if (acl_smtp_etrn)
4441           {
4442           g = string_catn(g, smtp_code, 3);
4443           g = string_catn(g, US"-ETRN\r\n", 7);
4444           }
4445         if (acl_smtp_vrfy)
4446           {
4447           g = string_catn(g, smtp_code, 3);
4448           g = string_catn(g, US"-VRFY\r\n", 7);
4449           }
4450         if (acl_smtp_expn)
4451           {
4452           g = string_catn(g, smtp_code, 3);
4453           g = string_catn(g, US"-EXPN\r\n", 7);
4454           }
4455
4456         /* Exim is quite happy with pipelining, so let the other end know that
4457         it is safe to use it, unless advertising is disabled. */
4458
4459         if (  f.pipelining_enable
4460            && verify_check_host(&pipelining_advertise_hosts) == OK)
4461           {
4462           g = string_catn(g, smtp_code, 3);
4463           g = string_catn(g, US"-PIPELINING\r\n", 13);
4464           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4465           f.smtp_in_pipelining_advertised = TRUE;
4466
4467 #ifndef DISABLE_PIPE_CONNECT
4468           if (fl.pipe_connect_acceptable)
4469             {
4470             f.smtp_in_early_pipe_advertised = TRUE;
4471             g = string_catn(g, smtp_code, 3);
4472             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4473             }
4474 #endif
4475           }
4476
4477
4478         /* If any server authentication mechanisms are configured, advertise
4479         them if the current host is in auth_advertise_hosts. The problem with
4480         advertising always is that some clients then require users to
4481         authenticate (and aren't configurable otherwise) even though it may not
4482         be necessary (e.g. if the host is in host_accept_relay).
4483
4484         RFC 2222 states that SASL mechanism names contain only upper case
4485         letters, so output the names in upper case, though we actually recognize
4486         them in either case in the AUTH command. */
4487
4488         if (  auths
4489 #ifdef AUTH_TLS
4490            && !sender_host_authenticated
4491 #endif
4492            && verify_check_host(&auth_advertise_hosts) == OK
4493            )
4494           {
4495           BOOL first = TRUE;
4496           for (auth_instance * au = auths; au; au = au->next)
4497             {
4498             au->advertised = FALSE;
4499             if (au->server)
4500               {
4501               DEBUG(D_auth+D_expand) debug_printf_indent(
4502                 "Evaluating advertise_condition for %s %s athenticator\n",
4503                 au->name, au->public_name);
4504               if (  !au->advertise_condition
4505                  || expand_check_condition(au->advertise_condition, au->name,
4506                         US"authenticator")
4507                  )
4508                 {
4509                 int saveptr;
4510                 if (first)
4511                   {
4512                   g = string_catn(g, smtp_code, 3);
4513                   g = string_catn(g, US"-AUTH", 5);
4514                   first = FALSE;
4515                   fl.auth_advertised = TRUE;
4516                   }
4517                 saveptr = g->ptr;
4518                 g = string_catn(g, US" ", 1);
4519                 g = string_cat (g, au->public_name);
4520                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4521                 au->advertised = TRUE;
4522                 }
4523               }
4524             }
4525
4526           if (!first) g = string_catn(g, US"\r\n", 2);
4527           }
4528
4529         /* RFC 3030 CHUNKING */
4530
4531         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4532           {
4533           g = string_catn(g, smtp_code, 3);
4534           g = string_catn(g, US"-CHUNKING\r\n", 11);
4535           f.chunking_offered = TRUE;
4536           chunking_state = CHUNKING_OFFERED;
4537           }
4538
4539         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4540         if it has been included in the binary, and the host matches
4541         tls_advertise_hosts. We must *not* advertise if we are already in a
4542         secure connection. */
4543
4544 #ifndef DISABLE_TLS
4545         if (tls_in.active.sock < 0 &&
4546             verify_check_host(&tls_advertise_hosts) != FAIL)
4547           {
4548           g = string_catn(g, smtp_code, 3);
4549           g = string_catn(g, US"-STARTTLS\r\n", 11);
4550           fl.tls_advertised = TRUE;
4551           }
4552 #endif
4553
4554 #ifndef DISABLE_PRDR
4555         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4556         if (prdr_enable)
4557           {
4558           g = string_catn(g, smtp_code, 3);
4559           g = string_catn(g, US"-PRDR\r\n", 7);
4560           }
4561 #endif
4562
4563 #ifdef SUPPORT_I18N
4564         if (  accept_8bitmime
4565            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4566           {
4567           g = string_catn(g, smtp_code, 3);
4568           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4569           fl.smtputf8_advertised = TRUE;
4570           }
4571 #endif
4572
4573         /* Finish off the multiline reply with one that is always available. */
4574
4575         g = string_catn(g, smtp_code, 3);
4576         g = string_catn(g, US" HELP\r\n", 7);
4577         }
4578
4579       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4580       has been seen. */
4581
4582 #ifndef DISABLE_TLS
4583       if (tls_in.active.sock >= 0)
4584         (void)tls_write(NULL, g->s, g->ptr,
4585 # ifndef DISABLE_PIPE_CONNECT
4586                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4587 # else
4588                         FALSE);
4589 # endif
4590       else
4591 #endif
4592         (void) fwrite(g->s, 1, g->ptr, smtp_out);
4593
4594       DEBUG(D_receive)
4595         {
4596         uschar *cr;
4597
4598         (void) string_from_gstring(g);
4599         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4600           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4601         debug_printf("SMTP>> %s", g->s);
4602         }
4603       fl.helo_seen = TRUE;
4604
4605       /* Reset the protocol and the state, abandoning any previous message. */
4606       received_protocol =
4607         (sender_host_address ? protocols : protocols_local)
4608           [ (fl.esmtp
4609             ? pextend + (sender_host_authenticated ? pauthed : 0)
4610             : pnormal)
4611           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4612           ];
4613       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4614       reset_point = smtp_reset(reset_point);
4615       toomany = FALSE;
4616       break;   /* HELO/EHLO */
4617
4618
4619     /* The MAIL command requires an address as an operand. All we do
4620     here is to parse it for syntactic correctness. The form "<>" is
4621     a special case which converts into an empty string. The start/end
4622     pointers in the original are not used further for this address, as
4623     it is the canonical extracted address which is all that is kept. */
4624
4625     case MAIL_CMD:
4626       HAD(SCH_MAIL);
4627       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4628       message_start();
4629       was_rej_mail = TRUE;               /* Reset if accepted */
4630       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4631
4632       if (!fl.helo_seen)
4633         if (fl.helo_required)
4634           {
4635           smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4636           log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4637             "HELO/EHLO given", host_and_ident(FALSE));
4638           break;
4639           }
4640         else if (mailmax < 0)
4641           mailmax = expand_mailmax(smtp_accept_max_per_connection);
4642
4643       if (sender_address)
4644         {
4645         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4646           US"sender already given");
4647         break;
4648         }
4649
4650       if (!*smtp_cmd_data)
4651         {
4652         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4653           US"MAIL must have an address operand");
4654         break;
4655         }
4656
4657       /* Check to see if the limit for messages per connection would be
4658       exceeded by accepting further messages. */
4659
4660       if (mailmax > 0 && smtp_mailcmd_count > mailmax)
4661         {
4662         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4663         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4664           "messages in one connection", host_and_ident(TRUE));
4665         break;
4666         }
4667
4668       /* Reset for start of message - even if this is going to fail, we
4669       obviously need to throw away any previous data. */
4670
4671       cancel_cutthrough_connection(TRUE, US"MAIL received");
4672       reset_point = smtp_reset(reset_point);
4673       toomany = FALSE;
4674       sender_data = recipient_data = NULL;
4675
4676       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4677
4678       if (fl.esmtp) for(;;)
4679         {
4680         uschar *name, *value, *end;
4681         unsigned long int size;
4682         BOOL arg_error = FALSE;
4683
4684         if (!extract_option(&name, &value)) break;
4685
4686         for (mail_args = env_mail_type_list;
4687              mail_args->value != ENV_MAIL_OPT_NULL;
4688              mail_args++
4689             )
4690           if (strcmpic(name, mail_args->name) == 0)
4691             break;
4692         if (mail_args->need_value && strcmpic(value, US"") == 0)
4693           break;
4694
4695         switch(mail_args->value)
4696           {
4697           /* Handle SIZE= by reading the value. We don't do the check till later,
4698           in order to be able to log the sender address on failure. */
4699           case ENV_MAIL_OPT_SIZE:
4700             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4701               {
4702               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4703                 size = INT_MAX;
4704               message_size = (int)size;
4705               }
4706             else
4707               arg_error = TRUE;
4708             break;
4709
4710           /* If this session was initiated with EHLO and accept_8bitmime is set,
4711           Exim will have indicated that it supports the BODY=8BITMIME option. In
4712           fact, it does not support this according to the RFCs, in that it does not
4713           take any special action for forwarding messages containing 8-bit
4714           characters. That is why accept_8bitmime is not the default setting, but
4715           some sites want the action that is provided. We recognize both "8BITMIME"
4716           and "7BIT" as body types, but take no action. */
4717           case ENV_MAIL_OPT_BODY:
4718             if (accept_8bitmime) {
4719               if (strcmpic(value, US"8BITMIME") == 0)
4720                 body_8bitmime = 8;
4721               else if (strcmpic(value, US"7BIT") == 0)
4722                 body_8bitmime = 7;
4723               else
4724                 {
4725                 body_8bitmime = 0;
4726                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4727                   US"invalid data for BODY");
4728                 goto COMMAND_LOOP;
4729                 }
4730               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4731               break;
4732             }
4733             arg_error = TRUE;
4734             break;
4735
4736           /* Handle the two DSN options, but only if configured to do so (which
4737           will have caused "DSN" to be given in the EHLO response). The code itself
4738           is included only if configured in at build time. */
4739
4740           case ENV_MAIL_OPT_RET:
4741             if (fl.dsn_advertised)
4742               {
4743               /* Check if RET has already been set */
4744               if (dsn_ret > 0)
4745                 {
4746                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4747                   US"RET can be specified once only");
4748                 goto COMMAND_LOOP;
4749                 }
4750               dsn_ret = strcmpic(value, US"HDRS") == 0
4751                 ? dsn_ret_hdrs
4752                 : strcmpic(value, US"FULL") == 0
4753                 ? dsn_ret_full
4754                 : 0;
4755               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4756               /* Check for invalid invalid value, and exit with error */
4757               if (dsn_ret == 0)
4758                 {
4759                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4760                   US"Value for RET is invalid");
4761                 goto COMMAND_LOOP;
4762                 }
4763               }
4764             break;
4765           case ENV_MAIL_OPT_ENVID:
4766             if (fl.dsn_advertised)
4767               {
4768               /* Check if the dsn envid has been already set */
4769               if (dsn_envid)
4770                 {
4771                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4772                   US"ENVID can be specified once only");
4773                 goto COMMAND_LOOP;
4774                 }
4775               dsn_envid = string_copy(value);
4776               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4777               }
4778             break;
4779
4780           /* Handle the AUTH extension. If the value given is not "<>" and either
4781           the ACL says "yes" or there is no ACL but the sending host is
4782           authenticated, we set it up as the authenticated sender. However, if the
4783           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4784           the condition is met. The value of AUTH is an xtext, which means that +,
4785           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4786           coding. */
4787           case ENV_MAIL_OPT_AUTH:
4788             if (Ustrcmp(value, "<>") != 0)
4789               {
4790               int rc;
4791               uschar *ignore_msg;
4792
4793               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4794                 {
4795                 /* Put back terminator overrides for error message */
4796                 value[-1] = '=';
4797                 name[-1] = ' ';
4798                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4799                   US"invalid data for AUTH");
4800                 goto COMMAND_LOOP;
4801                 }
4802               if (!acl_smtp_mailauth)
4803                 {
4804                 ignore_msg = US"client not authenticated";
4805                 rc = sender_host_authenticated ? OK : FAIL;
4806                 }
4807               else
4808                 {
4809                 ignore_msg = US"rejected by ACL";
4810                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4811                   &user_msg, &log_msg);
4812                 }
4813
4814               switch (rc)
4815                 {
4816                 case OK:
4817                   if (authenticated_by == NULL ||
4818                       authenticated_by->mail_auth_condition == NULL ||
4819                       expand_check_condition(authenticated_by->mail_auth_condition,
4820                           authenticated_by->name, US"authenticator"))
4821                     break;     /* Accept the AUTH */
4822
4823                   ignore_msg = US"server_mail_auth_condition failed";
4824                   if (authenticated_id != NULL)
4825                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4826                       ignore_msg, authenticated_id);
4827
4828                 /* Fall through */
4829
4830                 case FAIL:
4831                   authenticated_sender = NULL;
4832                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4833                     value, host_and_ident(TRUE), ignore_msg);
4834                   break;
4835
4836                 /* Should only get DEFER or ERROR here. Put back terminator
4837                 overrides for error message */
4838
4839                 default:
4840                   value[-1] = '=';
4841                   name[-1] = ' ';
4842                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4843                     log_msg);
4844                   goto COMMAND_LOOP;
4845                 }
4846               }
4847               break;
4848
4849 #ifndef DISABLE_PRDR
4850           case ENV_MAIL_OPT_PRDR:
4851             if (prdr_enable)
4852               prdr_requested = TRUE;
4853             break;
4854 #endif
4855
4856 #ifdef SUPPORT_I18N
4857           case ENV_MAIL_OPT_UTF8:
4858             if (!fl.smtputf8_advertised)
4859               {
4860               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4861                 US"SMTPUTF8 used when not advertised");
4862               goto COMMAND_LOOP;
4863               }
4864
4865             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4866             message_smtputf8 = allow_utf8_domains = TRUE;
4867             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4868               {
4869               int old_pool = store_pool;
4870               store_pool = POOL_PERM;
4871               received_protocol = string_sprintf("utf8%s", received_protocol);
4872               store_pool = old_pool;
4873               }
4874             break;
4875 #endif
4876
4877           /* No valid option. Stick back the terminator characters and break
4878           the loop.  Do the name-terminator second as extract_option sets
4879           value==name when it found no equal-sign.
4880           An error for a malformed address will occur. */
4881           case ENV_MAIL_OPT_NULL:
4882             value[-1] = '=';
4883             name[-1] = ' ';
4884             arg_error = TRUE;
4885             break;
4886
4887           default:  assert(0);
4888           }
4889         /* Break out of for loop if switch() had bad argument or
4890            when start of the email address is reached */
4891         if (arg_error) break;
4892         }
4893
4894       /* If we have passed the threshold for rate limiting, apply the current
4895       delay, and update it for next time, provided this is a limited host. */
4896
4897       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4898           verify_check_host(&smtp_ratelimit_hosts) == OK)
4899         {
4900         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4901           smtp_delay_mail/1000.0);
4902         millisleep((int)smtp_delay_mail);
4903         smtp_delay_mail *= smtp_rlm_factor;
4904         if (smtp_delay_mail > (double)smtp_rlm_limit)
4905           smtp_delay_mail = (double)smtp_rlm_limit;
4906         }
4907
4908       /* Now extract the address, first applying any SMTP-time rewriting. The
4909       TRUE flag allows "<>" as a sender address. */
4910
4911       raw_sender = rewrite_existflags & rewrite_smtp
4912         /* deconst ok as smtp_cmd_data was not const */
4913         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4914                       global_rewrite_rules)
4915         : smtp_cmd_data;
4916
4917       raw_sender =
4918         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4919           TRUE);
4920
4921       if (!raw_sender)
4922         {
4923         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4924         break;
4925         }
4926
4927       sender_address = raw_sender;
4928
4929       /* If there is a configured size limit for mail, check that this message
4930       doesn't exceed it. The check is postponed to this point so that the sender
4931       can be logged. */
4932
4933       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4934         {
4935         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4936         log_write(L_size_reject,
4937             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4938             "message too big: size%s=%d max=%d",
4939             sender_address,
4940             host_and_ident(TRUE),
4941             (message_size == INT_MAX)? ">" : "",
4942             message_size,
4943             thismessage_size_limit);
4944         sender_address = NULL;
4945         break;
4946         }
4947
4948       /* Check there is enough space on the disk unless configured not to.
4949       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4950       plus the current message - i.e. we accept the message only if it won't
4951       reduce the space below the threshold. Add 5000 to the size to allow for
4952       overheads such as the Received: line and storing of recipients, etc.
4953       By putting the check here, even when SIZE is not given, it allow VRFY
4954       and EXPN etc. to be used when space is short. */
4955
4956       if (!receive_check_fs(
4957            smtp_check_spool_space && message_size >= 0
4958               ? message_size + 5000 : 0))
4959         {
4960         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4961         sender_address = NULL;
4962         break;
4963         }
4964
4965       /* If sender_address is unqualified, reject it, unless this is a locally
4966       generated message, or the sending host or net is permitted to send
4967       unqualified addresses - typically local machines behaving as MUAs -
4968       in which case just qualify the address. The flag is set above at the start
4969       of the SMTP connection. */
4970
4971       if (!sender_domain && *sender_address)
4972         if (f.allow_unqualified_sender)
4973           {
4974           sender_domain = Ustrlen(sender_address) + 1;
4975           /* deconst ok as sender_address was not const */
4976           sender_address = US rewrite_address_qualify(sender_address, FALSE);
4977           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4978             raw_sender);
4979           }
4980         else
4981           {
4982           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4983             smtp_cmd_data);
4984           log_write(L_smtp_syntax_error,
4985             LOG_MAIN|LOG_REJECT,
4986             "unqualified sender rejected: <%s> %s%s",
4987             raw_sender,
4988             host_and_ident(TRUE),
4989             host_lookup_msg);
4990           sender_address = NULL;
4991           break;
4992           }
4993
4994       /* Apply an ACL check if one is defined, before responding. Afterwards,
4995       when pipelining is not advertised, do another sync check in case the ACL
4996       delayed and the client started sending in the meantime. */
4997
4998       if (acl_smtp_mail)
4999         {
5000         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
5001         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
5002           goto SYNC_FAILURE;
5003         }
5004       else
5005         rc = OK;
5006
5007       if (rc == OK || rc == DISCARD)
5008         {
5009         BOOL more = pipeline_response();
5010
5011         if (!user_msg)
5012           smtp_printf("%s%s%s", more, US"250 OK",
5013                     #ifndef DISABLE_PRDR
5014                       prdr_requested ? US", PRDR Requested" : US"",
5015                     #else
5016                       US"",
5017                     #endif
5018                       US"\r\n");
5019         else
5020           {
5021         #ifndef DISABLE_PRDR
5022           if (prdr_requested)
5023              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
5024         #endif
5025           smtp_user_msg(US"250", user_msg);
5026           }
5027         smtp_delay_rcpt = smtp_rlr_base;
5028         f.recipients_discarded = (rc == DISCARD);
5029         was_rej_mail = FALSE;
5030         }
5031       else
5032         {
5033         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
5034         sender_address = NULL;
5035         }
5036       break;
5037
5038
5039     /* The RCPT command requires an address as an operand. There may be any
5040     number of RCPT commands, specifying multiple recipients. We build them all
5041     into a data structure. The start/end values given by parse_extract_address
5042     are not used, as we keep only the extracted address. */
5043
5044     case RCPT_CMD:
5045       HAD(SCH_RCPT);
5046       /* We got really to many recipients. A check against configured
5047       limits is done later */
5048       if (rcpt_count < 0 || rcpt_count >= INT_MAX/2)
5049         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Too many recipients: %d", rcpt_count);
5050       rcpt_count++;
5051       was_rcpt = fl.rcpt_in_progress = TRUE;
5052
5053       /* There must be a sender address; if the sender was rejected and
5054       pipelining was advertised, we assume the client was pipelining, and do not
5055       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5056       get the same treatment. */
5057
5058       if (sender_address == NULL)
5059         {
5060         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5061           {
5062           smtp_printf("503 sender not yet given\r\n", FALSE);
5063           was_rej_mail = TRUE;
5064           }
5065         else
5066           {
5067           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5068             US"sender not yet given");
5069           was_rcpt = FALSE;             /* Not a valid RCPT */
5070           }
5071         rcpt_fail_count++;
5072         break;
5073         }
5074
5075       /* Check for an operand */
5076
5077       if (smtp_cmd_data[0] == 0)
5078         {
5079         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5080           US"RCPT must have an address operand");
5081         rcpt_fail_count++;
5082         break;
5083         }
5084
5085       /* Set the DSN flags orcpt and dsn_flags from the session*/
5086       orcpt = NULL;
5087       dsn_flags = 0;
5088
5089       if (fl.esmtp) for(;;)
5090         {
5091         uschar *name, *value;
5092
5093         if (!extract_option(&name, &value))
5094           break;
5095
5096         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5097           {
5098           /* Check whether orcpt has been already set */
5099           if (orcpt)
5100             {
5101             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5102               US"ORCPT can be specified once only");
5103             goto COMMAND_LOOP;
5104             }
5105           orcpt = string_copy(value);
5106           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5107           }
5108
5109         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5110           {
5111           /* Check if the notify flags have been already set */
5112           if (dsn_flags > 0)
5113             {
5114             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5115                 US"NOTIFY can be specified once only");
5116             goto COMMAND_LOOP;
5117             }
5118           if (strcmpic(value, US"NEVER") == 0)
5119             dsn_flags |= rf_notify_never;
5120           else
5121             {
5122             uschar *p = value;
5123             while (*p != 0)
5124               {
5125               uschar *pp = p;
5126               while (*pp != 0 && *pp != ',') pp++;
5127               if (*pp == ',') *pp++ = 0;
5128               if (strcmpic(p, US"SUCCESS") == 0)
5129                 {
5130                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5131                 dsn_flags |= rf_notify_success;
5132                 }
5133               else if (strcmpic(p, US"FAILURE") == 0)
5134                 {
5135                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5136                 dsn_flags |= rf_notify_failure;
5137                 }
5138               else if (strcmpic(p, US"DELAY") == 0)
5139                 {
5140                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5141                 dsn_flags |= rf_notify_delay;
5142                 }
5143               else
5144                 {
5145                 /* Catch any strange values */
5146                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5147                   US"Invalid value for NOTIFY parameter");
5148                 goto COMMAND_LOOP;
5149                 }
5150               p = pp;
5151               }
5152               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5153             }
5154           }
5155
5156         /* Unknown option. Stick back the terminator characters and break
5157         the loop. An error for a malformed address will occur. */
5158
5159         else
5160           {
5161           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5162           name[-1] = ' ';
5163           value[-1] = '=';
5164           break;
5165           }
5166         }
5167
5168       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5169       as a recipient address */
5170
5171       recipient = rewrite_existflags & rewrite_smtp
5172         /* deconst ok as smtp_cmd_data was not const */
5173         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5174             global_rewrite_rules)
5175         : smtp_cmd_data;
5176
5177       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5178         &recipient_domain, FALSE)))
5179         {
5180         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5181         rcpt_fail_count++;
5182         break;
5183         }
5184
5185       /* If the recipient address is unqualified, reject it, unless this is a
5186       locally generated message. However, unqualified addresses are permitted
5187       from a configured list of hosts and nets - typically when behaving as
5188       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5189       really. The flag is set at the start of the SMTP connection.
5190
5191       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5192       assumed this meant "reserved local part", but the revision of RFC 821 and
5193       friends now makes it absolutely clear that it means *mailbox*. Consequently
5194       we must always qualify this address, regardless. */
5195
5196       if (!recipient_domain)
5197         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5198                                     US"recipient")))
5199           {
5200           rcpt_fail_count++;
5201           break;
5202           }
5203
5204       /* Check maximum allowed */
5205
5206       if (rcpt_count+1 < 0 || rcpt_count > recipients_max && recipients_max > 0)
5207         {
5208         if (recipients_max_reject)
5209           {
5210           rcpt_fail_count++;
5211           smtp_printf("552 too many recipients\r\n", FALSE);
5212           if (!toomany)
5213             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5214               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5215           }
5216         else
5217           {
5218           rcpt_defer_count++;
5219           smtp_printf("452 too many recipients\r\n", FALSE);
5220           if (!toomany)
5221             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5222               "temporarily rejected: sender=<%s> %s", sender_address,
5223               host_and_ident(TRUE));
5224           }
5225
5226         toomany = TRUE;
5227         break;
5228         }
5229
5230       /* If we have passed the threshold for rate limiting, apply the current
5231       delay, and update it for next time, provided this is a limited host. */
5232
5233       if (rcpt_count > smtp_rlr_threshold &&
5234           verify_check_host(&smtp_ratelimit_hosts) == OK)
5235         {
5236         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5237           smtp_delay_rcpt/1000.0);
5238         millisleep((int)smtp_delay_rcpt);
5239         smtp_delay_rcpt *= smtp_rlr_factor;
5240         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5241           smtp_delay_rcpt = (double)smtp_rlr_limit;
5242         }
5243
5244       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5245       for them. Otherwise, check the access control list for this recipient. As
5246       there may be a delay in this, re-check for a synchronization error
5247       afterwards, unless pipelining was advertised. */
5248
5249       if (f.recipients_discarded)
5250         rc = DISCARD;
5251       else
5252         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5253                       &log_msg)) == OK
5254            && !f.smtp_in_pipelining_advertised && !check_sync())
5255           goto SYNC_FAILURE;
5256
5257       /* The ACL was happy */
5258
5259       if (rc == OK)
5260         {
5261         BOOL more = pipeline_response();
5262
5263         if (user_msg)
5264           smtp_user_msg(US"250", user_msg);
5265         else
5266           smtp_printf("250 Accepted\r\n", more);
5267         receive_add_recipient(recipient, -1);
5268
5269         /* Set the dsn flags in the recipients_list */
5270         recipients_list[recipients_count-1].orcpt = orcpt;
5271         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5272
5273         /* DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5274           recipients_list[recipients_count-1].orcpt,
5275           recipients_list[recipients_count-1].dsn_flags); */
5276         }
5277
5278       /* The recipient was discarded */
5279
5280       else if (rc == DISCARD)
5281         {
5282         if (user_msg)
5283           smtp_user_msg(US"250", user_msg);
5284         else
5285           smtp_printf("250 Accepted\r\n", FALSE);
5286         rcpt_fail_count++;
5287         discarded = TRUE;
5288         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5289           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5290           sender_address_unrewritten ? sender_address_unrewritten : sender_address,
5291           smtp_cmd_argument, f.recipients_discarded ? "MAIL" : "RCPT",
5292           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5293         }
5294
5295       /* Either the ACL failed the address, or it was deferred. */
5296
5297       else
5298         {
5299         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5300         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5301         }
5302       break;
5303
5304
5305     /* The DATA command is legal only if it follows successful MAIL FROM
5306     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5307     not counted as a protocol error if it follows RCPT (which must have been
5308     rejected if there are no recipients.) This function is complete when a
5309     valid DATA command is encountered.
5310
5311     Note concerning the code used: RFC 2821 says this:
5312
5313      -  If there was no MAIL, or no RCPT, command, or all such commands
5314         were rejected, the server MAY return a "command out of sequence"
5315         (503) or "no valid recipients" (554) reply in response to the
5316         DATA command.
5317
5318     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5319     because it is the same whether pipelining is in use or not.
5320
5321     If all the RCPT commands that precede DATA provoked the same error message
5322     (often indicating some kind of system error), it is helpful to include it
5323     with the DATA rejection (an idea suggested by Tony Finch). */
5324
5325     case BDAT_CMD:
5326       {
5327       int n;
5328
5329       HAD(SCH_BDAT);
5330       if (chunking_state != CHUNKING_OFFERED)
5331         {
5332         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5333           US"BDAT command used when CHUNKING not advertised");
5334         break;
5335         }
5336
5337       /* grab size, endmarker */
5338
5339       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5340         {
5341         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5342           US"missing size for BDAT command");
5343         break;
5344         }
5345       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5346         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5347       chunking_data_left = chunking_datasize;
5348       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5349                                     (int)chunking_state, chunking_data_left);
5350
5351       f.bdat_readers_wanted = TRUE; /* FIXME: redundant vs chunking_state? */
5352       f.dot_ends = FALSE;
5353
5354       goto DATA_BDAT;
5355       }
5356
5357     case DATA_CMD:
5358       HAD(SCH_DATA);
5359       f.dot_ends = TRUE;
5360       f.bdat_readers_wanted = FALSE;
5361
5362     DATA_BDAT:          /* Common code for DATA and BDAT */
5363 #ifndef DISABLE_PIPE_CONNECT
5364       fl.pipe_connect_acceptable = FALSE;
5365 #endif
5366       if (!discarded && recipients_count <= 0)
5367         {
5368         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5369           {
5370           uschar *code = US"503";
5371           int len = Ustrlen(rcpt_smtp_response);
5372           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5373             "this error:");
5374           /* Responses from smtp_printf() will have \r\n on the end */
5375           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5376             rcpt_smtp_response[len-2] = 0;
5377           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5378           }
5379         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5380           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5381             smtp_names[smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)]]);
5382         else
5383           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5384             smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)] == SCH_DATA
5385             ? US"valid RCPT command must precede DATA"
5386             : US"valid RCPT command must precede BDAT");
5387
5388         if (chunking_state > CHUNKING_OFFERED)
5389           {
5390           bdat_push_receive_functions();
5391           bdat_flush_data();
5392           }
5393         break;
5394         }
5395
5396       if (toomany && recipients_max_reject)
5397         {
5398         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5399         sender_address_unrewritten = NULL;
5400         smtp_printf("554 Too many recipients\r\n", FALSE);
5401
5402         if (chunking_state > CHUNKING_OFFERED)
5403           {
5404           bdat_push_receive_functions();
5405           bdat_flush_data();
5406           }
5407         break;
5408         }
5409
5410       if (chunking_state > CHUNKING_OFFERED)
5411         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5412       else
5413         {
5414         /* If there is an ACL, re-check the synchronization afterwards, since the
5415         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5416         to get the DATA command sent. */
5417
5418         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5419           rc = OK;
5420         else
5421           {
5422           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5423           f.enable_dollar_recipients = TRUE;
5424           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5425             &log_msg);
5426           f.enable_dollar_recipients = FALSE;
5427           if (rc == OK && !check_sync())
5428             goto SYNC_FAILURE;
5429
5430           if (rc != OK)
5431             {   /* Either the ACL failed the address, or it was deferred. */
5432             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5433             break;
5434             }
5435           }
5436
5437         if (user_msg)
5438           smtp_user_msg(US"354", user_msg);
5439         else
5440           smtp_printf(
5441             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5442         }
5443
5444       if (f.bdat_readers_wanted)
5445         bdat_push_receive_functions();
5446
5447 #ifdef TCP_QUICKACK
5448       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5449         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5450                 US &on, sizeof(on));
5451 #endif
5452       done = 3;
5453       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5454
5455       break;
5456
5457
5458     case VRFY_CMD:
5459       {
5460       uschar * address;
5461
5462       HAD(SCH_VRFY);
5463
5464       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5465             &start, &end, &recipient_domain, FALSE)))
5466         {
5467         smtp_printf("501 %s\r\n", FALSE, errmess);
5468         break;
5469         }
5470
5471       if (!recipient_domain)
5472         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5473                                     US"verify")))
5474           break;
5475
5476       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5477                     &user_msg, &log_msg)) != OK)
5478         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5479       else
5480         {
5481         uschar * s = NULL;
5482         address_item * addr = deliver_make_addr(address, FALSE);
5483
5484         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5485                -1, -1, NULL, NULL, NULL))
5486           {
5487           case OK:
5488             s = string_sprintf("250 <%s> is deliverable", address);
5489             break;
5490
5491           case DEFER:
5492             s = (addr->user_message != NULL)?
5493               string_sprintf("451 <%s> %s", address, addr->user_message) :
5494               string_sprintf("451 Cannot resolve <%s> at this time", address);
5495             break;
5496
5497           case FAIL:
5498             s = (addr->user_message != NULL)?
5499               string_sprintf("550 <%s> %s", address, addr->user_message) :
5500               string_sprintf("550 <%s> is not deliverable", address);
5501             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5502               smtp_cmd_argument, host_and_ident(TRUE));
5503             break;
5504           }
5505
5506         smtp_printf("%s\r\n", FALSE, s);
5507         }
5508       break;
5509       }
5510
5511
5512     case EXPN_CMD:
5513       HAD(SCH_EXPN);
5514       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5515       if (rc != OK)
5516         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5517       else
5518         {
5519         BOOL save_log_testing_mode = f.log_testing_mode;
5520         f.address_test_mode = f.log_testing_mode = TRUE;
5521         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5522           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5523           NULL, NULL, NULL);
5524         f.address_test_mode = FALSE;
5525         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5526         }
5527       break;
5528
5529
5530     #ifndef DISABLE_TLS
5531
5532     case STARTTLS_CMD:
5533       HAD(SCH_STARTTLS);
5534       if (!fl.tls_advertised)
5535         {
5536         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5537           US"STARTTLS command used when not advertised");
5538         break;
5539         }
5540
5541       /* Apply an ACL check if one is defined */
5542
5543       if (  acl_smtp_starttls
5544          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5545                     &user_msg, &log_msg)) != OK
5546          )
5547         {
5548         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5549         break;
5550         }
5551
5552       /* RFC 2487 is not clear on when this command may be sent, though it
5553       does state that all information previously obtained from the client
5554       must be discarded if a TLS session is started. It seems reasonable to
5555       do an implied RSET when STARTTLS is received. */
5556
5557       incomplete_transaction_log(US"STARTTLS");
5558       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5559       reset_point = smtp_reset(reset_point);
5560       toomany = FALSE;
5561       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5562
5563       /* There's an attack where more data is read in past the STARTTLS command
5564       before TLS is negotiated, then assumed to be part of the secure session
5565       when used afterwards; we use segregated input buffers, so are not
5566       vulnerable, but we want to note when it happens and, for sheer paranoia,
5567       ensure that the buffer is "wiped".
5568       Pipelining sync checks will normally have protected us too, unless disabled
5569       by configuration. */
5570
5571       if (receive_smtp_buffered())
5572         {
5573         DEBUG(D_any)
5574           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5575         if (tls_in.active.sock < 0)
5576           smtp_inend = smtp_inptr = smtp_inbuffer;
5577         /* and if TLS is already active, tls_server_start() should fail */
5578         }
5579
5580       /* There is nothing we value in the input buffer and if TLS is successfully
5581       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5582       fresh content into it.  The buffer contains arbitrary content from an
5583       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5584       It seems safest to just wipe away the content rather than leave it as a
5585       target to jump to. */
5586
5587       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5588
5589       /* Attempt to start up a TLS session, and if successful, discard all
5590       knowledge that was obtained previously. At least, that's what the RFC says,
5591       and that's what happens by default. However, in order to work round YAEB,
5592       there is an option to remember the esmtp state. Sigh.
5593
5594       We must allow for an extra EHLO command and an extra AUTH command after
5595       STARTTLS that don't add to the nonmail command count. */
5596
5597       s = NULL;
5598       if ((rc = tls_server_start(&s)) == OK)
5599         {
5600         if (!tls_remember_esmtp)
5601           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5602         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5603         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5604         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5605         if (sender_helo_name)
5606           {
5607           sender_helo_name = NULL;
5608           host_build_sender_fullhost();  /* Rebuild */
5609           set_process_info("handling incoming TLS connection from %s",
5610             host_and_ident(FALSE));
5611           }
5612         received_protocol =
5613           (sender_host_address ? protocols : protocols_local)
5614             [ (fl.esmtp
5615               ? pextend + (sender_host_authenticated ? pauthed : 0)
5616               : pnormal)
5617             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5618             ];
5619
5620         sender_host_auth_pubname = sender_host_authenticated = NULL;
5621         authenticated_id = NULL;
5622         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5623         DEBUG(D_tls) debug_printf("TLS active\n");
5624         break;     /* Successful STARTTLS */
5625         }
5626       else
5627         (void) smtp_log_tls_fail(s);
5628
5629       /* Some local configuration problem was discovered before actually trying
5630       to do a TLS handshake; give a temporary error. */
5631
5632       if (rc == DEFER)
5633         {
5634         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5635         break;
5636         }
5637
5638       /* Hard failure. Reject everything except QUIT or closed connection. One
5639       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5640       set, but we must still reject all incoming commands.  Another is a handshake
5641       failure - and there may some encrypted data still in the pipe to us, which we
5642       see as garbage commands. */
5643
5644       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5645       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5646         {
5647         case EOF_CMD:
5648           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5649             smtp_get_connection_info());
5650           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5651           done = 2;
5652           break;
5653
5654         /* It is perhaps arguable as to which exit ACL should be called here,
5655         but as it is probably a situation that almost never arises, it
5656         probably doesn't matter. We choose to call the real QUIT ACL, which in
5657         some sense is perhaps "right". */
5658
5659         case QUIT_CMD:
5660           f.smtp_in_quit = TRUE;
5661           user_msg = NULL;
5662           if (  acl_smtp_quit
5663              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5664                                 &log_msg)) == ERROR))
5665               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5666                 log_msg);
5667           if (user_msg)
5668             smtp_respond(US"221", 3, TRUE, user_msg);
5669           else
5670             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5671           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5672             smtp_get_connection_info());
5673           done = 2;
5674           break;
5675
5676         default:
5677           smtp_printf("554 Security failure\r\n", FALSE);
5678           break;
5679         }
5680       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5681       break;
5682     #endif
5683
5684
5685     /* The ACL for QUIT is provided for gathering statistical information or
5686     similar; it does not affect the response code, but it can supply a custom
5687     message. */
5688
5689     case QUIT_CMD:
5690       smtp_quit_handler(&user_msg, &log_msg);
5691       done = 2;
5692       break;
5693
5694
5695     case RSET_CMD:
5696       smtp_rset_handler();
5697       cancel_cutthrough_connection(TRUE, US"RSET received");
5698       reset_point = smtp_reset(reset_point);
5699       toomany = FALSE;
5700       break;
5701
5702
5703     case NOOP_CMD:
5704       HAD(SCH_NOOP);
5705       smtp_printf("250 OK\r\n", FALSE);
5706       break;
5707
5708
5709     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5710     used, a check will be done for permitted hosts. Show STARTTLS only if not
5711     already in a TLS session and if it would be advertised in the EHLO
5712     response. */
5713
5714     case HELP_CMD:
5715       HAD(SCH_HELP);
5716       smtp_printf("214-Commands supported:\r\n", TRUE);
5717         {
5718         uschar buffer[256];
5719         buffer[0] = 0;
5720         Ustrcat(buffer, US" AUTH");
5721         #ifndef DISABLE_TLS
5722         if (tls_in.active.sock < 0 &&
5723             verify_check_host(&tls_advertise_hosts) != FAIL)
5724           Ustrcat(buffer, US" STARTTLS");
5725         #endif
5726         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5727         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5728         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5729         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5730         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5731         smtp_printf("214%s\r\n", FALSE, buffer);
5732         }
5733       break;
5734
5735
5736     case EOF_CMD:
5737       incomplete_transaction_log(US"connection lost");
5738       smtp_notquit_exit(US"connection-lost", US"421",
5739         US"%s lost input connection", smtp_active_hostname);
5740
5741       /* Don't log by default unless in the middle of a message, as some mailers
5742       just drop the call rather than sending QUIT, and it clutters up the logs.
5743       */
5744
5745       if (sender_address || recipients_count > 0)
5746         log_write(L_lost_incoming_connection, LOG_MAIN,
5747           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5748           f.sender_host_unknown ? "EOF" : "disconnection",
5749           f.tcp_in_fastopen_logged
5750           ? US""
5751           : f.tcp_in_fastopen
5752           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5753           : US"",
5754           host_and_ident(FALSE), smtp_read_error,
5755           string_timesince(&smtp_connection_start)
5756           );
5757
5758       else
5759         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5760           smtp_get_connection_info(),
5761           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5762           smtp_read_error,
5763           string_timesince(&smtp_connection_start)
5764           );
5765
5766       done = 1;
5767       break;
5768
5769
5770     case ETRN_CMD:
5771       HAD(SCH_ETRN);
5772       if (sender_address)
5773         {
5774         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5775           US"ETRN is not permitted inside a transaction");
5776         break;
5777         }
5778
5779       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5780         host_and_ident(FALSE));
5781
5782       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5783                   &user_msg, &log_msg)) != OK)
5784         {
5785         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5786         break;
5787         }
5788
5789       /* Compute the serialization key for this command. */
5790
5791       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5792
5793       /* If a command has been specified for running as a result of ETRN, we
5794       permit any argument to ETRN. If not, only the # standard form is permitted,
5795       since that is strictly the only kind of ETRN that can be implemented
5796       according to the RFC. */
5797
5798       if (smtp_etrn_command)
5799         {
5800         uschar *error;
5801         BOOL rc;
5802         etrn_command = smtp_etrn_command;
5803         deliver_domain = smtp_cmd_data;
5804         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5805           US"ETRN processing", &error);
5806         deliver_domain = NULL;
5807         if (!rc)
5808           {
5809           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5810             error);
5811           smtp_printf("458 Internal failure\r\n", FALSE);
5812           break;
5813           }
5814         }
5815
5816       /* Else set up to call Exim with the -R option. */
5817
5818       else
5819         {
5820         if (*smtp_cmd_data++ != '#')
5821           {
5822           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5823             US"argument must begin with #");
5824           break;
5825           }
5826         etrn_command = US"exim -R";
5827         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5828           *queue_name ? 4 : 2,
5829           US"-R", smtp_cmd_data,
5830           US"-MCG", queue_name);
5831         }
5832
5833       /* If we are host-testing, don't actually do anything. */
5834
5835       if (host_checking)
5836         {
5837         HDEBUG(D_any)
5838           {
5839           debug_printf("ETRN command is: %s\n", etrn_command);
5840           debug_printf("ETRN command execution skipped\n");
5841           }
5842         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5843           else smtp_user_msg(US"250", user_msg);
5844         break;
5845         }
5846
5847
5848       /* If ETRN queue runs are to be serialized, check the database to
5849       ensure one isn't already running. */
5850
5851       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5852         {
5853         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5854         break;
5855         }
5856
5857       /* Fork a child process and run the command. We don't want to have to
5858       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5859       forking. It should be set that way anyway for external incoming SMTP,
5860       but we save and restore to be tidy. If serialization is required, we
5861       actually run the command in yet another process, so we can wait for it
5862       to complete and then remove the serialization lock. */
5863
5864       oldsignal = signal(SIGCHLD, SIG_IGN);
5865
5866       if ((pid = exim_fork(US"etrn-command")) == 0)
5867         {
5868         smtp_input = FALSE;       /* This process is not associated with the */
5869         (void)fclose(smtp_in);    /* SMTP call any more. */
5870         (void)fclose(smtp_out);
5871
5872         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5873
5874         /* If not serializing, do the exec right away. Otherwise, fork down
5875         into another process. */
5876
5877         if (  !smtp_etrn_serialize
5878            || (pid = exim_fork(US"etrn-serialised-command")) == 0)
5879           {
5880           DEBUG(D_exec) debug_print_argv(argv);
5881           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5882           execv(CS argv[0], (char *const *)argv);
5883           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5884             etrn_command, strerror(errno));
5885           _exit(EXIT_FAILURE);         /* paranoia */
5886           }
5887
5888         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5889         is, we are in the first subprocess, after forking again. All we can do
5890         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5891         complete, before removing the serialization. */
5892
5893         if (pid < 0)
5894           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5895             "failed: %s", strerror(errno));
5896         else
5897           {
5898           int status;
5899           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5900             (int)pid);
5901           (void)wait(&status);
5902           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5903             (int)pid);
5904           }
5905
5906         enq_end(etrn_serialize_key);
5907         exim_underbar_exit(EXIT_SUCCESS);
5908         }
5909
5910       /* Back in the top level SMTP process. Check that we started a subprocess
5911       and restore the signal state. */
5912
5913       if (pid < 0)
5914         {
5915         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5916           strerror(errno));
5917         smtp_printf("458 Unable to fork process\r\n", FALSE);
5918         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5919         }
5920       else
5921         if (!user_msg)
5922           smtp_printf("250 OK\r\n", FALSE);
5923         else
5924           smtp_user_msg(US"250", user_msg);
5925
5926       signal(SIGCHLD, oldsignal);
5927       break;
5928
5929
5930     case BADARG_CMD:
5931       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5932         US"unexpected argument data");
5933       break;
5934
5935
5936     /* This currently happens only for NULLs, but could be extended. */
5937
5938     case BADCHAR_CMD:
5939       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5940         US"NUL character(s) present (shown as '?')");
5941       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5942                   FALSE);
5943       break;
5944
5945
5946     case BADSYN_CMD:
5947     SYNC_FAILURE:
5948       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5949         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5950       c = smtp_inend - smtp_inptr;
5951       if (c > 150) c = 150;     /* limit logged amount */
5952       smtp_inptr[c] = 0;
5953       incomplete_transaction_log(US"sync failure");
5954       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5955         "(next input sent too soon: pipelining was%s advertised): "
5956         "rejected \"%s\" %s next input=\"%s\"",
5957         f.smtp_in_pipelining_advertised ? "" : " not",
5958         smtp_cmd_buffer, host_and_ident(TRUE),
5959         string_printing(smtp_inptr));
5960       smtp_notquit_exit(US"synchronization-error", US"554",
5961         US"SMTP synchronization error");
5962       done = 1;   /* Pretend eof - drops connection */
5963       break;
5964
5965
5966     case TOO_MANY_NONMAIL_CMD:
5967       s = smtp_cmd_buffer;
5968       while (*s != 0 && !isspace(*s)) s++;
5969       incomplete_transaction_log(US"too many non-mail commands");
5970       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5971         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5972         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5973       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5974       done = 1;   /* Pretend eof - drops connection */
5975       break;
5976
5977 #ifdef SUPPORT_PROXY
5978     case PROXY_FAIL_IGNORE_CMD:
5979       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5980       break;
5981 #endif
5982
5983     default:
5984       if (unknown_command_count++ >= smtp_max_unknown_commands)
5985         {
5986         log_write(L_smtp_syntax_error, LOG_MAIN,
5987           "SMTP syntax error in \"%s\" %s %s",
5988           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5989           US"unrecognized command");
5990         incomplete_transaction_log(US"unrecognized command");
5991         smtp_notquit_exit(US"bad-commands", US"500",
5992           US"Too many unrecognized commands");
5993         done = 2;
5994         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5995           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5996           string_printing(smtp_cmd_buffer));
5997         }
5998       else
5999         done = synprot_error(L_smtp_syntax_error, 500, NULL,
6000           US"unrecognized command");
6001       break;
6002     }
6003
6004   /* This label is used by goto's inside loops that want to break out to
6005   the end of the command-processing loop. */
6006
6007   COMMAND_LOOP:
6008   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
6009   last_was_rcpt = was_rcpt;             /* protocol error handling */
6010   continue;
6011   }
6012
6013 return done - 2;  /* Convert yield values */
6014 }
6015
6016
6017
6018 gstring *
6019 authres_smtpauth(gstring * g)
6020 {
6021 if (!sender_host_authenticated)
6022   return g;
6023
6024 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
6025
6026 if (Ustrcmp(sender_host_auth_pubname, "tls") == 0)
6027   g = authenticated_id
6028     ? string_append(g, 2, US") x509.auth=", authenticated_id)
6029     : string_cat(g, US") reason=x509.auth");
6030 else
6031   g = authenticated_id
6032     ? string_append(g, 2, US") smtp.auth=", authenticated_id)
6033     : string_cat(g, US", no id saved)");
6034
6035 if (authenticated_sender)
6036   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
6037 return g;
6038 }
6039
6040
6041
6042 /* vi: aw ai sw=2
6043 */
6044 /* End of smtp_in.c */