af2cdb285f3e43655ecd894ca854ad6e47742a49
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static struct {
135   BOOL auth_advertised                  :1;
136 #ifdef SUPPORT_TLS
137   BOOL tls_advertised                   :1;
138 # ifdef EXPERIMENTAL_REQUIRETLS
139   BOOL requiretls_advertised            :1;
140 # endif
141 #endif
142   BOOL dsn_advertised                   :1;
143   BOOL esmtp                            :1;
144   BOOL helo_required                    :1;
145   BOOL helo_verify                      :1;
146   BOOL helo_seen                        :1;
147   BOOL helo_accept_junk                 :1;
148 #ifdef EXPERIMENTAL_PIPE_CONNECT
149   BOOL pipe_connect_acceptable          :1;
150 #endif
151   BOOL rcpt_smtp_response_same          :1;
152   BOOL rcpt_in_progress                 :1;
153   BOOL smtp_exit_function_called        :1;
154 #ifdef SUPPORT_I18N
155   BOOL smtputf8_advertised              :1;
156 #endif
157 } fl = {
158   .helo_required = FALSE,
159   .helo_verify = FALSE,
160   .smtp_exit_function_called = FALSE,
161 };
162
163 static auth_instance *authenticated_by;
164 static int  count_nonmail;
165 static int  nonmail_command_count;
166 static int  synprot_error_count;
167 static int  unknown_command_count;
168 static int  sync_cmd_limit;
169 static int  smtp_write_error = 0;
170
171 static uschar *rcpt_smtp_response;
172 static uschar *smtp_data_buffer;
173 static uschar *smtp_cmd_data;
174
175 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
176 final fields of all except AUTH are forced TRUE at the start of a new message
177 setup, to allow one of each between messages that is not counted as a nonmail
178 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
179 allow a new EHLO after starting up TLS.
180
181 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
182 counted. However, the flag is changed when AUTH is received, so that multiple
183 failing AUTHs will eventually hit the limit. After a successful AUTH, another
184 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
185 forced TRUE, to allow for the re-authentication that can happen at that point.
186
187 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
188 count of non-mail commands and possibly provoke an error.
189
190 tls_auth is a pseudo-command, never expected in input.  It is activated
191 on TLS startup and looks for a tls authenticator. */
192
193 static smtp_cmd_list cmd_list[] = {
194   /* name         len                     cmd     has_arg is_mail_cmd */
195
196   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
197   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
198   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
199   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
200 #ifdef SUPPORT_TLS
201   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
202   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
203 #endif
204
205 /* If you change anything above here, also fix the definitions below. */
206
207   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
208   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
209   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
210   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
211   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
212   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
213   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
214   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
215   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
216   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
217 };
218
219 static smtp_cmd_list *cmd_list_end =
220   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
221
222 #define CMD_LIST_RSET      0
223 #define CMD_LIST_HELO      1
224 #define CMD_LIST_EHLO      2
225 #define CMD_LIST_AUTH      3
226 #define CMD_LIST_STARTTLS  4
227 #define CMD_LIST_TLS_AUTH  5
228
229 /* This list of names is used for performing the smtp_no_mail logging action.
230 It must be kept in step with the SCH_xxx enumerations. */
231
232 static uschar *smtp_names[] =
233   {
234   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
235   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
236   US"STARTTLS", US"VRFY" };
237
238 static uschar *protocols_local[] = {
239   US"local-smtp",        /* HELO */
240   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
241   US"local-esmtp",       /* EHLO */
242   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
243   US"local-esmtpa",      /* EHLO->AUTH */
244   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
245   };
246 static uschar *protocols[] = {
247   US"smtp",              /* HELO */
248   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
249   US"esmtp",             /* EHLO */
250   US"esmtps",            /* EHLO->STARTTLS->EHLO */
251   US"esmtpa",            /* EHLO->AUTH */
252   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
253   };
254
255 #define pnormal  0
256 #define pextend  2
257 #define pcrpted  1  /* added to pextend or pnormal */
258 #define pauthed  2  /* added to pextend */
259
260 /* Sanity check and validate optional args to MAIL FROM: envelope */
261 enum {
262   ENV_MAIL_OPT_NULL,
263   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
264 #ifndef DISABLE_PRDR
265   ENV_MAIL_OPT_PRDR,
266 #endif
267   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
268 #ifdef SUPPORT_I18N
269   ENV_MAIL_OPT_UTF8,
270 #endif
271 #ifdef EXPERIMENTAL_REQUIRETLS
272   ENV_MAIL_OPT_REQTLS,
273 #endif
274   };
275 typedef struct {
276   uschar *   name;  /* option requested during MAIL cmd */
277   int       value;  /* enum type */
278   BOOL need_value;  /* TRUE requires value (name=value pair format)
279                        FALSE is a singleton */
280   } env_mail_type_t;
281 static env_mail_type_t env_mail_type_list[] = {
282     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
283     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
284     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
285 #ifndef DISABLE_PRDR
286     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
287 #endif
288     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
289     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
290 #ifdef SUPPORT_I18N
291     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
292 #endif
293 #ifdef EXPERIMENTAL_REQUIRETLS
294     /* https://tools.ietf.org/html/draft-ietf-uta-smtp-require-tls-03 */
295     { US"REQUIRETLS",ENV_MAIL_OPT_REQTLS,  FALSE },
296 #endif
297     /* keep this the last entry */
298     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
299   };
300
301 /* When reading SMTP from a remote host, we have to use our own versions of the
302 C input-reading functions, in order to be able to flush the SMTP output only
303 when about to read more data from the socket. This is the only way to get
304 optimal performance when the client is using pipelining. Flushing for every
305 command causes a separate packet and reply packet each time; saving all the
306 responses up (when pipelining) combines them into one packet and one response.
307
308 For simplicity, these functions are used for *all* SMTP input, not only when
309 receiving over a socket. However, after setting up a secure socket (SSL), input
310 is read via the OpenSSL library, and another set of functions is used instead
311 (see tls.c).
312
313 These functions are set in the receive_getc etc. variables and called with the
314 same interface as the C functions. However, since there can only ever be
315 one incoming SMTP call, we just use a single buffer and flags. There is no need
316 to implement a complicated private FILE-like structure.*/
317
318 static uschar *smtp_inbuffer;
319 static uschar *smtp_inptr;
320 static uschar *smtp_inend;
321 static int     smtp_had_eof;
322 static int     smtp_had_error;
323
324
325 /* forward declarations */
326 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
327 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
328 static void smtp_quit_handler(uschar **, uschar **);
329 static void smtp_rset_handler(void);
330
331 /*************************************************
332 *          Recheck synchronization               *
333 *************************************************/
334
335 /* Synchronization checks can never be perfect because a packet may be on its
336 way but not arrived when the check is done.  Normally, the checks happen when
337 commands are read: Exim ensures that there is no more input in the input buffer.
338 In normal cases, the response to the command will be fast, and there is no
339 further check.
340
341 However, for some commands an ACL is run, and that can include delays. In those
342 cases, it is useful to do another check on the input just before sending the
343 response. This also applies at the start of a connection. This function does
344 that check by means of the select() function, as long as the facility is not
345 disabled or inappropriate. A failure of select() is ignored.
346
347 When there is unwanted input, we read it so that it appears in the log of the
348 error.
349
350 Arguments: none
351 Returns:   TRUE if all is well; FALSE if there is input pending
352 */
353
354 static BOOL
355 wouldblock_reading(void)
356 {
357 int fd, rc;
358 fd_set fds;
359 struct timeval tzero;
360
361 #ifdef SUPPORT_TLS
362 if (tls_in.active.sock >= 0)
363  return !tls_could_read();
364 #endif
365
366 if (smtp_inptr < smtp_inend)
367   return FALSE;
368
369 fd = fileno(smtp_in);
370 FD_ZERO(&fds);
371 FD_SET(fd, &fds);
372 tzero.tv_sec = 0;
373 tzero.tv_usec = 0;
374 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
375
376 if (rc <= 0) return TRUE;     /* Not ready to read */
377 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
378 if (rc < 0) return TRUE;      /* End of file or error */
379
380 smtp_ungetc(rc);
381 return FALSE;
382 }
383
384 static BOOL
385 check_sync(void)
386 {
387 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
388   return TRUE;
389
390 return wouldblock_reading();
391 }
392
393
394 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
395 a reponse with the one following. */
396
397 static BOOL
398 pipeline_response(void)
399 {
400 if (  !smtp_enforce_sync || !sender_host_address
401    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
402   return FALSE;
403
404 if (wouldblock_reading()) return FALSE;
405 f.smtp_in_pipelining_used = TRUE;
406 return TRUE;
407 }
408
409
410 #ifdef EXPERIMENTAL_PIPE_CONNECT
411 static BOOL
412 pipeline_connect_sends(void)
413 {
414 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
415   return FALSE;
416
417 if (wouldblock_reading()) return FALSE;
418 f.smtp_in_early_pipe_used = TRUE;
419 return TRUE;
420 }
421 #endif
422
423 /*************************************************
424 *          Log incomplete transactions           *
425 *************************************************/
426
427 /* This function is called after a transaction has been aborted by RSET, QUIT,
428 connection drops or other errors. It logs the envelope information received
429 so far in order to preserve address verification attempts.
430
431 Argument:   string to indicate what aborted the transaction
432 Returns:    nothing
433 */
434
435 static void
436 incomplete_transaction_log(uschar *what)
437 {
438 if (sender_address == NULL ||                 /* No transaction in progress */
439     !LOGGING(smtp_incomplete_transaction))
440   return;
441
442 /* Build list of recipients for logging */
443
444 if (recipients_count > 0)
445   {
446   int i;
447   raw_recipients = store_get(recipients_count * sizeof(uschar *));
448   for (i = 0; i < recipients_count; i++)
449     raw_recipients[i] = recipients_list[i].address;
450   raw_recipients_count = recipients_count;
451   }
452
453 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
454   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
455 }
456
457
458
459
460 void
461 smtp_command_timeout_exit(void)
462 {
463 log_write(L_lost_incoming_connection,
464           LOG_MAIN, "SMTP command timeout on%s connection from %s",
465           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
468 smtp_notquit_exit(US"command-timeout", US"421",
469   US"%s: SMTP command timeout - closing connection",
470   smtp_active_hostname);
471 exim_exit(EXIT_FAILURE, US"receiving");
472 }
473
474 void
475 smtp_command_sigterm_exit(void)
476 {
477 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
478 if (smtp_batched_input)
479   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
480 smtp_notquit_exit(US"signal-exit", US"421",
481   US"%s: Service not available - closing connection", smtp_active_hostname);
482 exim_exit(EXIT_FAILURE, US"receiving");
483 }
484
485 void
486 smtp_data_timeout_exit(void)
487 {
488 log_write(L_lost_incoming_connection,
489   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
490   sender_fullhost ? sender_fullhost : US"local process", sender_address);
491 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
492 /* Does not return */
493 }
494
495 void
496 smtp_data_sigint_exit(void)
497 {
498 log_write(0, LOG_MAIN, "%s closed after %s",
499   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
500 receive_bomb_out(US"signal-exit",
501   US"Service not available - SIGTERM or SIGINT received");
502 /* Does not return */
503 }
504
505
506
507 /* Refill the buffer, and notify DKIM verification code.
508 Return false for error or EOF.
509 */
510
511 static BOOL
512 smtp_refill(unsigned lim)
513 {
514 int rc, save_errno;
515 if (!smtp_out) return FALSE;
516 fflush(smtp_out);
517 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
518
519 /* Limit amount read, so non-message data is not fed to DKIM.
520 Take care to not touch the safety NUL at the end of the buffer. */
521
522 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
523 save_errno = errno;
524 if (smtp_receive_timeout > 0) ALARM_CLR(0);
525 if (rc <= 0)
526   {
527   /* Must put the error text in fixed store, because this might be during
528   header reading, where it releases unused store above the header. */
529   if (rc < 0)
530     {
531     if (had_command_timeout)            /* set by signal handler */
532       smtp_command_timeout_exit();      /* does not return */
533     if (had_command_sigterm)
534       smtp_command_sigterm_exit();
535     if (had_data_timeout)
536       smtp_data_timeout_exit();
537     if (had_data_sigint)
538       smtp_data_sigint_exit();
539
540     smtp_had_error = save_errno;
541     smtp_read_error = string_copy_malloc(
542       string_sprintf(" (error: %s)", strerror(save_errno)));
543     }
544   else
545     smtp_had_eof = 1;
546   return FALSE;
547   }
548 #ifndef DISABLE_DKIM
549 dkim_exim_verify_feed(smtp_inbuffer, rc);
550 #endif
551 smtp_inend = smtp_inbuffer + rc;
552 smtp_inptr = smtp_inbuffer;
553 return TRUE;
554 }
555
556 /*************************************************
557 *          SMTP version of getc()                *
558 *************************************************/
559
560 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
561 it flushes the output, and refills the buffer, with a timeout. The signal
562 handler is set appropriately by the calling function. This function is not used
563 after a connection has negotiated itself into an TLS/SSL state.
564
565 Arguments:  lim         Maximum amount to read/buffer
566 Returns:    the next character or EOF
567 */
568
569 int
570 smtp_getc(unsigned lim)
571 {
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(lim))
574     return EOF;
575 return *smtp_inptr++;
576 }
577
578 uschar *
579 smtp_getbuf(unsigned * len)
580 {
581 unsigned size;
582 uschar * buf;
583
584 if (smtp_inptr >= smtp_inend)
585   if (!smtp_refill(*len))
586     { *len = 0; return NULL; }
587
588 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
589 buf = smtp_inptr;
590 smtp_inptr += size;
591 *len = size;
592 return buf;
593 }
594
595 void
596 smtp_get_cache(void)
597 {
598 #ifndef DISABLE_DKIM
599 int n = smtp_inend - smtp_inptr;
600 if (n > 0)
601   dkim_exim_verify_feed(smtp_inptr, n);
602 #endif
603 }
604
605
606 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
607 previous BDAT chunk and getting new ones when we run out.  Uses the
608 underlying smtp_getc or tls_getc both for that and for getting the
609 (buffered) data byte.  EOD signals (an expected) no further data.
610 ERR signals a protocol error, and EOF a closed input stream.
611
612 Called from read_bdat_smtp() in receive.c for the message body, but also
613 by the headers read loop in receive_msg(); manipulates chunking_state
614 to handle the BDAT command/response.
615 Placed here due to the correlation with the above smtp_getc(), which it wraps,
616 and also by the need to do smtp command/response handling.
617
618 Arguments:  lim         (ignored)
619 Returns:    the next character or ERR, EOD or EOF
620 */
621
622 int
623 bdat_getc(unsigned lim)
624 {
625 uschar * user_msg = NULL;
626 uschar * log_msg;
627
628 for(;;)
629   {
630 #ifndef DISABLE_DKIM
631   unsigned dkim_save;
632 #endif
633
634   if (chunking_data_left > 0)
635     return lwr_receive_getc(chunking_data_left--);
636
637   receive_getc = lwr_receive_getc;
638   receive_getbuf = lwr_receive_getbuf;
639   receive_ungetc = lwr_receive_ungetc;
640 #ifndef DISABLE_DKIM
641   dkim_save = dkim_collect_input;
642   dkim_collect_input = 0;
643 #endif
644
645   /* Unless PIPELINING was offered, there should be no next command
646   until after we ack that chunk */
647
648   if (!f.smtp_in_pipelining_advertised && !check_sync())
649     {
650     unsigned n = smtp_inend - smtp_inptr;
651     if (n > 32) n = 32;
652
653     incomplete_transaction_log(US"sync failure");
654     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
655       "(next input sent too soon: pipelining was not advertised): "
656       "rejected \"%s\" %s next input=\"%s\"%s",
657       smtp_cmd_buffer, host_and_ident(TRUE),
658       string_printing(string_copyn(smtp_inptr, n)),
659       smtp_inend - smtp_inptr > n ? "..." : "");
660     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
661       US"SMTP synchronization error");
662     goto repeat_until_rset;
663     }
664
665   /* If not the last, ack the received chunk.  The last response is delayed
666   until after the data ACL decides on it */
667
668   if (chunking_state == CHUNKING_LAST)
669     {
670 #ifndef DISABLE_DKIM
671     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
672 #endif
673     return EOD;
674     }
675
676   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
677   chunking_state = CHUNKING_OFFERED;
678   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
679
680   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
681   QUIT, RSET or NOOP but handling them seems obvious */
682
683 next_cmd:
684   switch(smtp_read_command(TRUE, 1))
685     {
686     default:
687       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
688         US"only BDAT permissible after non-LAST BDAT");
689
690   repeat_until_rset:
691       switch(smtp_read_command(TRUE, 1))
692         {
693         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
694         case EOF_CMD:   return EOF;
695         case RSET_CMD:  smtp_rset_handler(); return ERR;
696         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
697                                           US"only RSET accepted now") > 0)
698                           return EOF;
699                         goto repeat_until_rset;
700         }
701
702     case QUIT_CMD:
703       smtp_quit_handler(&user_msg, &log_msg);
704       /*FALLTHROUGH*/
705     case EOF_CMD:
706       return EOF;
707
708     case RSET_CMD:
709       smtp_rset_handler();
710       return ERR;
711
712     case NOOP_CMD:
713       HAD(SCH_NOOP);
714       smtp_printf("250 OK\r\n", FALSE);
715       goto next_cmd;
716
717     case BDAT_CMD:
718       {
719       int n;
720
721       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
722         {
723         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
724           US"missing size for BDAT command");
725         return ERR;
726         }
727       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
728         ? CHUNKING_LAST : CHUNKING_ACTIVE;
729       chunking_data_left = chunking_datasize;
730       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
731                                     (int)chunking_state, chunking_data_left);
732
733       if (chunking_datasize == 0)
734         if (chunking_state == CHUNKING_LAST)
735           return EOD;
736         else
737           {
738           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
739             US"zero size for BDAT command");
740           goto repeat_until_rset;
741           }
742
743       receive_getc = bdat_getc;
744       receive_getbuf = bdat_getbuf;     /* r~getbuf is never actually used */
745       receive_ungetc = bdat_ungetc;
746 #ifndef DISABLE_DKIM
747       dkim_collect_input = dkim_save;
748 #endif
749       break;    /* to top of main loop */
750       }
751     }
752   }
753 }
754
755 uschar *
756 bdat_getbuf(unsigned * len)
757 {
758 uschar * buf;
759
760 if (chunking_data_left <= 0)
761   { *len = 0; return NULL; }
762
763 if (*len > chunking_data_left) *len = chunking_data_left;
764 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
765 chunking_data_left -= *len;
766 return buf;
767 }
768
769 void
770 bdat_flush_data(void)
771 {
772 while (chunking_data_left)
773   {
774   unsigned n = chunking_data_left;
775   if (!bdat_getbuf(&n)) break;
776   }
777
778 receive_getc = lwr_receive_getc;
779 receive_getbuf = lwr_receive_getbuf;
780 receive_ungetc = lwr_receive_ungetc;
781
782 if (chunking_state != CHUNKING_LAST)
783   {
784   chunking_state = CHUNKING_OFFERED;
785   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
786   }
787 }
788
789
790
791
792 /*************************************************
793 *          SMTP version of ungetc()              *
794 *************************************************/
795
796 /* Puts a character back in the input buffer. Only ever
797 called once.
798
799 Arguments:
800   ch           the character
801
802 Returns:       the character
803 */
804
805 int
806 smtp_ungetc(int ch)
807 {
808 *--smtp_inptr = ch;
809 return ch;
810 }
811
812
813 int
814 bdat_ungetc(int ch)
815 {
816 chunking_data_left++;
817 return lwr_receive_ungetc(ch);
818 }
819
820
821
822 /*************************************************
823 *          SMTP version of feof()                *
824 *************************************************/
825
826 /* Tests for a previous EOF
827
828 Arguments:     none
829 Returns:       non-zero if the eof flag is set
830 */
831
832 int
833 smtp_feof(void)
834 {
835 return smtp_had_eof;
836 }
837
838
839
840
841 /*************************************************
842 *          SMTP version of ferror()              *
843 *************************************************/
844
845 /* Tests for a previous read error, and returns with errno
846 restored to what it was when the error was detected.
847
848 Arguments:     none
849 Returns:       non-zero if the error flag is set
850 */
851
852 int
853 smtp_ferror(void)
854 {
855 errno = smtp_had_error;
856 return smtp_had_error;
857 }
858
859
860
861 /*************************************************
862 *      Test for characters in the SMTP buffer    *
863 *************************************************/
864
865 /* Used at the end of a message
866
867 Arguments:     none
868 Returns:       TRUE/FALSE
869 */
870
871 BOOL
872 smtp_buffered(void)
873 {
874 return smtp_inptr < smtp_inend;
875 }
876
877
878
879 /*************************************************
880 *     Write formatted string to SMTP channel     *
881 *************************************************/
882
883 /* This is a separate function so that we don't have to repeat everything for
884 TLS support or debugging. It is global so that the daemon and the
885 authentication functions can use it. It does not return any error indication,
886 because major problems such as dropped connections won't show up till an output
887 flush for non-TLS connections. The smtp_fflush() function is available for
888 checking that: for convenience, TLS output errors are remembered here so that
889 they are also picked up later by smtp_fflush().
890
891 Arguments:
892   format      format string
893   more        further data expected
894   ...         optional arguments
895
896 Returns:      nothing
897 */
898
899 void
900 smtp_printf(const char *format, BOOL more, ...)
901 {
902 va_list ap;
903
904 va_start(ap, more);
905 smtp_vprintf(format, more, ap);
906 va_end(ap);
907 }
908
909 /* This is split off so that verify.c:respond_printf() can, in effect, call
910 smtp_printf(), bearing in mind that in C a vararg function can't directly
911 call another vararg function, only a function which accepts a va_list. */
912
913 void
914 smtp_vprintf(const char *format, BOOL more, va_list ap)
915 {
916 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
917 BOOL yield;
918
919 yield = !! string_vformat(&gs, FALSE, format, ap);
920 string_from_gstring(&gs);
921
922 DEBUG(D_receive)
923   {
924   void *reset_point = store_get(0);
925   uschar *msg_copy, *cr, *end;
926   msg_copy = string_copy(gs.s);
927   end = msg_copy + gs.ptr;
928   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
929     memmove(cr, cr + 1, (end--) - cr);
930   debug_printf("SMTP>> %s", msg_copy);
931   store_reset(reset_point);
932   }
933
934 if (!yield)
935   {
936   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
937   smtp_closedown(US"Unexpected error");
938   exim_exit(EXIT_FAILURE, NULL);
939   }
940
941 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
942 have had the same. Note: this code is also present in smtp_respond(). It would
943 be tidier to have it only in one place, but when it was added, it was easier to
944 do it that way, so as not to have to mess with the code for the RCPT command,
945 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
946
947 if (fl.rcpt_in_progress)
948   {
949   if (rcpt_smtp_response == NULL)
950     rcpt_smtp_response = string_copy(big_buffer);
951   else if (fl.rcpt_smtp_response_same &&
952            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
953     fl.rcpt_smtp_response_same = FALSE;
954   fl.rcpt_in_progress = FALSE;
955   }
956
957 /* Now write the string */
958
959 #ifdef SUPPORT_TLS
960 if (tls_in.active.sock >= 0)
961   {
962   if (tls_write(NULL, gs.s, gs.ptr, more) < 0)
963     smtp_write_error = -1;
964   }
965 else
966 #endif
967
968 if (fprintf(smtp_out, "%s", gs.s) < 0) smtp_write_error = -1;
969 }
970
971
972
973 /*************************************************
974 *        Flush SMTP out and check for error      *
975 *************************************************/
976
977 /* This function isn't currently used within Exim (it detects errors when it
978 tries to read the next SMTP input), but is available for use in local_scan().
979 For non-TLS connections, it flushes the output and checks for errors. For
980 TLS-connections, it checks for a previously-detected TLS write error.
981
982 Arguments:  none
983 Returns:    0 for no error; -1 after an error
984 */
985
986 int
987 smtp_fflush(void)
988 {
989 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
990 return smtp_write_error;
991 }
992
993
994
995 /*************************************************
996 *          SMTP command read timeout             *
997 *************************************************/
998
999 /* Signal handler for timing out incoming SMTP commands. This attempts to
1000 finish off tidily.
1001
1002 Argument: signal number (SIGALRM)
1003 Returns:  nothing
1004 */
1005
1006 static void
1007 command_timeout_handler(int sig)
1008 {
1009 had_command_timeout = sig;
1010 }
1011
1012
1013
1014 /*************************************************
1015 *               SIGTERM received                 *
1016 *************************************************/
1017
1018 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1019
1020 Argument: signal number (SIGTERM)
1021 Returns:  nothing
1022 */
1023
1024 static void
1025 command_sigterm_handler(int sig)
1026 {
1027 had_command_sigterm = sig;
1028 }
1029
1030
1031
1032
1033 #ifdef SUPPORT_PROXY
1034 /*************************************************
1035 *     Restore socket timeout to previous value   *
1036 *************************************************/
1037 /* If the previous value was successfully retrieved, restore
1038 it before returning control to the non-proxy routines
1039
1040 Arguments: fd     - File descriptor for input
1041            get_ok - Successfully retrieved previous values
1042            tvtmp  - Time struct with previous values
1043            vslen  - Length of time struct
1044 Returns:   none
1045 */
1046 static void
1047 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1048 {
1049 if (get_ok == 0)
1050   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1051 }
1052
1053 /*************************************************
1054 *       Check if host is required proxy host     *
1055 *************************************************/
1056 /* The function determines if inbound host will be a regular smtp host
1057 or if it is configured that it must use Proxy Protocol.  A local
1058 connection cannot.
1059
1060 Arguments: none
1061 Returns:   bool
1062 */
1063
1064 static BOOL
1065 check_proxy_protocol_host()
1066 {
1067 int rc;
1068
1069 if (  sender_host_address
1070    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1071                            sender_host_address, NULL)) == OK)
1072   {
1073   DEBUG(D_receive)
1074     debug_printf("Detected proxy protocol configured host\n");
1075   proxy_session = TRUE;
1076   }
1077 return proxy_session;
1078 }
1079
1080
1081 /*************************************************
1082 *    Read data until newline or end of buffer    *
1083 *************************************************/
1084 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1085 read an entire buffer and assume there will be nothing past a proxy protocol
1086 header.  Our approach normally is to use stdio, but again that relies upon
1087 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1088 reading _nothing_ before client TLS handshake.  So we don't want to use the
1089 usual buffering reads which may read enough to block TLS starting.
1090
1091 So unfortunately we're down to "read one byte at a time, with a syscall each,
1092 and expect a little overhead", for all proxy-opened connections which are v1,
1093 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1094 underlying fd, we can't assume that we can feed them any already-read content.
1095
1096 We need to know where to read to, the max capacity, and we'll read until we
1097 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1098
1099 Return the amount read.
1100 */
1101
1102 static int
1103 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1104 {
1105 uschar *to = base + already;
1106 uschar *cr;
1107 int have = 0;
1108 int ret;
1109 int last = 0;
1110
1111 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1112 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1113
1114 cr = memchr(base, '\r', already);
1115 if (cr != NULL)
1116   {
1117   if ((cr - base) < already - 1)
1118     {
1119     /* \r and presumed \n already within what we have; probably not
1120     actually proxy protocol, but abort cleanly. */
1121     return 0;
1122     }
1123   /* \r is last character read, just need one more. */
1124   last = 1;
1125   }
1126
1127 while (capacity > 0)
1128   {
1129   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1130   if (ret == -1)
1131     return -1;
1132   have++;
1133   if (last)
1134     return have;
1135   if (*to == '\r')
1136     last = 1;
1137   capacity--;
1138   to++;
1139   }
1140
1141 /* reached end without having room for a final newline, abort */
1142 errno = EOVERFLOW;
1143 return -1;
1144 }
1145
1146 /*************************************************
1147 *         Setup host for proxy protocol          *
1148 *************************************************/
1149 /* The function configures the connection based on a header from the
1150 inbound host to use Proxy Protocol. The specification is very exact
1151 so exit with an error if do not find the exact required pieces. This
1152 includes an incorrect number of spaces separating args.
1153
1154 Arguments: none
1155 Returns:   Boolean success
1156 */
1157
1158 static void
1159 setup_proxy_protocol_host()
1160 {
1161 union {
1162   struct {
1163     uschar line[108];
1164   } v1;
1165   struct {
1166     uschar sig[12];
1167     uint8_t ver_cmd;
1168     uint8_t fam;
1169     uint16_t len;
1170     union {
1171       struct { /* TCP/UDP over IPv4, len = 12 */
1172         uint32_t src_addr;
1173         uint32_t dst_addr;
1174         uint16_t src_port;
1175         uint16_t dst_port;
1176       } ip4;
1177       struct { /* TCP/UDP over IPv6, len = 36 */
1178         uint8_t  src_addr[16];
1179         uint8_t  dst_addr[16];
1180         uint16_t src_port;
1181         uint16_t dst_port;
1182       } ip6;
1183       struct { /* AF_UNIX sockets, len = 216 */
1184         uschar   src_addr[108];
1185         uschar   dst_addr[108];
1186       } unx;
1187     } addr;
1188   } v2;
1189 } hdr;
1190
1191 /* Temp variables used in PPv2 address:port parsing */
1192 uint16_t tmpport;
1193 char tmpip[INET_ADDRSTRLEN];
1194 struct sockaddr_in tmpaddr;
1195 char tmpip6[INET6_ADDRSTRLEN];
1196 struct sockaddr_in6 tmpaddr6;
1197
1198 /* We can't read "all data until end" because while SMTP is
1199 server-speaks-first, the TLS handshake is client-speaks-first, so for
1200 TLS-on-connect ports the proxy protocol header will usually be immediately
1201 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1202 reinject data for reading by those.  So instead we first read "enough to be
1203 safely read within the header, and figure out how much more to read".
1204 For v1 we will later read to the end-of-line, for v2 we will read based upon
1205 the stated length.
1206
1207 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1208 data is needed total.  For v1, where the line looks like:
1209 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1210
1211 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1212 We seem to support that.  So, if we read 14 octets then we can tell if we're
1213 v2 or v1.  If we're v1, we can continue reading as normal.
1214
1215 If we're v2, we can't slurp up the entire header.  We need the length in the
1216 15th & 16th octets, then to read everything after that.
1217
1218 So to safely handle v1 and v2, with client-sent-first supported correctly,
1219 we have to do a minimum of 3 read calls, not 1.  Eww.
1220 */
1221
1222 #define PROXY_INITIAL_READ 14
1223 #define PROXY_V2_HEADER_SIZE 16
1224 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1225 # error Code bug in sizes of data to read for proxy usage
1226 #endif
1227
1228 int get_ok = 0;
1229 int size, ret;
1230 int fd = fileno(smtp_in);
1231 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1232 uschar * iptype;  /* To display debug info */
1233 struct timeval tv;
1234 struct timeval tvtmp;
1235 socklen_t vslen = sizeof(struct timeval);
1236 BOOL yield = FALSE;
1237
1238 /* Save current socket timeout values */
1239 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1240
1241 /* Proxy Protocol host must send header within a short time
1242 (default 3 seconds) or it's considered invalid */
1243 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1244 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1245 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1246   goto bad;
1247
1248 do
1249   {
1250   /* The inbound host was declared to be a Proxy Protocol host, so
1251   don't do a PEEK into the data, actually slurp up enough to be
1252   "safe". Can't take it all because TLS-on-connect clients follow
1253   immediately with TLS handshake. */
1254   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1255   }
1256   while (ret == -1 && errno == EINTR);
1257
1258 if (ret == -1)
1259   goto proxyfail;
1260
1261 /* For v2, handle reading the length, and then the rest. */
1262 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1263   {
1264   int retmore;
1265   uint8_t ver;
1266
1267   /* First get the length fields. */
1268   do
1269     {
1270     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1271     } while (retmore == -1 && errno == EINTR);
1272   if (retmore == -1)
1273     goto proxyfail;
1274   ret += retmore;
1275
1276   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1277
1278   /* May 2014: haproxy combined the version and command into one byte to
1279   allow two full bytes for the length field in order to proxy SSL
1280   connections.  SSL Proxy is not supported in this version of Exim, but
1281   must still separate values here. */
1282
1283   if (ver != 0x02)
1284     {
1285     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1286     goto proxyfail;
1287     }
1288
1289   /* The v2 header will always be 16 bytes per the spec. */
1290   size = 16 + ntohs(hdr.v2.len);
1291   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1292       size, (int)sizeof(hdr));
1293
1294   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1295   amount that we need.  Double-check that the size is not unreasonable, then
1296   get the rest. */
1297   if (size > sizeof(hdr))
1298     {
1299     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1300     goto proxyfail;
1301     }
1302
1303   do
1304     {
1305     do
1306       {
1307       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1308       } while (retmore == -1 && errno == EINTR);
1309     if (retmore == -1)
1310       goto proxyfail;
1311     ret += retmore;
1312     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1313     } while (ret < size);
1314
1315   } /* end scope for getting rest of data for v2 */
1316
1317 /* At this point: if PROXYv2, we've read the exact size required for all data;
1318 if PROXYv1 then we've read "less than required for any valid line" and should
1319 read the rest". */
1320
1321 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1322   {
1323   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1324
1325   switch (cmd)
1326     {
1327     case 0x01: /* PROXY command */
1328       switch (hdr.v2.fam)
1329         {
1330         case 0x11:  /* TCPv4 address type */
1331           iptype = US"IPv4";
1332           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1333           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1334           if (!string_is_ip_address(US tmpip, NULL))
1335             {
1336             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1337             goto proxyfail;
1338             }
1339           proxy_local_address = sender_host_address;
1340           sender_host_address = string_copy(US tmpip);
1341           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1342           proxy_local_port    = sender_host_port;
1343           sender_host_port    = tmpport;
1344           /* Save dest ip/port */
1345           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1346           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1347           if (!string_is_ip_address(US tmpip, NULL))
1348             {
1349             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1350             goto proxyfail;
1351             }
1352           proxy_external_address = string_copy(US tmpip);
1353           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1354           proxy_external_port  = tmpport;
1355           goto done;
1356         case 0x21:  /* TCPv6 address type */
1357           iptype = US"IPv6";
1358           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1359           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1360           if (!string_is_ip_address(US tmpip6, NULL))
1361             {
1362             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1363             goto proxyfail;
1364             }
1365           proxy_local_address = sender_host_address;
1366           sender_host_address = string_copy(US tmpip6);
1367           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1368           proxy_local_port    = sender_host_port;
1369           sender_host_port    = tmpport;
1370           /* Save dest ip/port */
1371           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1372           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1373           if (!string_is_ip_address(US tmpip6, NULL))
1374             {
1375             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1376             goto proxyfail;
1377             }
1378           proxy_external_address = string_copy(US tmpip6);
1379           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1380           proxy_external_port  = tmpport;
1381           goto done;
1382         default:
1383           DEBUG(D_receive)
1384             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1385                          hdr.v2.fam);
1386           goto proxyfail;
1387         }
1388       /* Unsupported protocol, keep local connection address */
1389       break;
1390     case 0x00: /* LOCAL command */
1391       /* Keep local connection address for LOCAL */
1392       iptype = US"local";
1393       break;
1394     default:
1395       DEBUG(D_receive)
1396         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1397       goto proxyfail;
1398     }
1399   }
1400 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1401   {
1402   uschar *p;
1403   uschar *end;
1404   uschar *sp;     /* Utility variables follow */
1405   int     tmp_port;
1406   int     r2;
1407   char   *endc;
1408
1409   /* get the rest of the line */
1410   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1411   if (r2 == -1)
1412     goto proxyfail;
1413   ret += r2;
1414
1415   p = string_copy(hdr.v1.line);
1416   end = memchr(p, '\r', ret - 1);
1417
1418   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1419     {
1420     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1421     goto proxyfail;
1422     }
1423   *end = '\0'; /* Terminate the string */
1424   size = end + 2 - p; /* Skip header + CRLF */
1425   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1426   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1427   /* Step through the string looking for the required fields. Ensure
1428   strict adherence to required formatting, exit for any error. */
1429   p += 5;
1430   if (!isspace(*(p++)))
1431     {
1432     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1433     goto proxyfail;
1434     }
1435   if (!Ustrncmp(p, CCS"TCP4", 4))
1436     iptype = US"IPv4";
1437   else if (!Ustrncmp(p,CCS"TCP6", 4))
1438     iptype = US"IPv6";
1439   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1440     {
1441     iptype = US"Unknown";
1442     goto done;
1443     }
1444   else
1445     {
1446     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1447     goto proxyfail;
1448     }
1449
1450   p += Ustrlen(iptype);
1451   if (!isspace(*(p++)))
1452     {
1453     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1454     goto proxyfail;
1455     }
1456   /* Find the end of the arg */
1457   if ((sp = Ustrchr(p, ' ')) == NULL)
1458     {
1459     DEBUG(D_receive)
1460       debug_printf("Did not find proxied src %s\n", iptype);
1461     goto proxyfail;
1462     }
1463   *sp = '\0';
1464   if(!string_is_ip_address(p, NULL))
1465     {
1466     DEBUG(D_receive)
1467       debug_printf("Proxied src arg is not an %s address\n", iptype);
1468     goto proxyfail;
1469     }
1470   proxy_local_address = sender_host_address;
1471   sender_host_address = p;
1472   p = sp + 1;
1473   if ((sp = Ustrchr(p, ' ')) == NULL)
1474     {
1475     DEBUG(D_receive)
1476       debug_printf("Did not find proxy dest %s\n", iptype);
1477     goto proxyfail;
1478     }
1479   *sp = '\0';
1480   if(!string_is_ip_address(p, NULL))
1481     {
1482     DEBUG(D_receive)
1483       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1484     goto proxyfail;
1485     }
1486   proxy_external_address = p;
1487   p = sp + 1;
1488   if ((sp = Ustrchr(p, ' ')) == NULL)
1489     {
1490     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1491     goto proxyfail;
1492     }
1493   *sp = '\0';
1494   tmp_port = strtol(CCS p, &endc, 10);
1495   if (*endc || tmp_port == 0)
1496     {
1497     DEBUG(D_receive)
1498       debug_printf("Proxied src port '%s' not an integer\n", p);
1499     goto proxyfail;
1500     }
1501   proxy_local_port = sender_host_port;
1502   sender_host_port = tmp_port;
1503   p = sp + 1;
1504   if ((sp = Ustrchr(p, '\0')) == NULL)
1505     {
1506     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1507     goto proxyfail;
1508     }
1509   tmp_port = strtol(CCS p, &endc, 10);
1510   if (*endc || tmp_port == 0)
1511     {
1512     DEBUG(D_receive)
1513       debug_printf("Proxy dest port '%s' not an integer\n", p);
1514     goto proxyfail;
1515     }
1516   proxy_external_port = tmp_port;
1517   /* Already checked for /r /n above. Good V1 header received. */
1518   }
1519 else
1520   {
1521   /* Wrong protocol */
1522   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1523   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1524   goto proxyfail;
1525   }
1526
1527 done:
1528   DEBUG(D_receive)
1529     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1530   yield = proxy_session;
1531
1532 /* Don't flush any potential buffer contents. Any input on proxyfail
1533 should cause a synchronization failure */
1534
1535 proxyfail:
1536   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1537
1538 bad:
1539   if (yield)
1540     {
1541     sender_host_name = NULL;
1542     (void) host_name_lookup();
1543     host_build_sender_fullhost();
1544     }
1545   else
1546     {
1547     f.proxy_session_failed = TRUE;
1548     DEBUG(D_receive)
1549       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1550     }
1551
1552 return;
1553 }
1554 #endif
1555
1556 /*************************************************
1557 *           Read one command line                *
1558 *************************************************/
1559
1560 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1561 There are sites that don't do this, and in any case internal SMTP probably
1562 should check only for LF. Consequently, we check here for LF only. The line
1563 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1564 an unknown command. The command is read into the global smtp_cmd_buffer so that
1565 it is available via $smtp_command.
1566
1567 The character reading routine sets up a timeout for each block actually read
1568 from the input (which may contain more than one command). We set up a special
1569 signal handler that closes down the session on a timeout. Control does not
1570 return when it runs.
1571
1572 Arguments:
1573   check_sync    if TRUE, check synchronization rules if global option is TRUE
1574   buffer_lim    maximum to buffer in lower layer
1575
1576 Returns:       a code identifying the command (enumerated above)
1577 */
1578
1579 static int
1580 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1581 {
1582 int c;
1583 int ptr = 0;
1584 smtp_cmd_list *p;
1585 BOOL hadnull = FALSE;
1586
1587 had_command_timeout = 0;
1588 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1589
1590 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1591   {
1592   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1593     {
1594     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1595     return OTHER_CMD;
1596     }
1597   if (c == 0)
1598     {
1599     hadnull = TRUE;
1600     c = '?';
1601     }
1602   smtp_cmd_buffer[ptr++] = c;
1603   }
1604
1605 receive_linecount++;    /* For BSMTP errors */
1606 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1607
1608 /* If hit end of file, return pseudo EOF command. Whether we have a
1609 part-line already read doesn't matter, since this is an error state. */
1610
1611 if (c == EOF) return EOF_CMD;
1612
1613 /* Remove any CR and white space at the end of the line, and terminate the
1614 string. */
1615
1616 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1617 smtp_cmd_buffer[ptr] = 0;
1618
1619 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1620
1621 /* NULLs are not allowed in SMTP commands */
1622
1623 if (hadnull) return BADCHAR_CMD;
1624
1625 /* Scan command list and return identity, having set the data pointer
1626 to the start of the actual data characters. Check for SMTP synchronization
1627 if required. */
1628
1629 for (p = cmd_list; p < cmd_list_end; p++)
1630   {
1631 #ifdef SUPPORT_PROXY
1632   /* Only allow QUIT command if Proxy Protocol parsing failed */
1633   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1634     continue;
1635 #endif
1636   if (  p->len
1637      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1638      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1639         || smtp_cmd_buffer[p->len] == 0
1640         || smtp_cmd_buffer[p->len] == ' '
1641      )  )
1642     {
1643     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1644         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1645         check_sync &&                                  /* Local flag set */
1646         smtp_enforce_sync &&                           /* Global flag set */
1647         sender_host_address != NULL &&                 /* Not local input */
1648         !f.sender_host_notsocket)                        /* Really is a socket */
1649       return BADSYN_CMD;
1650
1651     /* The variables $smtp_command and $smtp_command_argument point into the
1652     unmodified input buffer. A copy of the latter is taken for actual
1653     processing, so that it can be chopped up into separate parts if necessary,
1654     for example, when processing a MAIL command options such as SIZE that can
1655     follow the sender address. */
1656
1657     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1658     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1659     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1660     smtp_cmd_data = smtp_data_buffer;
1661
1662     /* Count non-mail commands from those hosts that are controlled in this
1663     way. The default is all hosts. We don't waste effort checking the list
1664     until we get a non-mail command, but then cache the result to save checking
1665     again. If there's a DEFER while checking the host, assume it's in the list.
1666
1667     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1668     start of each incoming message by fiddling with the value in the table. */
1669
1670     if (!p->is_mail_cmd)
1671       {
1672       if (count_nonmail == TRUE_UNSET) count_nonmail =
1673         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1674       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1675         return TOO_MANY_NONMAIL_CMD;
1676       }
1677
1678     /* If there is data for a command that does not expect it, generate the
1679     error here. */
1680
1681     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1682     }
1683   }
1684
1685 #ifdef SUPPORT_PROXY
1686 /* Only allow QUIT command if Proxy Protocol parsing failed */
1687 if (proxy_session && f.proxy_session_failed)
1688   return PROXY_FAIL_IGNORE_CMD;
1689 #endif
1690
1691 /* Enforce synchronization for unknown commands */
1692
1693 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1694    && check_sync                        /* Local flag set */
1695    && smtp_enforce_sync                 /* Global flag set */
1696    && sender_host_address               /* Not local input */
1697    && !f.sender_host_notsocket)         /* Really is a socket */
1698   return BADSYN_CMD;
1699
1700 return OTHER_CMD;
1701 }
1702
1703
1704
1705 /*************************************************
1706 *          Forced closedown of call              *
1707 *************************************************/
1708
1709 /* This function is called from log.c when Exim is dying because of a serious
1710 disaster, and also from some other places. If an incoming non-batched SMTP
1711 channel is open, it swallows the rest of the incoming message if in the DATA
1712 phase, sends the reply string, and gives an error to all subsequent commands
1713 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1714 smtp_in.
1715
1716 Arguments:
1717   message   SMTP reply string to send, excluding the code
1718
1719 Returns:    nothing
1720 */
1721
1722 void
1723 smtp_closedown(uschar *message)
1724 {
1725 if (!smtp_in || smtp_batched_input) return;
1726 receive_swallow_smtp();
1727 smtp_printf("421 %s\r\n", FALSE, message);
1728
1729 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1730   {
1731   case EOF_CMD:
1732     return;
1733
1734   case QUIT_CMD:
1735     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1736     mac_smtp_fflush();
1737     return;
1738
1739   case RSET_CMD:
1740     smtp_printf("250 Reset OK\r\n", FALSE);
1741     break;
1742
1743   default:
1744     smtp_printf("421 %s\r\n", FALSE, message);
1745     break;
1746   }
1747 }
1748
1749
1750
1751
1752 /*************************************************
1753 *        Set up connection info for logging      *
1754 *************************************************/
1755
1756 /* This function is called when logging information about an SMTP connection.
1757 It sets up appropriate source information, depending on the type of connection.
1758 If sender_fullhost is NULL, we are at a very early stage of the connection;
1759 just use the IP address.
1760
1761 Argument:    none
1762 Returns:     a string describing the connection
1763 */
1764
1765 uschar *
1766 smtp_get_connection_info(void)
1767 {
1768 const uschar * hostname = sender_fullhost
1769   ? sender_fullhost : sender_host_address;
1770
1771 if (host_checking)
1772   return string_sprintf("SMTP connection from %s", hostname);
1773
1774 if (f.sender_host_unknown || f.sender_host_notsocket)
1775   return string_sprintf("SMTP connection from %s", sender_ident);
1776
1777 if (f.is_inetd)
1778   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1779
1780 if (LOGGING(incoming_interface) && interface_address)
1781   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1782     interface_address, interface_port);
1783
1784 return string_sprintf("SMTP connection from %s", hostname);
1785 }
1786
1787
1788
1789 #ifdef SUPPORT_TLS
1790 /* Append TLS-related information to a log line
1791
1792 Arguments:
1793   g             String under construction: allocated string to extend, or NULL
1794
1795 Returns:        Allocated string or NULL
1796 */
1797 static gstring *
1798 s_tlslog(gstring * g)
1799 {
1800 if (LOGGING(tls_cipher) && tls_in.cipher)
1801   g = string_append(g, 2, US" X=", tls_in.cipher);
1802 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1803   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1804 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1805   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1806 if (LOGGING(tls_sni) && tls_in.sni)
1807   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1808 return g;
1809 }
1810 #endif
1811
1812 /*************************************************
1813 *      Log lack of MAIL if so configured         *
1814 *************************************************/
1815
1816 /* This function is called when an SMTP session ends. If the log selector
1817 smtp_no_mail is set, write a log line giving some details of what has happened
1818 in the SMTP session.
1819
1820 Arguments:   none
1821 Returns:     nothing
1822 */
1823
1824 void
1825 smtp_log_no_mail(void)
1826 {
1827 int i;
1828 uschar * sep, * s;
1829 gstring * g = NULL;
1830
1831 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1832   return;
1833
1834 if (sender_host_authenticated)
1835   {
1836   g = string_append(g, 2, US" A=", sender_host_authenticated);
1837   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1838   }
1839
1840 #ifdef SUPPORT_TLS
1841 g = s_tlslog(g);
1842 #endif
1843
1844 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1845
1846 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1847   if (smtp_connection_had[i] != SCH_NONE)
1848     {
1849     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850     sep = US",";
1851     }
1852
1853 for (i = 0; i < smtp_ch_index; i++)
1854   {
1855   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1856   sep = US",";
1857   }
1858
1859 if (!(s = string_from_gstring(g))) s = US"";
1860
1861 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1862   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1863   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1864 }
1865
1866
1867 /* Return list of recent smtp commands */
1868
1869 uschar *
1870 smtp_cmd_hist(void)
1871 {
1872 int  i;
1873 gstring * list = NULL;
1874 uschar * s;
1875
1876 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1877   if (smtp_connection_had[i] != SCH_NONE)
1878     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1879
1880 for (i = 0; i < smtp_ch_index; i++)
1881   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1882
1883 s = string_from_gstring(list);
1884 return s ? s : US"";
1885 }
1886
1887
1888
1889
1890 /*************************************************
1891 *   Check HELO line and set sender_helo_name     *
1892 *************************************************/
1893
1894 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1895 the domain name of the sending host, or an ip literal in square brackets. The
1896 argument is placed in sender_helo_name, which is in malloc store, because it
1897 must persist over multiple incoming messages. If helo_accept_junk is set, this
1898 host is permitted to send any old junk (needed for some broken hosts).
1899 Otherwise, helo_allow_chars can be used for rogue characters in general
1900 (typically people want to let in underscores).
1901
1902 Argument:
1903   s       the data portion of the line (already past any white space)
1904
1905 Returns:  TRUE or FALSE
1906 */
1907
1908 static BOOL
1909 check_helo(uschar *s)
1910 {
1911 uschar *start = s;
1912 uschar *end = s + Ustrlen(s);
1913 BOOL yield = fl.helo_accept_junk;
1914
1915 /* Discard any previous helo name */
1916
1917 if (sender_helo_name)
1918   {
1919   store_free(sender_helo_name);
1920   sender_helo_name = NULL;
1921   }
1922
1923 /* Skip tests if junk is permitted. */
1924
1925 if (!yield)
1926
1927   /* Allow the new standard form for IPv6 address literals, namely,
1928   [IPv6:....], and because someone is bound to use it, allow an equivalent
1929   IPv4 form. Allow plain addresses as well. */
1930
1931   if (*s == '[')
1932     {
1933     if (end[-1] == ']')
1934       {
1935       end[-1] = 0;
1936       if (strncmpic(s, US"[IPv6:", 6) == 0)
1937         yield = (string_is_ip_address(s+6, NULL) == 6);
1938       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1939         yield = (string_is_ip_address(s+6, NULL) == 4);
1940       else
1941         yield = (string_is_ip_address(s+1, NULL) != 0);
1942       end[-1] = ']';
1943       }
1944     }
1945
1946   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1947   that have been configured (usually underscore - sigh). */
1948
1949   else if (*s)
1950     for (yield = TRUE; *s; s++)
1951       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1952           Ustrchr(helo_allow_chars, *s) == NULL)
1953         {
1954         yield = FALSE;
1955         break;
1956         }
1957
1958 /* Save argument if OK */
1959
1960 if (yield) sender_helo_name = string_copy_malloc(start);
1961 return yield;
1962 }
1963
1964
1965
1966
1967
1968 /*************************************************
1969 *         Extract SMTP command option            *
1970 *************************************************/
1971
1972 /* This function picks the next option setting off the end of smtp_cmd_data. It
1973 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1974 things that can appear there.
1975
1976 Arguments:
1977    name           point this at the name
1978    value          point this at the data string
1979
1980 Returns:          TRUE if found an option
1981 */
1982
1983 static BOOL
1984 extract_option(uschar **name, uschar **value)
1985 {
1986 uschar *n;
1987 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1988 while (isspace(*v)) v--;
1989 v[1] = 0;
1990 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1991   {
1992   /* Take care to not stop at a space embedded in a quoted local-part */
1993
1994   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1995   v--;
1996   }
1997
1998 n = v;
1999 if (*v == '=')
2000   {
2001   while(isalpha(n[-1])) n--;
2002   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2003   if (!isspace(n[-1])) return FALSE;
2004   n[-1] = 0;
2005   }
2006 else
2007   {
2008   n++;
2009   if (v == smtp_cmd_data) return FALSE;
2010   }
2011 *v++ = 0;
2012 *name = n;
2013 *value = v;
2014 return TRUE;
2015 }
2016
2017
2018
2019
2020
2021 /*************************************************
2022 *         Reset for new message                  *
2023 *************************************************/
2024
2025 /* This function is called whenever the SMTP session is reset from
2026 within either of the setup functions; also from the daemon loop.
2027
2028 Argument:   the stacking pool storage reset point
2029 Returns:    nothing
2030 */
2031
2032 void
2033 smtp_reset(void *reset_point)
2034 {
2035 recipients_list = NULL;
2036 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2037   raw_recipients_count = recipients_count = recipients_list_max = 0;
2038 message_linecount = 0;
2039 message_size = -1;
2040 acl_added_headers = NULL;
2041 acl_removed_headers = NULL;
2042 f.queue_only_policy = FALSE;
2043 rcpt_smtp_response = NULL;
2044 fl.rcpt_smtp_response_same = TRUE;
2045 fl.rcpt_in_progress = FALSE;
2046 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2047 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2048 fake_response = OK;                                  /* Can be set by ACL */
2049 #ifdef WITH_CONTENT_SCAN
2050 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2051 #endif
2052 f.submission_mode = FALSE;                             /* Can be set by ACL */
2053 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2054 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2055 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2056 sending_ip_address = NULL;
2057 return_path = sender_address = NULL;
2058 sender_data = NULL;                                  /* Can be set by ACL */
2059 deliver_localpart_parent = deliver_localpart_orig = NULL;
2060 deliver_domain_parent = deliver_domain_orig = NULL;
2061 callout_address = NULL;
2062 submission_name = NULL;                              /* Can be set by ACL */
2063 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2064 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2065 sender_verified_list = NULL;        /* No senders verified */
2066 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2067 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2068
2069 authenticated_sender = NULL;
2070 #ifdef EXPERIMENTAL_BRIGHTMAIL
2071 bmi_run = 0;
2072 bmi_verdicts = NULL;
2073 #endif
2074 dnslist_domain = dnslist_matched = NULL;
2075 #ifdef SUPPORT_SPF
2076 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2077 spf_result_guessed = FALSE;
2078 #endif
2079 #ifndef DISABLE_DKIM
2080 dkim_cur_signer = dkim_signers =
2081 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2082 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2083 f.dkim_disable_verify = FALSE;
2084 dkim_collect_input = 0;
2085 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2086 dkim_key_length = 0;
2087 dkim_verify_signers = US"$dkim_signers";
2088 #endif
2089 #ifdef EXPERIMENTAL_DMARC
2090 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2091 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2092 dmarc_used_domain = NULL;
2093 #endif
2094 #ifdef EXPERIMENTAL_ARC
2095 arc_state = arc_state_reason = NULL;
2096 #endif
2097 dsn_ret = 0;
2098 dsn_envid = NULL;
2099 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2100 #ifndef DISABLE_PRDR
2101 prdr_requested = FALSE;
2102 #endif
2103 #ifdef SUPPORT_I18N
2104 message_smtputf8 = FALSE;
2105 #endif
2106 body_linecount = body_zerocount = 0;
2107
2108 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2109 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2110                    /* Note that ratelimiters_conn persists across resets. */
2111
2112 /* Reset message ACL variables */
2113
2114 acl_var_m = NULL;
2115
2116 /* The message body variables use malloc store. They may be set if this is
2117 not the first message in an SMTP session and the previous message caused them
2118 to be referenced in an ACL. */
2119
2120 if (message_body)
2121   {
2122   store_free(message_body);
2123   message_body = NULL;
2124   }
2125
2126 if (message_body_end)
2127   {
2128   store_free(message_body_end);
2129   message_body_end = NULL;
2130   }
2131
2132 /* Warning log messages are also saved in malloc store. They are saved to avoid
2133 repetition in the same message, but it seems right to repeat them for different
2134 messages. */
2135
2136 while (acl_warn_logged)
2137   {
2138   string_item *this = acl_warn_logged;
2139   acl_warn_logged = acl_warn_logged->next;
2140   store_free(this);
2141   }
2142 store_reset(reset_point);
2143 }
2144
2145
2146
2147
2148
2149 /*************************************************
2150 *  Initialize for incoming batched SMTP message  *
2151 *************************************************/
2152
2153 /* This function is called from smtp_setup_msg() in the case when
2154 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2155 of messages in one file with SMTP commands between them. All errors must be
2156 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2157 relevant. After an error on a sender, or an invalid recipient, the remainder
2158 of the message is skipped. The value of received_protocol is already set.
2159
2160 Argument: none
2161 Returns:  > 0 message successfully started (reached DATA)
2162           = 0 QUIT read or end of file reached
2163           < 0 should not occur
2164 */
2165
2166 static int
2167 smtp_setup_batch_msg(void)
2168 {
2169 int done = 0;
2170 void *reset_point = store_get(0);
2171
2172 /* Save the line count at the start of each transaction - single commands
2173 like HELO and RSET count as whole transactions. */
2174
2175 bsmtp_transaction_linecount = receive_linecount;
2176
2177 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2178
2179 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2180 smtp_reset(reset_point);                /* Reset for start of message */
2181
2182 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2183 value. The values are 2 larger than the required yield of the function. */
2184
2185 while (done <= 0)
2186   {
2187   uschar *errmess;
2188   uschar *recipient = NULL;
2189   int start, end, sender_domain, recipient_domain;
2190
2191   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2192     {
2193     /* The HELO/EHLO commands set sender_address_helo if they have
2194     valid data; otherwise they are ignored, except that they do
2195     a reset of the state. */
2196
2197     case HELO_CMD:
2198     case EHLO_CMD:
2199
2200       check_helo(smtp_cmd_data);
2201       /* Fall through */
2202
2203     case RSET_CMD:
2204       cancel_cutthrough_connection(TRUE, US"RSET received");
2205       smtp_reset(reset_point);
2206       bsmtp_transaction_linecount = receive_linecount;
2207       break;
2208
2209
2210     /* The MAIL FROM command requires an address as an operand. All we
2211     do here is to parse it for syntactic correctness. The form "<>" is
2212     a special case which converts into an empty string. The start/end
2213     pointers in the original are not used further for this address, as
2214     it is the canonical extracted address which is all that is kept. */
2215
2216     case MAIL_CMD:
2217       smtp_mailcmd_count++;              /* Count for no-mail log */
2218       if (sender_address != NULL)
2219         /* The function moan_smtp_batch() does not return. */
2220         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2221
2222       if (smtp_cmd_data[0] == 0)
2223         /* The function moan_smtp_batch() does not return. */
2224         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2225
2226       /* Reset to start of message */
2227
2228       cancel_cutthrough_connection(TRUE, US"MAIL received");
2229       smtp_reset(reset_point);
2230
2231       /* Apply SMTP rewrite */
2232
2233       raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2234         rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2235           US"", global_rewrite_rules) : smtp_cmd_data;
2236
2237       /* Extract the address; the TRUE flag allows <> as valid */
2238
2239       raw_sender =
2240         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2241           TRUE);
2242
2243       if (!raw_sender)
2244         /* The function moan_smtp_batch() does not return. */
2245         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2246
2247       sender_address = string_copy(raw_sender);
2248
2249       /* Qualify unqualified sender addresses if permitted to do so. */
2250
2251       if (  !sender_domain
2252          && sender_address[0] != 0 && sender_address[0] != '@')
2253         if (f.allow_unqualified_sender)
2254           {
2255           sender_address = rewrite_address_qualify(sender_address, FALSE);
2256           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2257             "and rewritten\n", raw_sender);
2258           }
2259         /* The function moan_smtp_batch() does not return. */
2260         else
2261           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2262             "a domain");
2263       break;
2264
2265
2266     /* The RCPT TO command requires an address as an operand. All we do
2267     here is to parse it for syntactic correctness. There may be any number
2268     of RCPT TO commands, specifying multiple senders. We build them all into
2269     a data structure that is in argc/argv format. The start/end values
2270     given by parse_extract_address are not used, as we keep only the
2271     extracted address. */
2272
2273     case RCPT_CMD:
2274       if (!sender_address)
2275         /* The function moan_smtp_batch() does not return. */
2276         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2277
2278       if (smtp_cmd_data[0] == 0)
2279         /* The function moan_smtp_batch() does not return. */
2280         moan_smtp_batch(smtp_cmd_buffer,
2281           "501 RCPT TO must have an address operand");
2282
2283       /* Check maximum number allowed */
2284
2285       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2286         /* The function moan_smtp_batch() does not return. */
2287         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2288           recipients_max_reject? "552": "452");
2289
2290       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2291       recipient address */
2292
2293       recipient = rewrite_existflags & rewrite_smtp
2294         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2295                       global_rewrite_rules)
2296         : smtp_cmd_data;
2297
2298       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2299         &recipient_domain, FALSE);
2300
2301       if (!recipient)
2302         /* The function moan_smtp_batch() does not return. */
2303         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2304
2305       /* If the recipient address is unqualified, qualify it if permitted. Then
2306       add it to the list of recipients. */
2307
2308       if (!recipient_domain)
2309         if (f.allow_unqualified_recipient)
2310           {
2311           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2312             recipient);
2313           recipient = rewrite_address_qualify(recipient, TRUE);
2314           }
2315         /* The function moan_smtp_batch() does not return. */
2316         else
2317           moan_smtp_batch(smtp_cmd_buffer,
2318             "501 recipient address must contain a domain");
2319
2320       receive_add_recipient(recipient, -1);
2321       break;
2322
2323
2324     /* The DATA command is legal only if it follows successful MAIL FROM
2325     and RCPT TO commands. This function is complete when a valid DATA
2326     command is encountered. */
2327
2328     case DATA_CMD:
2329       if (!sender_address || recipients_count <= 0)
2330         /* The function moan_smtp_batch() does not return. */
2331         if (!sender_address)
2332           moan_smtp_batch(smtp_cmd_buffer,
2333             "503 MAIL FROM:<sender> command must precede DATA");
2334         else
2335           moan_smtp_batch(smtp_cmd_buffer,
2336             "503 RCPT TO:<recipient> must precede DATA");
2337       else
2338         {
2339         done = 3;                      /* DATA successfully achieved */
2340         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2341         }
2342       break;
2343
2344
2345     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2346
2347     case VRFY_CMD:
2348     case EXPN_CMD:
2349     case HELP_CMD:
2350     case NOOP_CMD:
2351     case ETRN_CMD:
2352       bsmtp_transaction_linecount = receive_linecount;
2353       break;
2354
2355
2356     case EOF_CMD:
2357     case QUIT_CMD:
2358       done = 2;
2359       break;
2360
2361
2362     case BADARG_CMD:
2363       /* The function moan_smtp_batch() does not return. */
2364       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2365       break;
2366
2367
2368     case BADCHAR_CMD:
2369       /* The function moan_smtp_batch() does not return. */
2370       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2371       break;
2372
2373
2374     default:
2375       /* The function moan_smtp_batch() does not return. */
2376       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2377       break;
2378     }
2379   }
2380
2381 return done - 2;  /* Convert yield values */
2382 }
2383
2384
2385
2386
2387 #ifdef SUPPORT_TLS
2388 static BOOL
2389 smtp_log_tls_fail(uschar * errstr)
2390 {
2391 uschar * conn_info = smtp_get_connection_info();
2392
2393 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2394 /* I'd like to get separated H= here, but too hard for now */
2395
2396 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2397 return FALSE;
2398 }
2399 #endif
2400
2401
2402
2403
2404 #ifdef TCP_FASTOPEN
2405 static void
2406 tfo_in_check(void)
2407 {
2408 # ifdef TCP_INFO
2409 struct tcp_info tinfo;
2410 socklen_t len = sizeof(tinfo);
2411
2412 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2413 #ifdef TCPI_OPT_SYN_DATA        /* FreeBSD 11 does not seem to have this yet */
2414   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2415     {
2416     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (ACKd data-on-SYN)\n");
2417     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2418     }
2419   else
2420 #endif
2421     if (tinfo.tcpi_state == TCP_SYN_RECV)
2422     {
2423     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (state TCP_SYN_RECV)\n");
2424     f.tcp_in_fastopen = TRUE;
2425     }
2426 # endif
2427 }
2428 #endif
2429
2430
2431 /*************************************************
2432 *          Start an SMTP session                 *
2433 *************************************************/
2434
2435 /* This function is called at the start of an SMTP session. Thereafter,
2436 smtp_setup_msg() is called to initiate each separate message. This
2437 function does host-specific testing, and outputs the banner line.
2438
2439 Arguments:     none
2440 Returns:       FALSE if the session can not continue; something has
2441                gone wrong, or the connection to the host is blocked
2442 */
2443
2444 BOOL
2445 smtp_start_session(void)
2446 {
2447 int esclen;
2448 uschar *user_msg, *log_msg;
2449 uschar *code, *esc;
2450 uschar *p, *s;
2451 gstring * ss;
2452
2453 gettimeofday(&smtp_connection_start, NULL);
2454 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2455   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2456 smtp_ch_index = 0;
2457
2458 /* Default values for certain variables */
2459
2460 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2461 smtp_mailcmd_count = 0;
2462 count_nonmail = TRUE_UNSET;
2463 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2464 smtp_delay_mail = smtp_rlm_base;
2465 fl.auth_advertised = FALSE;
2466 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2467 f.pipelining_enable = TRUE;
2468 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2469 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2470
2471 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2472 authentication settings from -oMaa to remain in force. */
2473
2474 if (!host_checking && !f.sender_host_notsocket)
2475   sender_host_auth_pubname = sender_host_authenticated = NULL;
2476 authenticated_by = NULL;
2477
2478 #ifdef SUPPORT_TLS
2479 tls_in.cipher = tls_in.peerdn = NULL;
2480 tls_in.ourcert = tls_in.peercert = NULL;
2481 tls_in.sni = NULL;
2482 tls_in.ocsp = OCSP_NOT_REQ;
2483 fl.tls_advertised = FALSE;
2484 # ifdef EXPERIMENTAL_REQUIRETLS
2485 fl.requiretls_advertised = FALSE;
2486 # endif
2487 #endif
2488 fl.dsn_advertised = FALSE;
2489 #ifdef SUPPORT_I18N
2490 fl.smtputf8_advertised = FALSE;
2491 #endif
2492
2493 /* Reset ACL connection variables */
2494
2495 acl_var_c = NULL;
2496
2497 /* Allow for trailing 0 in the command and data buffers. */
2498
2499 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2500   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2501     "malloc() failed for SMTP command buffer");
2502
2503 smtp_cmd_buffer[0] = 0;
2504 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2505
2506 /* For batched input, the protocol setting can be overridden from the
2507 command line by a trusted caller. */
2508
2509 if (smtp_batched_input)
2510   {
2511   if (!received_protocol) received_protocol = US"local-bsmtp";
2512   }
2513
2514 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2515 reset later if any of EHLO/AUTH/STARTTLS are received. */
2516
2517 else
2518   received_protocol =
2519     (sender_host_address ? protocols : protocols_local) [pnormal];
2520
2521 /* Set up the buffer for inputting using direct read() calls, and arrange to
2522 call the local functions instead of the standard C ones.  Place a NUL at the
2523 end of the buffer to safety-stop C-string reads from it. */
2524
2525 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2526   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2527 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2528
2529 receive_getc = smtp_getc;
2530 receive_getbuf = smtp_getbuf;
2531 receive_get_cache = smtp_get_cache;
2532 receive_ungetc = smtp_ungetc;
2533 receive_feof = smtp_feof;
2534 receive_ferror = smtp_ferror;
2535 receive_smtp_buffered = smtp_buffered;
2536 smtp_inptr = smtp_inend = smtp_inbuffer;
2537 smtp_had_eof = smtp_had_error = 0;
2538
2539 /* Set up the message size limit; this may be host-specific */
2540
2541 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2542 if (expand_string_message)
2543   {
2544   if (thismessage_size_limit == -1)
2545     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2546       "%s", expand_string_message);
2547   else
2548     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2549       "%s", expand_string_message);
2550   smtp_closedown(US"Temporary local problem - please try later");
2551   return FALSE;
2552   }
2553
2554 /* When a message is input locally via the -bs or -bS options, sender_host_
2555 unknown is set unless -oMa was used to force an IP address, in which case it
2556 is checked like a real remote connection. When -bs is used from inetd, this
2557 flag is not set, causing the sending host to be checked. The code that deals
2558 with IP source routing (if configured) is never required for -bs or -bS and
2559 the flag sender_host_notsocket is used to suppress it.
2560
2561 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2562 reserve for certain hosts and/or networks. */
2563
2564 if (!f.sender_host_unknown)
2565   {
2566   int rc;
2567   BOOL reserved_host = FALSE;
2568
2569   /* Look up IP options (source routing info) on the socket if this is not an
2570   -oMa "host", and if any are found, log them and drop the connection.
2571
2572   Linux (and others now, see below) is different to everyone else, so there
2573   has to be some conditional compilation here. Versions of Linux before 2.1.15
2574   used a structure whose name was "options". Somebody finally realized that
2575   this name was silly, and it got changed to "ip_options". I use the
2576   newer name here, but there is a fudge in the script that sets up os.h
2577   to define a macro in older Linux systems.
2578
2579   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2580   glibc 2, which has chosen ip_opts for the structure name. This is now
2581   really a glibc thing rather than a Linux thing, so the condition name
2582   has been changed to reflect this. It is relevant also to GNU/Hurd.
2583
2584   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2585   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2586   a special macro defined in the os.h file.
2587
2588   Some DGUX versions on older hardware appear not to support IP options at
2589   all, so there is now a general macro which can be set to cut out this
2590   support altogether.
2591
2592   How to do this properly in IPv6 is not yet known. */
2593
2594 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2595
2596   #ifdef GLIBC_IP_OPTIONS
2597     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2598     #define OPTSTYLE 1
2599     #else
2600     #define OPTSTYLE 2
2601     #endif
2602   #elif defined DARWIN_IP_OPTIONS
2603     #define OPTSTYLE 2
2604   #else
2605     #define OPTSTYLE 3
2606   #endif
2607
2608   if (!host_checking && !f.sender_host_notsocket)
2609     {
2610     #if OPTSTYLE == 1
2611     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2612     struct ip_options *ipopt = store_get(optlen);
2613     #elif OPTSTYLE == 2
2614     struct ip_opts ipoptblock;
2615     struct ip_opts *ipopt = &ipoptblock;
2616     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2617     #else
2618     struct ipoption ipoptblock;
2619     struct ipoption *ipopt = &ipoptblock;
2620     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2621     #endif
2622
2623     /* Occasional genuine failures of getsockopt() have been seen - for
2624     example, "reset by peer". Therefore, just log and give up on this
2625     call, unless the error is ENOPROTOOPT. This error is given by systems
2626     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2627     of writing. So for that error, carry on - we just can't do an IP options
2628     check. */
2629
2630     DEBUG(D_receive) debug_printf("checking for IP options\n");
2631
2632     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2633           &optlen) < 0)
2634       {
2635       if (errno != ENOPROTOOPT)
2636         {
2637         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2638           host_and_ident(FALSE), strerror(errno));
2639         smtp_printf("451 SMTP service not available\r\n", FALSE);
2640         return FALSE;
2641         }
2642       }
2643
2644     /* Deal with any IP options that are set. On the systems I have looked at,
2645     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2646     more logging data than will fit in big_buffer. Nevertheless, after somebody
2647     questioned this code, I've added in some paranoid checking. */
2648
2649     else if (optlen > 0)
2650       {
2651       uschar *p = big_buffer;
2652       uschar *pend = big_buffer + big_buffer_size;
2653       uschar *opt, *adptr;
2654       int optcount;
2655       struct in_addr addr;
2656
2657       #if OPTSTYLE == 1
2658       uschar *optstart = US (ipopt->__data);
2659       #elif OPTSTYLE == 2
2660       uschar *optstart = US (ipopt->ip_opts);
2661       #else
2662       uschar *optstart = US (ipopt->ipopt_list);
2663       #endif
2664
2665       DEBUG(D_receive) debug_printf("IP options exist\n");
2666
2667       Ustrcpy(p, "IP options on incoming call:");
2668       p += Ustrlen(p);
2669
2670       for (opt = optstart; opt != NULL &&
2671            opt < US (ipopt) + optlen;)
2672         {
2673         switch (*opt)
2674           {
2675           case IPOPT_EOL:
2676           opt = NULL;
2677           break;
2678
2679           case IPOPT_NOP:
2680           opt++;
2681           break;
2682
2683           case IPOPT_SSRR:
2684           case IPOPT_LSRR:
2685           if (!string_format(p, pend-p, " %s [@%s",
2686                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2687                #if OPTSTYLE == 1
2688                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2689                #elif OPTSTYLE == 2
2690                inet_ntoa(ipopt->ip_dst)))
2691                #else
2692                inet_ntoa(ipopt->ipopt_dst)))
2693                #endif
2694             {
2695             opt = NULL;
2696             break;
2697             }
2698
2699           p += Ustrlen(p);
2700           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2701           adptr = opt + 3;
2702           while (optcount-- > 0)
2703             {
2704             memcpy(&addr, adptr, sizeof(addr));
2705             if (!string_format(p, pend - p - 1, "%s%s",
2706                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2707               {
2708               opt = NULL;
2709               break;
2710               }
2711             p += Ustrlen(p);
2712             adptr += sizeof(struct in_addr);
2713             }
2714           *p++ = ']';
2715           opt += opt[1];
2716           break;
2717
2718           default:
2719             {
2720             int i;
2721             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2722             Ustrcat(p, "[ ");
2723             p += 2;
2724             for (i = 0; i < opt[1]; i++)
2725               p += sprintf(CS p, "%2.2x ", opt[i]);
2726             *p++ = ']';
2727             }
2728           opt += opt[1];
2729           break;
2730           }
2731         }
2732
2733       *p = 0;
2734       log_write(0, LOG_MAIN, "%s", big_buffer);
2735
2736       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2737
2738       log_write(0, LOG_MAIN|LOG_REJECT,
2739         "connection from %s refused (IP options)", host_and_ident(FALSE));
2740
2741       smtp_printf("554 SMTP service not available\r\n", FALSE);
2742       return FALSE;
2743       }
2744
2745     /* Length of options = 0 => there are no options */
2746
2747     else DEBUG(D_receive) debug_printf("no IP options found\n");
2748     }
2749 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2750
2751   /* Set keep-alive in socket options. The option is on by default. This
2752   setting is an attempt to get rid of some hanging connections that stick in
2753   read() when the remote end (usually a dialup) goes away. */
2754
2755   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2756     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2757
2758   /* If the current host matches host_lookup, set the name by doing a
2759   reverse lookup. On failure, sender_host_name will be NULL and
2760   host_lookup_failed will be TRUE. This may or may not be serious - optional
2761   checks later. */
2762
2763   if (verify_check_host(&host_lookup) == OK)
2764     {
2765     (void)host_name_lookup();
2766     host_build_sender_fullhost();
2767     }
2768
2769   /* Delay this until we have the full name, if it is looked up. */
2770
2771   set_process_info("handling incoming connection from %s",
2772     host_and_ident(FALSE));
2773
2774   /* Expand smtp_receive_timeout, if needed */
2775
2776   if (smtp_receive_timeout_s)
2777     {
2778     uschar * exp;
2779     if (  !(exp = expand_string(smtp_receive_timeout_s))
2780        || !(*exp)
2781        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2782        )
2783       log_write(0, LOG_MAIN|LOG_PANIC,
2784         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2785     }
2786
2787   /* Test for explicit connection rejection */
2788
2789   if (verify_check_host(&host_reject_connection) == OK)
2790     {
2791     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2792       "from %s (host_reject_connection)", host_and_ident(FALSE));
2793     smtp_printf("554 SMTP service not available\r\n", FALSE);
2794     return FALSE;
2795     }
2796
2797   /* Test with TCP Wrappers if so configured. There is a problem in that
2798   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2799   such as disks dying. In these cases, it is desirable to reject with a 4xx
2800   error instead of a 5xx error. There isn't a "right" way to detect such
2801   problems. The following kludge is used: errno is zeroed before calling
2802   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2803   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2804   not exist). */
2805
2806 #ifdef USE_TCP_WRAPPERS
2807   errno = 0;
2808   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2809     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2810       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2811         expand_string_message);
2812
2813   if (!hosts_ctl(tcp_wrappers_name,
2814          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2815          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2816          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2817     {
2818     if (errno == 0 || errno == ENOENT)
2819       {
2820       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2821       log_write(L_connection_reject,
2822                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2823                 "(tcp wrappers)", host_and_ident(FALSE));
2824       smtp_printf("554 SMTP service not available\r\n", FALSE);
2825       }
2826     else
2827       {
2828       int save_errno = errno;
2829       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2830         "errno value %d\n", save_errno);
2831       log_write(L_connection_reject,
2832                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2833                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2834       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2835       }
2836     return FALSE;
2837     }
2838 #endif
2839
2840   /* Check for reserved slots. The value of smtp_accept_count has already been
2841   incremented to include this process. */
2842
2843   if (smtp_accept_max > 0 &&
2844       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2845     {
2846     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2847       {
2848       log_write(L_connection_reject,
2849         LOG_MAIN, "temporarily refused connection from %s: not in "
2850         "reserve list: connected=%d max=%d reserve=%d%s",
2851         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2852         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2853       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2854         "please try again later\r\n", FALSE, smtp_active_hostname);
2855       return FALSE;
2856       }
2857     reserved_host = TRUE;
2858     }
2859
2860   /* If a load level above which only messages from reserved hosts are
2861   accepted is set, check the load. For incoming calls via the daemon, the
2862   check is done in the superior process if there are no reserved hosts, to
2863   save a fork. In all cases, the load average will already be available
2864   in a global variable at this point. */
2865
2866   if (smtp_load_reserve >= 0 &&
2867        load_average > smtp_load_reserve &&
2868        !reserved_host &&
2869        verify_check_host(&smtp_reserve_hosts) != OK)
2870     {
2871     log_write(L_connection_reject,
2872       LOG_MAIN, "temporarily refused connection from %s: not in "
2873       "reserve list and load average = %.2f", host_and_ident(FALSE),
2874       (double)load_average/1000.0);
2875     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2876       smtp_active_hostname);
2877     return FALSE;
2878     }
2879
2880   /* Determine whether unqualified senders or recipients are permitted
2881   for this host. Unfortunately, we have to do this every time, in order to
2882   set the flags so that they can be inspected when considering qualifying
2883   addresses in the headers. For a site that permits no qualification, this
2884   won't take long, however. */
2885
2886   f.allow_unqualified_sender =
2887     verify_check_host(&sender_unqualified_hosts) == OK;
2888
2889   f.allow_unqualified_recipient =
2890     verify_check_host(&recipient_unqualified_hosts) == OK;
2891
2892   /* Determine whether HELO/EHLO is required for this host. The requirement
2893   can be hard or soft. */
2894
2895   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2896   if (!fl.helo_required)
2897     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2898
2899   /* Determine whether this hosts is permitted to send syntactic junk
2900   after a HELO or EHLO command. */
2901
2902   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2903   }
2904
2905 /* For batch SMTP input we are now done. */
2906
2907 if (smtp_batched_input) return TRUE;
2908
2909 /* If valid Proxy Protocol source is connecting, set up session.
2910  * Failure will not allow any SMTP function other than QUIT. */
2911
2912 #ifdef SUPPORT_PROXY
2913 proxy_session = FALSE;
2914 f.proxy_session_failed = FALSE;
2915 if (check_proxy_protocol_host())
2916   setup_proxy_protocol_host();
2917 #endif
2918
2919   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2920   smtps port for use with older style SSL MTAs. */
2921
2922 #ifdef SUPPORT_TLS
2923   if (tls_in.on_connect)
2924     {
2925     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2926       return smtp_log_tls_fail(user_msg);
2927     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2928     }
2929 #endif
2930
2931 /* Run the connect ACL if it exists */
2932
2933 user_msg = NULL;
2934 if (acl_smtp_connect)
2935   {
2936   int rc;
2937   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2938                       &log_msg)) != OK)
2939     {
2940     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2941     return FALSE;
2942     }
2943   }
2944
2945 /* Output the initial message for a two-way SMTP connection. It may contain
2946 newlines, which then cause a multi-line response to be given. */
2947
2948 code = US"220";   /* Default status code */
2949 esc = US"";       /* Default extended status code */
2950 esclen = 0;       /* Length of esc */
2951
2952 if (!user_msg)
2953   {
2954   if (!(s = expand_string(smtp_banner)))
2955     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2956       "failed: %s", smtp_banner, expand_string_message);
2957   }
2958 else
2959   {
2960   int codelen = 3;
2961   s = user_msg;
2962   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2963   if (codelen > 4)
2964     {
2965     esc = code + 4;
2966     esclen = codelen - 4;
2967     }
2968   }
2969
2970 /* Remove any terminating newlines; might as well remove trailing space too */
2971
2972 p = s + Ustrlen(s);
2973 while (p > s && isspace(p[-1])) p--;
2974 *p = 0;
2975
2976 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2977 is all contained in a single IP packet. The original code wrote out the
2978 greeting using several calls to fprint/fputc, and on busy servers this could
2979 cause it to be split over more than one packet - which caused CC:Mail to fall
2980 over when it got the second part of the greeting after sending its first
2981 command. Sigh. To try to avoid this, build the complete greeting message
2982 first, and output it in one fell swoop. This gives a better chance of it
2983 ending up as a single packet. */
2984
2985 ss = string_get(256);
2986
2987 p = s;
2988 do       /* At least once, in case we have an empty string */
2989   {
2990   int len;
2991   uschar *linebreak = Ustrchr(p, '\n');
2992   ss = string_catn(ss, code, 3);
2993   if (!linebreak)
2994     {
2995     len = Ustrlen(p);
2996     ss = string_catn(ss, US" ", 1);
2997     }
2998   else
2999     {
3000     len = linebreak - p;
3001     ss = string_catn(ss, US"-", 1);
3002     }
3003   ss = string_catn(ss, esc, esclen);
3004   ss = string_catn(ss, p, len);
3005   ss = string_catn(ss, US"\r\n", 2);
3006   p += len;
3007   if (linebreak) p++;
3008   }
3009 while (*p);
3010
3011 /* Before we write the banner, check that there is no input pending, unless
3012 this synchronisation check is disabled. */
3013
3014 #ifdef EXPERIMENTAL_PIPE_CONNECT
3015 fl.pipe_connect_acceptable =
3016   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3017
3018 if (!check_sync())
3019   if (fl.pipe_connect_acceptable)
3020     f.smtp_in_early_pipe_used = TRUE;
3021   else
3022 #else
3023 if (!check_sync())
3024 #endif
3025     {
3026     unsigned n = smtp_inend - smtp_inptr;
3027     if (n > 32) n = 32;
3028
3029     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3030       "synchronization error (input sent without waiting for greeting): "
3031       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3032       string_printing(string_copyn(smtp_inptr, n)));
3033     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3034     return FALSE;
3035     }
3036
3037 /* Now output the banner */
3038 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3039
3040 smtp_printf("%s",
3041 #ifdef EXPERIMENTAL_PIPE_CONNECT
3042   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3043 #else
3044   FALSE,
3045 #endif
3046   string_from_gstring(ss));
3047
3048 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3049 handshake arrived.  If so we must have managed a TFO. */
3050
3051 #ifdef TCP_FASTOPEN
3052 tfo_in_check();
3053 #endif
3054
3055 return TRUE;
3056 }
3057
3058
3059
3060
3061
3062 /*************************************************
3063 *     Handle SMTP syntax and protocol errors     *
3064 *************************************************/
3065
3066 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3067 to do so. Then transmit the error response. The return value depends on the
3068 number of syntax and protocol errors in this SMTP session.
3069
3070 Arguments:
3071   type      error type, given as a log flag bit
3072   code      response code; <= 0 means don't send a response
3073   data      data to reflect in the response (can be NULL)
3074   errmess   the error message
3075
3076 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3077             +1   limit of syntax/protocol errors IS exceeded
3078
3079 These values fit in with the values of the "done" variable in the main
3080 processing loop in smtp_setup_msg(). */
3081
3082 static int
3083 synprot_error(int type, int code, uschar *data, uschar *errmess)
3084 {
3085 int yield = -1;
3086
3087 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3088   (type == L_smtp_syntax_error)? "syntax" : "protocol",
3089   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3090
3091 if (++synprot_error_count > smtp_max_synprot_errors)
3092   {
3093   yield = 1;
3094   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3095     "syntax or protocol errors (last command was \"%s\")",
3096     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3097   }
3098
3099 if (code > 0)
3100   {
3101   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3102     data ? data : US"", data ? US": " : US"", errmess);
3103   if (yield == 1)
3104     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3105   }
3106
3107 return yield;
3108 }
3109
3110
3111
3112
3113 /*************************************************
3114 *    Send SMTP response, possibly multiline      *
3115 *************************************************/
3116
3117 /* There are, it seems, broken clients out there that cannot handle multiline
3118 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3119 output nothing for non-final calls, and only the first line for anything else.
3120
3121 Arguments:
3122   code          SMTP code, may involve extended status codes
3123   codelen       length of smtp code; if > 4 there's an ESC
3124   final         FALSE if the last line isn't the final line
3125   msg           message text, possibly containing newlines
3126
3127 Returns:        nothing
3128 */
3129
3130 void
3131 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3132 {
3133 int esclen = 0;
3134 uschar *esc = US"";
3135
3136 if (!final && f.no_multiline_responses) return;
3137
3138 if (codelen > 4)
3139   {
3140   esc = code + 4;
3141   esclen = codelen - 4;
3142   }
3143
3144 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3145 have had the same. Note: this code is also present in smtp_printf(). It would
3146 be tidier to have it only in one place, but when it was added, it was easier to
3147 do it that way, so as not to have to mess with the code for the RCPT command,
3148 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3149
3150 if (fl.rcpt_in_progress)
3151   {
3152   if (rcpt_smtp_response == NULL)
3153     rcpt_smtp_response = string_copy(msg);
3154   else if (fl.rcpt_smtp_response_same &&
3155            Ustrcmp(rcpt_smtp_response, msg) != 0)
3156     fl.rcpt_smtp_response_same = FALSE;
3157   fl.rcpt_in_progress = FALSE;
3158   }
3159
3160 /* Now output the message, splitting it up into multiple lines if necessary.
3161 We only handle pipelining these responses as far as nonfinal/final groups,
3162 not the whole MAIL/RCPT/DATA response set. */
3163
3164 for (;;)
3165   {
3166   uschar *nl = Ustrchr(msg, '\n');
3167   if (nl == NULL)
3168     {
3169     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3170     return;
3171     }
3172   else if (nl[1] == 0 || f.no_multiline_responses)
3173     {
3174     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3175       (int)(nl - msg), msg);
3176     return;
3177     }
3178   else
3179     {
3180     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3181     msg = nl + 1;
3182     while (isspace(*msg)) msg++;
3183     }
3184   }
3185 }
3186
3187
3188
3189
3190 /*************************************************
3191 *            Parse user SMTP message             *
3192 *************************************************/
3193
3194 /* This function allows for user messages overriding the response code details
3195 by providing a suitable response code string at the start of the message
3196 user_msg. Check the message for starting with a response code and optionally an
3197 extended status code. If found, check that the first digit is valid, and if so,
3198 change the code pointer and length to use the replacement. An invalid code
3199 causes a panic log; in this case, if the log messages is the same as the user
3200 message, we must also adjust the value of the log message to show the code that
3201 is actually going to be used (the original one).
3202
3203 This function is global because it is called from receive.c as well as within
3204 this module.
3205
3206 Note that the code length returned includes the terminating whitespace
3207 character, which is always included in the regex match.
3208
3209 Arguments:
3210   code          SMTP code, may involve extended status codes
3211   codelen       length of smtp code; if > 4 there's an ESC
3212   msg           message text
3213   log_msg       optional log message, to be adjusted with the new SMTP code
3214   check_valid   if true, verify the response code
3215
3216 Returns:        nothing
3217 */
3218
3219 void
3220 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3221   BOOL check_valid)
3222 {
3223 int n;
3224 int ovector[3];
3225
3226 if (!msg || !*msg) return;
3227
3228 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3229   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3230
3231 if (check_valid && (*msg)[0] != (*code)[0])
3232   {
3233   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3234     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3235   if (log_msg != NULL && *log_msg == *msg)
3236     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3237   }
3238 else
3239   {
3240   *code = *msg;
3241   *codelen = ovector[1];    /* Includes final space */
3242   }
3243 *msg += ovector[1];         /* Chop the code off the message */
3244 return;
3245 }
3246
3247
3248
3249
3250 /*************************************************
3251 *           Handle an ACL failure                *
3252 *************************************************/
3253
3254 /* This function is called when acl_check() fails. As well as calls from within
3255 this module, it is called from receive.c for an ACL after DATA. It sorts out
3256 logging the incident, and sends the error response. A message containing
3257 newlines is turned into a multiline SMTP response, but for logging, only the
3258 first line is used.
3259
3260 There's a table of default permanent failure response codes to use in
3261 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3262 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3263 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3264 state, because there are broken clients that try VRFY before RCPT. A 5xx
3265 response should be given only when the address is positively known to be
3266 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3267 no explicit code, but if there is one we let it know best.
3268 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3269
3270 From Exim 4.63, it is possible to override the response code details by
3271 providing a suitable response code string at the start of the message provided
3272 in user_msg. The code's first digit is checked for validity.
3273
3274 Arguments:
3275   where        where the ACL was called from
3276   rc           the failure code
3277   user_msg     a message that can be included in an SMTP response
3278   log_msg      a message for logging
3279
3280 Returns:     0 in most cases
3281              2 if the failure code was FAIL_DROP, in which case the
3282                SMTP connection should be dropped (this value fits with the
3283                "done" variable in smtp_setup_msg() below)
3284 */
3285
3286 int
3287 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3288 {
3289 BOOL drop = rc == FAIL_DROP;
3290 int codelen = 3;
3291 uschar *smtp_code;
3292 uschar *lognl;
3293 uschar *sender_info = US"";
3294 uschar *what =
3295 #ifdef WITH_CONTENT_SCAN
3296   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3297 #endif
3298   where == ACL_WHERE_PREDATA ? US"DATA" :
3299   where == ACL_WHERE_DATA ? US"after DATA" :
3300 #ifndef DISABLE_PRDR
3301   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3302 #endif
3303   smtp_cmd_data ?
3304     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3305     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3306
3307 if (drop) rc = FAIL;
3308
3309 /* Set the default SMTP code, and allow a user message to change it. */
3310
3311 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3312 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3313   where != ACL_WHERE_VRFY);
3314
3315 /* We used to have sender_address here; however, there was a bug that was not
3316 updating sender_address after a rewrite during a verify. When this bug was
3317 fixed, sender_address at this point became the rewritten address. I'm not sure
3318 this is what should be logged, so I've changed to logging the unrewritten
3319 address to retain backward compatibility. */
3320
3321 #ifndef WITH_CONTENT_SCAN
3322 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3323 #else
3324 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3325 #endif
3326   {
3327   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3328     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3329     sender_host_authenticated ? US" A="                                    : US"",
3330     sender_host_authenticated ? sender_host_authenticated                  : US"",
3331     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3332     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3333     );
3334   }
3335
3336 /* If there's been a sender verification failure with a specific message, and
3337 we have not sent a response about it yet, do so now, as a preliminary line for
3338 failures, but not defers. However, always log it for defer, and log it for fail
3339 unless the sender_verify_fail log selector has been turned off. */
3340
3341 if (sender_verified_failed &&
3342     !testflag(sender_verified_failed, af_sverify_told))
3343   {
3344   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3345   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3346
3347   setflag(sender_verified_failed, af_sverify_told);
3348
3349   if (rc != FAIL || LOGGING(sender_verify_fail))
3350     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3351       host_and_ident(TRUE),
3352       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3353       sender_verified_failed->address,
3354       (sender_verified_failed->message == NULL)? US"" :
3355       string_sprintf(": %s", sender_verified_failed->message));
3356
3357   if (rc == FAIL && sender_verified_failed->user_message)
3358     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3359         testflag(sender_verified_failed, af_verify_pmfail)?
3360           "Postmaster verification failed while checking <%s>\n%s\n"
3361           "Several RFCs state that you are required to have a postmaster\n"
3362           "mailbox for each mail domain. This host does not accept mail\n"
3363           "from domains whose servers reject the postmaster address."
3364           :
3365         testflag(sender_verified_failed, af_verify_nsfail)?
3366           "Callback setup failed while verifying <%s>\n%s\n"
3367           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3368           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3369           "RFC requirements, and stops you from receiving standard bounce\n"
3370           "messages. This host does not accept mail from domains whose servers\n"
3371           "refuse bounces."
3372           :
3373           "Verification failed for <%s>\n%s",
3374         sender_verified_failed->address,
3375         sender_verified_failed->user_message));
3376
3377   fl.rcpt_in_progress = save_rcpt_in_progress;
3378   }
3379
3380 /* Sort out text for logging */
3381
3382 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3383 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3384
3385 /* Send permanent failure response to the command, but the code used isn't
3386 always a 5xx one - see comments at the start of this function. If the original
3387 rc was FAIL_DROP we drop the connection and yield 2. */
3388
3389 if (rc == FAIL)
3390   smtp_respond(smtp_code, codelen, TRUE,
3391     user_msg ? user_msg : US"Administrative prohibition");
3392
3393 /* Send temporary failure response to the command. Don't give any details,
3394 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3395 verb, and for a header verify when smtp_return_error_details is set.
3396
3397 This conditional logic is all somewhat of a mess because of the odd
3398 interactions between temp_details and return_error_details. One day it should
3399 be re-implemented in a tidier fashion. */
3400
3401 else
3402   if (f.acl_temp_details && user_msg)
3403     {
3404     if (  smtp_return_error_details
3405        && sender_verified_failed
3406        && sender_verified_failed->message
3407        )
3408       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3409
3410     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3411     }
3412   else
3413     smtp_respond(smtp_code, codelen, TRUE,
3414       US"Temporary local problem - please try later");
3415
3416 /* Log the incident to the logs that are specified by log_reject_target
3417 (default main, reject). This can be empty to suppress logging of rejections. If
3418 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3419 is closing if required and return 2.  */
3420
3421 if (log_reject_target != 0)
3422   {
3423 #ifdef SUPPORT_TLS
3424   gstring * g = s_tlslog(NULL);
3425   uschar * tls = string_from_gstring(g);
3426   if (!tls) tls = US"";
3427 #else
3428   uschar * tls = US"";
3429 #endif
3430   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3431     log_reject_target, "%s%s%s %s%srejected %s%s",
3432     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3433     host_and_ident(TRUE),
3434     tls,
3435     sender_info,
3436     rc == FAIL ? US"" : US"temporarily ",
3437     what, log_msg);
3438   }
3439
3440 if (!drop) return 0;
3441
3442 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3443   smtp_get_connection_info());
3444
3445 /* Run the not-quit ACL, but without any custom messages. This should not be a
3446 problem, because we get here only if some other ACL has issued "drop", and
3447 in that case, *its* custom messages will have been used above. */
3448
3449 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3450 return 2;
3451 }
3452
3453
3454
3455
3456 /*************************************************
3457 *     Handle SMTP exit when QUIT is not given    *
3458 *************************************************/
3459
3460 /* This function provides a logging/statistics hook for when an SMTP connection
3461 is dropped on the floor or the other end goes away. It's a global function
3462 because it's called from receive.c as well as this module. As well as running
3463 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3464 response, either with a custom message from the ACL, or using a default. There
3465 is one case, however, when no message is output - after "drop". In that case,
3466 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3467 passed to this function.
3468
3469 In case things go wrong while processing this function, causing an error that
3470 may re-enter this function, there is a recursion check.
3471
3472 Arguments:
3473   reason          What $smtp_notquit_reason will be set to in the ACL;
3474                     if NULL, the ACL is not run
3475   code            The error code to return as part of the response
3476   defaultrespond  The default message if there's no user_msg
3477
3478 Returns:          Nothing
3479 */
3480
3481 void
3482 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3483 {
3484 int rc;
3485 uschar *user_msg = NULL;
3486 uschar *log_msg = NULL;
3487
3488 /* Check for recursive call */
3489
3490 if (fl.smtp_exit_function_called)
3491   {
3492   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3493     reason);
3494   return;
3495   }
3496 fl.smtp_exit_function_called = TRUE;
3497
3498 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3499
3500 if (acl_smtp_notquit && reason)
3501   {
3502   smtp_notquit_reason = reason;
3503   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3504                       &log_msg)) == ERROR)
3505     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3506       log_msg);
3507   }
3508
3509 /* If the connection was dropped, we certainly are no longer talking TLS */
3510 tls_in.active.sock = -1;
3511
3512 /* Write an SMTP response if we are expected to give one. As the default
3513 responses are all internal, they should be reasonable size. */
3514
3515 if (code && defaultrespond)
3516   {
3517   if (user_msg)
3518     smtp_respond(code, 3, TRUE, user_msg);
3519   else
3520     {
3521     gstring * g;
3522     va_list ap;
3523
3524     va_start(ap, defaultrespond);
3525     g = string_vformat(NULL, TRUE, CS defaultrespond, ap);
3526     va_end(ap);
3527     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3528     }
3529   mac_smtp_fflush();
3530   }
3531 }
3532
3533
3534
3535
3536 /*************************************************
3537 *             Verify HELO argument               *
3538 *************************************************/
3539
3540 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3541 matched. It is also called from ACL processing if verify = helo is used and
3542 verification was not previously tried (i.e. helo_try_verify_hosts was not
3543 matched). The result of its processing is to set helo_verified and
3544 helo_verify_failed. These variables should both be FALSE for this function to
3545 be called.
3546
3547 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3548 for IPv6 ::ffff: literals.
3549
3550 Argument:   none
3551 Returns:    TRUE if testing was completed;
3552             FALSE on a temporary failure
3553 */
3554
3555 BOOL
3556 smtp_verify_helo(void)
3557 {
3558 BOOL yield = TRUE;
3559
3560 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3561   sender_helo_name);
3562
3563 if (sender_helo_name == NULL)
3564   {
3565   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3566   }
3567
3568 /* Deal with the case of -bs without an IP address */
3569
3570 else if (sender_host_address == NULL)
3571   {
3572   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3573   f.helo_verified = TRUE;
3574   }
3575
3576 /* Deal with the more common case when there is a sending IP address */
3577
3578 else if (sender_helo_name[0] == '[')
3579   {
3580   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3581     Ustrlen(sender_host_address)) == 0;
3582
3583 #if HAVE_IPV6
3584   if (!f.helo_verified)
3585     {
3586     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3587       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3588         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3589     }
3590 #endif
3591
3592   HDEBUG(D_receive)
3593     { if (f.helo_verified) debug_printf("matched host address\n"); }
3594   }
3595
3596 /* Do a reverse lookup if one hasn't already given a positive or negative
3597 response. If that fails, or the name doesn't match, try checking with a forward
3598 lookup. */
3599
3600 else
3601   {
3602   if (sender_host_name == NULL && !host_lookup_failed)
3603     yield = host_name_lookup() != DEFER;
3604
3605   /* If a host name is known, check it and all its aliases. */
3606
3607   if (sender_host_name)
3608     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3609       {
3610       sender_helo_dnssec = sender_host_dnssec;
3611       HDEBUG(D_receive) debug_printf("matched host name\n");
3612       }
3613     else
3614       {
3615       uschar **aliases = sender_host_aliases;
3616       while (*aliases)
3617         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3618           {
3619           sender_helo_dnssec = sender_host_dnssec;
3620           break;
3621           }
3622
3623       HDEBUG(D_receive) if (f.helo_verified)
3624           debug_printf("matched alias %s\n", *(--aliases));
3625       }
3626
3627   /* Final attempt: try a forward lookup of the helo name */
3628
3629   if (!f.helo_verified)
3630     {
3631     int rc;
3632     host_item h;
3633     dnssec_domains d;
3634     host_item *hh;
3635
3636     h.name = sender_helo_name;
3637     h.address = NULL;
3638     h.mx = MX_NONE;
3639     h.next = NULL;
3640     d.request = US"*";
3641     d.require = US"";
3642
3643     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3644       sender_helo_name);
3645     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3646                           NULL, NULL, NULL, &d, NULL, NULL);
3647     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3648       for (hh = &h; hh; hh = hh->next)
3649         if (Ustrcmp(hh->address, sender_host_address) == 0)
3650           {
3651           f.helo_verified = TRUE;
3652           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3653           HDEBUG(D_receive)
3654             {
3655             debug_printf("IP address for %s matches calling address\n"
3656               "Forward DNS security status: %sverified\n",
3657               sender_helo_name, sender_helo_dnssec ? "" : "un");
3658             }
3659           break;
3660           }
3661     }
3662   }
3663
3664 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3665 return yield;
3666 }
3667
3668
3669
3670
3671 /*************************************************
3672 *        Send user response message              *
3673 *************************************************/
3674
3675 /* This function is passed a default response code and a user message. It calls
3676 smtp_message_code() to check and possibly modify the response code, and then
3677 calls smtp_respond() to transmit the response. I put this into a function
3678 just to avoid a lot of repetition.
3679
3680 Arguments:
3681   code         the response code
3682   user_msg     the user message
3683
3684 Returns:       nothing
3685 */
3686
3687 static void
3688 smtp_user_msg(uschar *code, uschar *user_msg)
3689 {
3690 int len = 3;
3691 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3692 smtp_respond(code, len, TRUE, user_msg);
3693 }
3694
3695
3696
3697 static int
3698 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3699 {
3700 const uschar *set_id = NULL;
3701 int rc, i;
3702
3703 /* Run the checking code, passing the remainder of the command line as
3704 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3705 it as the only set numerical variable. The authenticator may set $auth<n>
3706 and also set other numeric variables. The $auth<n> variables are preferred
3707 nowadays; the numerical variables remain for backwards compatibility.
3708
3709 Afterwards, have a go at expanding the set_id string, even if
3710 authentication failed - for bad passwords it can be useful to log the
3711 userid. On success, require set_id to expand and exist, and put it in
3712 authenticated_id. Save this in permanent store, as the working store gets
3713 reset at HELO, RSET, etc. */
3714
3715 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3716 expand_nmax = 0;
3717 expand_nlength[0] = 0;   /* $0 contains nothing */
3718
3719 rc = (au->info->servercode)(au, smtp_cmd_data);
3720 if (au->set_id) set_id = expand_string(au->set_id);
3721 expand_nmax = -1;        /* Reset numeric variables */
3722 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3723
3724 /* The value of authenticated_id is stored in the spool file and printed in
3725 log lines. It must not contain binary zeros or newline characters. In
3726 normal use, it never will, but when playing around or testing, this error
3727 can (did) happen. To guard against this, ensure that the id contains only
3728 printing characters. */
3729
3730 if (set_id) set_id = string_printing(set_id);
3731
3732 /* For the non-OK cases, set up additional logging data if set_id
3733 is not empty. */
3734
3735 if (rc != OK)
3736   set_id = set_id && *set_id
3737     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3738
3739 /* Switch on the result */
3740
3741 switch(rc)
3742   {
3743   case OK:
3744   if (!au->set_id || set_id)    /* Complete success */
3745     {
3746     if (set_id) authenticated_id = string_copy_malloc(set_id);
3747     sender_host_authenticated = au->name;
3748     sender_host_auth_pubname  = au->public_name;
3749     authentication_failed = FALSE;
3750     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3751
3752     received_protocol =
3753       (sender_host_address ? protocols : protocols_local)
3754         [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3755     *s = *ss = US"235 Authentication succeeded";
3756     authenticated_by = au;
3757     break;
3758     }
3759
3760   /* Authentication succeeded, but we failed to expand the set_id string.
3761   Treat this as a temporary error. */
3762
3763   auth_defer_msg = expand_string_message;
3764   /* Fall through */
3765
3766   case DEFER:
3767   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3768   *s = string_sprintf("435 Unable to authenticate at present%s",
3769     auth_defer_user_msg);
3770   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3771     set_id, auth_defer_msg);
3772   break;
3773
3774   case BAD64:
3775   *s = *ss = US"501 Invalid base64 data";
3776   break;
3777
3778   case CANCELLED:
3779   *s = *ss = US"501 Authentication cancelled";
3780   break;
3781
3782   case UNEXPECTED:
3783   *s = *ss = US"553 Initial data not expected";
3784   break;
3785
3786   case FAIL:
3787   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3788   *s = US"535 Incorrect authentication data";
3789   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3790   break;
3791
3792   default:
3793   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3794   *s = US"435 Internal error";
3795   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3796     "check", set_id, rc);
3797   break;
3798   }
3799
3800 return rc;
3801 }
3802
3803
3804
3805
3806
3807 static int
3808 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3809 {
3810 int rd;
3811 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3812   {
3813   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3814     *recipient);
3815   rd = Ustrlen(recipient) + 1;
3816   *recipient = rewrite_address_qualify(*recipient, TRUE);
3817   return rd;
3818   }
3819 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3820   smtp_cmd_data);
3821 log_write(L_smtp_syntax_error,
3822   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3823   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3824 return 0;
3825 }
3826
3827
3828
3829
3830 static void
3831 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3832 {
3833 HAD(SCH_QUIT);
3834 incomplete_transaction_log(US"QUIT");
3835 if (acl_smtp_quit)
3836   {
3837   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3838   if (rc == ERROR)
3839     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3840       *log_msgp);
3841   }
3842 if (*user_msgp)
3843   smtp_respond(US"221", 3, TRUE, *user_msgp);
3844 else
3845   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3846
3847 #ifdef SUPPORT_TLS
3848 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3849 #endif
3850
3851 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3852   smtp_get_connection_info());
3853 }
3854
3855
3856 static void
3857 smtp_rset_handler(void)
3858 {
3859 HAD(SCH_RSET);
3860 incomplete_transaction_log(US"RSET");
3861 smtp_printf("250 Reset OK\r\n", FALSE);
3862 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3863 }
3864
3865
3866
3867 /*************************************************
3868 *       Initialize for SMTP incoming message     *
3869 *************************************************/
3870
3871 /* This function conducts the initial dialogue at the start of an incoming SMTP
3872 message, and builds a list of recipients. However, if the incoming message
3873 is part of a batch (-bS option) a separate function is called since it would
3874 be messy having tests splattered about all over this function. This function
3875 therefore handles the case where interaction is occurring. The input and output
3876 files are set up in smtp_in and smtp_out.
3877
3878 The global recipients_list is set to point to a vector of recipient_item
3879 blocks, whose number is given by recipients_count. This is extended by the
3880 receive_add_recipient() function. The global variable sender_address is set to
3881 the sender's address. The yield is +1 if a message has been successfully
3882 started, 0 if a QUIT command was encountered or the connection was refused from
3883 the particular host, or -1 if the connection was lost.
3884
3885 Argument: none
3886
3887 Returns:  > 0 message successfully started (reached DATA)
3888           = 0 QUIT read or end of file reached or call refused
3889           < 0 lost connection
3890 */
3891
3892 int
3893 smtp_setup_msg(void)
3894 {
3895 int done = 0;
3896 BOOL toomany = FALSE;
3897 BOOL discarded = FALSE;
3898 BOOL last_was_rej_mail = FALSE;
3899 BOOL last_was_rcpt = FALSE;
3900 void *reset_point = store_get(0);
3901
3902 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3903
3904 /* Reset for start of new message. We allow one RSET not to be counted as a
3905 nonmail command, for those MTAs that insist on sending it between every
3906 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3907 TLS between messages (an Exim client may do this if it has messages queued up
3908 for the host). Note: we do NOT reset AUTH at this point. */
3909
3910 smtp_reset(reset_point);
3911 message_ended = END_NOTSTARTED;
3912
3913 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3914
3915 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3916 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3917 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3918 #ifdef SUPPORT_TLS
3919 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3920 #endif
3921
3922 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3923
3924 had_command_sigterm = 0;
3925 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3926
3927 /* Batched SMTP is handled in a different function. */
3928
3929 if (smtp_batched_input) return smtp_setup_batch_msg();
3930
3931 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3932 value. The values are 2 larger than the required yield of the function. */
3933
3934 while (done <= 0)
3935   {
3936   const uschar **argv;
3937   uschar *etrn_command;
3938   uschar *etrn_serialize_key;
3939   uschar *errmess;
3940   uschar *log_msg, *smtp_code;
3941   uschar *user_msg = NULL;
3942   uschar *recipient = NULL;
3943   uschar *hello = NULL;
3944   uschar *s, *ss;
3945   BOOL was_rej_mail = FALSE;
3946   BOOL was_rcpt = FALSE;
3947   void (*oldsignal)(int);
3948   pid_t pid;
3949   int start, end, sender_domain, recipient_domain;
3950   int rc;
3951   int c;
3952   auth_instance *au;
3953   uschar *orcpt = NULL;
3954   int dsn_flags;
3955   gstring * g;
3956
3957 #ifdef AUTH_TLS
3958   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3959   if (  tls_in.active.sock >= 0
3960      && tls_in.peercert
3961      && tls_in.certificate_verified
3962      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3963      )
3964     {
3965     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3966
3967     for (au = auths; au; au = au->next)
3968       if (strcmpic(US"tls", au->driver_name) == 0)
3969         {
3970         if (  acl_smtp_auth
3971            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3972                       &user_msg, &log_msg)) != OK
3973            )
3974           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3975         else
3976           {
3977           smtp_cmd_data = NULL;
3978
3979           if (smtp_in_auth(au, &s, &ss) == OK)
3980             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3981           else
3982             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3983           }
3984         break;
3985         }
3986     }
3987 #endif
3988
3989 #ifdef TCP_QUICKACK
3990   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3991     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3992             US &off, sizeof(off));
3993 #endif
3994
3995   switch(smtp_read_command(
3996 #ifdef EXPERIMENTAL_PIPE_CONNECT
3997           !fl.pipe_connect_acceptable,
3998 #else
3999           TRUE,
4000 #endif
4001           GETC_BUFFER_UNLIMITED))
4002     {
4003     /* The AUTH command is not permitted to occur inside a transaction, and may
4004     occur successfully only once per connection. Actually, that isn't quite
4005     true. When TLS is started, all previous information about a connection must
4006     be discarded, so a new AUTH is permitted at that time.
4007
4008     AUTH may only be used when it has been advertised. However, it seems that
4009     there are clients that send AUTH when it hasn't been advertised, some of
4010     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4011     So there's a get-out that allows this to happen.
4012
4013     AUTH is initially labelled as a "nonmail command" so that one occurrence
4014     doesn't get counted. We change the label here so that multiple failing
4015     AUTHS will eventually hit the nonmail threshold. */
4016
4017     case AUTH_CMD:
4018       HAD(SCH_AUTH);
4019       authentication_failed = TRUE;
4020       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4021
4022       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4023         {
4024         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4025           US"AUTH command used when not advertised");
4026         break;
4027         }
4028       if (sender_host_authenticated)
4029         {
4030         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4031           US"already authenticated");
4032         break;
4033         }
4034       if (sender_address)
4035         {
4036         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4037           US"not permitted in mail transaction");
4038         break;
4039         }
4040
4041       /* Check the ACL */
4042
4043       if (  acl_smtp_auth
4044          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4045                     &user_msg, &log_msg)) != OK
4046          )
4047         {
4048         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4049         break;
4050         }
4051
4052       /* Find the name of the requested authentication mechanism. */
4053
4054       s = smtp_cmd_data;
4055       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4056         {
4057         if (!isalnum(c) && c != '-' && c != '_')
4058           {
4059           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4060             US"invalid character in authentication mechanism name");
4061           goto COMMAND_LOOP;
4062           }
4063         smtp_cmd_data++;
4064         }
4065
4066       /* If not at the end of the line, we must be at white space. Terminate the
4067       name and move the pointer on to any data that may be present. */
4068
4069       if (*smtp_cmd_data != 0)
4070         {
4071         *smtp_cmd_data++ = 0;
4072         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4073         }
4074
4075       /* Search for an authentication mechanism which is configured for use
4076       as a server and which has been advertised (unless, sigh, allow_auth_
4077       unadvertised is set). */
4078
4079       for (au = auths; au; au = au->next)
4080         if (strcmpic(s, au->public_name) == 0 && au->server &&
4081             (au->advertised || f.allow_auth_unadvertised))
4082           break;
4083
4084       if (au)
4085         {
4086         c = smtp_in_auth(au, &s, &ss);
4087
4088         smtp_printf("%s\r\n", FALSE, s);
4089         if (c != OK)
4090           log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4091             au->name, host_and_ident(FALSE), ss);
4092         }
4093       else
4094         done = synprot_error(L_smtp_protocol_error, 504, NULL,
4095           string_sprintf("%s authentication mechanism not supported", s));
4096
4097       break;  /* AUTH_CMD */
4098
4099     /* The HELO/EHLO commands are permitted to appear in the middle of a
4100     session as well as at the beginning. They have the effect of a reset in
4101     addition to their other functions. Their absence at the start cannot be
4102     taken to be an error.
4103
4104     RFC 2821 says:
4105
4106       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4107       or 502 failure replies MUST be returned as appropriate.  The SMTP
4108       server MUST stay in the same state after transmitting these replies
4109       that it was in before the EHLO was received.
4110
4111     Therefore, we do not do the reset until after checking the command for
4112     acceptability. This change was made for Exim release 4.11. Previously
4113     it did the reset first. */
4114
4115     case HELO_CMD:
4116       HAD(SCH_HELO);
4117       hello = US"HELO";
4118       fl.esmtp = FALSE;
4119       goto HELO_EHLO;
4120
4121     case EHLO_CMD:
4122       HAD(SCH_EHLO);
4123       hello = US"EHLO";
4124       fl.esmtp = TRUE;
4125
4126     HELO_EHLO:      /* Common code for HELO and EHLO */
4127       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4128       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4129
4130       /* Reject the HELO if its argument was invalid or non-existent. A
4131       successful check causes the argument to be saved in malloc store. */
4132
4133       if (!check_helo(smtp_cmd_data))
4134         {
4135         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4136
4137         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4138           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4139           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4140                              string_printing(smtp_cmd_argument));
4141
4142         if (++synprot_error_count > smtp_max_synprot_errors)
4143           {
4144           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4145             "syntax or protocol errors (last command was \"%s\")",
4146             host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4147           done = 1;
4148           }
4149
4150         break;
4151         }
4152
4153       /* If sender_host_unknown is true, we have got here via the -bs interface,
4154       not called from inetd. Otherwise, we are running an IP connection and the
4155       host address will be set. If the helo name is the primary name of this
4156       host and we haven't done a reverse lookup, force one now. If helo_required
4157       is set, ensure that the HELO name matches the actual host. If helo_verify
4158       is set, do the same check, but softly. */
4159
4160       if (!f.sender_host_unknown)
4161         {
4162         BOOL old_helo_verified = f.helo_verified;
4163         uschar *p = smtp_cmd_data;
4164
4165         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4166         *p = 0;
4167
4168         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4169         because otherwise the log can be confusing. */
4170
4171         if (  !sender_host_name
4172            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4173                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4174           (void)host_name_lookup();
4175
4176         /* Rebuild the fullhost info to include the HELO name (and the real name
4177         if it was looked up.) */
4178
4179         host_build_sender_fullhost();  /* Rebuild */
4180         set_process_info("handling%s incoming connection from %s",
4181           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4182
4183         /* Verify if configured. This doesn't give much security, but it does
4184         make some people happy to be able to do it. If helo_required is set,
4185         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4186         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4187         now obsolescent, since the verification can now be requested selectively
4188         at ACL time. */
4189
4190         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4191         if (fl.helo_required || fl.helo_verify)
4192           {
4193           BOOL tempfail = !smtp_verify_helo();
4194           if (!f.helo_verified)
4195             {
4196             if (fl.helo_required)
4197               {
4198               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4199                 tempfail? 451 : 550, hello);
4200               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4201                 tempfail? "temporarily " : "",
4202                 hello, sender_helo_name, host_and_ident(FALSE));
4203               f.helo_verified = old_helo_verified;
4204               break;                   /* End of HELO/EHLO processing */
4205               }
4206             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4207               "helo_try_verify_hosts\n", hello);
4208             }
4209           }
4210         }
4211
4212 #ifdef SUPPORT_SPF
4213       /* set up SPF context */
4214       spf_init(sender_helo_name, sender_host_address);
4215 #endif
4216
4217       /* Apply an ACL check if one is defined; afterwards, recheck
4218       synchronization in case the client started sending in a delay. */
4219
4220       if (acl_smtp_helo)
4221         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4222                   &user_msg, &log_msg)) != OK)
4223           {
4224           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4225           if (sender_helo_name)
4226             {
4227             store_free(sender_helo_name);
4228             sender_helo_name = NULL;
4229             }
4230           host_build_sender_fullhost();  /* Rebuild */
4231           break;
4232           }
4233 #ifdef EXPERIMENTAL_PIPE_CONNECT
4234         else if (!fl.pipe_connect_acceptable && !check_sync())
4235 #else
4236         else if (!check_sync())
4237 #endif
4238           goto SYNC_FAILURE;
4239
4240       /* Generate an OK reply. The default string includes the ident if present,
4241       and also the IP address if present. Reflecting back the ident is intended
4242       as a deterrent to mail forgers. For maximum efficiency, and also because
4243       some broken systems expect each response to be in a single packet, arrange
4244       that the entire reply is sent in one write(). */
4245
4246       fl.auth_advertised = FALSE;
4247       f.smtp_in_pipelining_advertised = FALSE;
4248 #ifdef SUPPORT_TLS
4249       fl.tls_advertised = FALSE;
4250 # ifdef EXPERIMENTAL_REQUIRETLS
4251       fl.requiretls_advertised = FALSE;
4252 # endif
4253 #endif
4254       fl.dsn_advertised = FALSE;
4255 #ifdef SUPPORT_I18N
4256       fl.smtputf8_advertised = FALSE;
4257 #endif
4258
4259       smtp_code = US"250 ";        /* Default response code plus space*/
4260       if (!user_msg)
4261         {
4262         g = string_fmt_append(NULL, "%.3s %s Hello %s%s%s",
4263           smtp_code,
4264           smtp_active_hostname,
4265           sender_ident ? sender_ident : US"",
4266           sender_ident ? US" at " : US"",
4267           sender_host_name ? sender_host_name : sender_helo_name);
4268
4269         if (sender_host_address)
4270           g = string_fmt_append(g, " [%s]", sender_host_address);
4271         }
4272
4273       /* A user-supplied EHLO greeting may not contain more than one line. Note
4274       that the code returned by smtp_message_code() includes the terminating
4275       whitespace character. */
4276
4277       else
4278         {
4279         char *ss;
4280         int codelen = 4;
4281         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4282         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4283         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4284           {
4285           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4286             "newlines: message truncated: %s", string_printing(s));
4287           *ss = 0;
4288           }
4289         g = string_cat(NULL, s);
4290         }
4291
4292       g = string_catn(g, US"\r\n", 2);
4293
4294       /* If we received EHLO, we must create a multiline response which includes
4295       the functions supported. */
4296
4297       if (fl.esmtp)
4298         {
4299         g->s[3] = '-';
4300
4301         /* I'm not entirely happy with this, as an MTA is supposed to check
4302         that it has enough room to accept a message of maximum size before
4303         it sends this. However, there seems little point in not sending it.
4304         The actual size check happens later at MAIL FROM time. By postponing it
4305         till then, VRFY and EXPN can be used after EHLO when space is short. */
4306
4307         if (thismessage_size_limit > 0)
4308           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4309             thismessage_size_limit);
4310         else
4311           {
4312           g = string_catn(g, smtp_code, 3);
4313           g = string_catn(g, US"-SIZE\r\n", 7);
4314           }
4315
4316         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4317         clean; if it has an 8-bit character in its hand, it just sends it. It
4318         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4319         However, some users want this option simply in order to stop MUAs
4320         mangling messages that contain top-bit-set characters. It is therefore
4321         provided as an option. */
4322
4323         if (accept_8bitmime)
4324           {
4325           g = string_catn(g, smtp_code, 3);
4326           g = string_catn(g, US"-8BITMIME\r\n", 11);
4327           }
4328
4329         /* Advertise DSN support if configured to do so. */
4330         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4331           {
4332           g = string_catn(g, smtp_code, 3);
4333           g = string_catn(g, US"-DSN\r\n", 6);
4334           fl.dsn_advertised = TRUE;
4335           }
4336
4337         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4338         permitted to issue them; a check is made when any host actually tries. */
4339
4340         if (acl_smtp_etrn)
4341           {
4342           g = string_catn(g, smtp_code, 3);
4343           g = string_catn(g, US"-ETRN\r\n", 7);
4344           }
4345         if (acl_smtp_vrfy)
4346           {
4347           g = string_catn(g, smtp_code, 3);
4348           g = string_catn(g, US"-VRFY\r\n", 7);
4349           }
4350         if (acl_smtp_expn)
4351           {
4352           g = string_catn(g, smtp_code, 3);
4353           g = string_catn(g, US"-EXPN\r\n", 7);
4354           }
4355
4356         /* Exim is quite happy with pipelining, so let the other end know that
4357         it is safe to use it, unless advertising is disabled. */
4358
4359         if (  f.pipelining_enable
4360            && verify_check_host(&pipelining_advertise_hosts) == OK)
4361           {
4362           g = string_catn(g, smtp_code, 3);
4363           g = string_catn(g, US"-PIPELINING\r\n", 13);
4364           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4365           f.smtp_in_pipelining_advertised = TRUE;
4366
4367 #ifdef EXPERIMENTAL_PIPE_CONNECT
4368           if (fl.pipe_connect_acceptable)
4369             {
4370             f.smtp_in_early_pipe_advertised = TRUE;
4371             g = string_catn(g, smtp_code, 3);
4372             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4373             }
4374 #endif
4375           }
4376
4377
4378         /* If any server authentication mechanisms are configured, advertise
4379         them if the current host is in auth_advertise_hosts. The problem with
4380         advertising always is that some clients then require users to
4381         authenticate (and aren't configurable otherwise) even though it may not
4382         be necessary (e.g. if the host is in host_accept_relay).
4383
4384         RFC 2222 states that SASL mechanism names contain only upper case
4385         letters, so output the names in upper case, though we actually recognize
4386         them in either case in the AUTH command. */
4387
4388         if (  auths
4389 #ifdef AUTH_TLS
4390            && !sender_host_authenticated
4391 #endif
4392            && verify_check_host(&auth_advertise_hosts) == OK
4393            )
4394           {
4395           auth_instance *au;
4396           BOOL first = TRUE;
4397           for (au = auths; au; au = au->next)
4398             {
4399             au->advertised = FALSE;
4400             if (au->server)
4401               {
4402               DEBUG(D_auth+D_expand) debug_printf_indent(
4403                 "Evaluating advertise_condition for %s athenticator\n",
4404                 au->public_name);
4405               if (  !au->advertise_condition
4406                  || expand_check_condition(au->advertise_condition, au->name,
4407                         US"authenticator")
4408                  )
4409                 {
4410                 int saveptr;
4411                 if (first)
4412                   {
4413                   g = string_catn(g, smtp_code, 3);
4414                   g = string_catn(g, US"-AUTH", 5);
4415                   first = FALSE;
4416                   fl.auth_advertised = TRUE;
4417                   }
4418                 saveptr = g->ptr;
4419                 g = string_catn(g, US" ", 1);
4420                 g = string_cat (g, au->public_name);
4421                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4422                 au->advertised = TRUE;
4423                 }
4424               }
4425             }
4426
4427           if (!first) g = string_catn(g, US"\r\n", 2);
4428           }
4429
4430         /* RFC 3030 CHUNKING */
4431
4432         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4433           {
4434           g = string_catn(g, smtp_code, 3);
4435           g = string_catn(g, US"-CHUNKING\r\n", 11);
4436           f.chunking_offered = TRUE;
4437           chunking_state = CHUNKING_OFFERED;
4438           }
4439
4440         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4441         if it has been included in the binary, and the host matches
4442         tls_advertise_hosts. We must *not* advertise if we are already in a
4443         secure connection. */
4444
4445 #ifdef SUPPORT_TLS
4446         if (tls_in.active.sock < 0 &&
4447             verify_check_host(&tls_advertise_hosts) != FAIL)
4448           {
4449           g = string_catn(g, smtp_code, 3);
4450           g = string_catn(g, US"-STARTTLS\r\n", 11);
4451           fl.tls_advertised = TRUE;
4452           }
4453
4454 # ifdef EXPERIMENTAL_REQUIRETLS
4455         /* Advertise REQUIRETLS only once we are in a secure connection */
4456         if (  tls_in.active.sock >= 0
4457            && verify_check_host(&tls_advertise_requiretls) != FAIL)
4458           {
4459           g = string_catn(g, smtp_code, 3);
4460           g = string_catn(g, US"-REQUIRETLS\r\n", 13);
4461           fl.requiretls_advertised = TRUE;
4462           }
4463 # endif
4464 #endif
4465
4466 #ifndef DISABLE_PRDR
4467         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4468         if (prdr_enable)
4469           {
4470           g = string_catn(g, smtp_code, 3);
4471           g = string_catn(g, US"-PRDR\r\n", 7);
4472           }
4473 #endif
4474
4475 #ifdef SUPPORT_I18N
4476         if (  accept_8bitmime
4477            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4478           {
4479           g = string_catn(g, smtp_code, 3);
4480           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4481           fl.smtputf8_advertised = TRUE;
4482           }
4483 #endif
4484
4485         /* Finish off the multiline reply with one that is always available. */
4486
4487         g = string_catn(g, smtp_code, 3);
4488         g = string_catn(g, US" HELP\r\n", 7);
4489         }
4490
4491       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4492       has been seen. */
4493
4494 #ifdef SUPPORT_TLS
4495       if (tls_in.active.sock >= 0)
4496         (void)tls_write(NULL, g->s, g->ptr,
4497 # ifdef EXPERIMENTAL_PIPE_CONNECT
4498                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4499 # else
4500                         FALSE);
4501 # endif
4502       else
4503 #endif
4504
4505         {
4506         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4507         }
4508       DEBUG(D_receive)
4509         {
4510         uschar *cr;
4511
4512         (void) string_from_gstring(g);
4513         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4514           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4515         debug_printf("SMTP>> %s", g->s);
4516         }
4517       fl.helo_seen = TRUE;
4518
4519       /* Reset the protocol and the state, abandoning any previous message. */
4520       received_protocol =
4521         (sender_host_address ? protocols : protocols_local)
4522           [ (fl.esmtp
4523             ? pextend + (sender_host_authenticated ? pauthed : 0)
4524             : pnormal)
4525           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4526           ];
4527       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4528       smtp_reset(reset_point);
4529       toomany = FALSE;
4530       break;   /* HELO/EHLO */
4531
4532
4533     /* The MAIL command requires an address as an operand. All we do
4534     here is to parse it for syntactic correctness. The form "<>" is
4535     a special case which converts into an empty string. The start/end
4536     pointers in the original are not used further for this address, as
4537     it is the canonical extracted address which is all that is kept. */
4538
4539     case MAIL_CMD:
4540       HAD(SCH_MAIL);
4541       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4542       was_rej_mail = TRUE;               /* Reset if accepted */
4543       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4544
4545       if (fl.helo_required && !fl.helo_seen)
4546         {
4547         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4548         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4549           "HELO/EHLO given", host_and_ident(FALSE));
4550         break;
4551         }
4552
4553       if (sender_address)
4554         {
4555         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4556           US"sender already given");
4557         break;
4558         }
4559
4560       if (!*smtp_cmd_data)
4561         {
4562         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4563           US"MAIL must have an address operand");
4564         break;
4565         }
4566
4567       /* Check to see if the limit for messages per connection would be
4568       exceeded by accepting further messages. */
4569
4570       if (smtp_accept_max_per_connection > 0 &&
4571           smtp_mailcmd_count > smtp_accept_max_per_connection)
4572         {
4573         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4574         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4575           "messages in one connection", host_and_ident(TRUE));
4576         break;
4577         }
4578
4579       /* Reset for start of message - even if this is going to fail, we
4580       obviously need to throw away any previous data. */
4581
4582       cancel_cutthrough_connection(TRUE, US"MAIL received");
4583       smtp_reset(reset_point);
4584       toomany = FALSE;
4585       sender_data = recipient_data = NULL;
4586
4587       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4588
4589       if (fl.esmtp) for(;;)
4590         {
4591         uschar *name, *value, *end;
4592         unsigned long int size;
4593         BOOL arg_error = FALSE;
4594
4595         if (!extract_option(&name, &value)) break;
4596
4597         for (mail_args = env_mail_type_list;
4598              mail_args->value != ENV_MAIL_OPT_NULL;
4599              mail_args++
4600             )
4601           if (strcmpic(name, mail_args->name) == 0)
4602             break;
4603         if (mail_args->need_value && strcmpic(value, US"") == 0)
4604           break;
4605
4606         switch(mail_args->value)
4607           {
4608           /* Handle SIZE= by reading the value. We don't do the check till later,
4609           in order to be able to log the sender address on failure. */
4610           case ENV_MAIL_OPT_SIZE:
4611             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4612               {
4613               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4614                 size = INT_MAX;
4615               message_size = (int)size;
4616               }
4617             else
4618               arg_error = TRUE;
4619             break;
4620
4621           /* If this session was initiated with EHLO and accept_8bitmime is set,
4622           Exim will have indicated that it supports the BODY=8BITMIME option. In
4623           fact, it does not support this according to the RFCs, in that it does not
4624           take any special action for forwarding messages containing 8-bit
4625           characters. That is why accept_8bitmime is not the default setting, but
4626           some sites want the action that is provided. We recognize both "8BITMIME"
4627           and "7BIT" as body types, but take no action. */
4628           case ENV_MAIL_OPT_BODY:
4629             if (accept_8bitmime) {
4630               if (strcmpic(value, US"8BITMIME") == 0)
4631                 body_8bitmime = 8;
4632               else if (strcmpic(value, US"7BIT") == 0)
4633                 body_8bitmime = 7;
4634               else
4635                 {
4636                 body_8bitmime = 0;
4637                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4638                   US"invalid data for BODY");
4639                 goto COMMAND_LOOP;
4640                 }
4641               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4642               break;
4643             }
4644             arg_error = TRUE;
4645             break;
4646
4647           /* Handle the two DSN options, but only if configured to do so (which
4648           will have caused "DSN" to be given in the EHLO response). The code itself
4649           is included only if configured in at build time. */
4650
4651           case ENV_MAIL_OPT_RET:
4652             if (fl.dsn_advertised)
4653               {
4654               /* Check if RET has already been set */
4655               if (dsn_ret > 0)
4656                 {
4657                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4658                   US"RET can be specified once only");
4659                 goto COMMAND_LOOP;
4660                 }
4661               dsn_ret = strcmpic(value, US"HDRS") == 0
4662                 ? dsn_ret_hdrs
4663                 : strcmpic(value, US"FULL") == 0
4664                 ? dsn_ret_full
4665                 : 0;
4666               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4667               /* Check for invalid invalid value, and exit with error */
4668               if (dsn_ret == 0)
4669                 {
4670                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4671                   US"Value for RET is invalid");
4672                 goto COMMAND_LOOP;
4673                 }
4674               }
4675             break;
4676           case ENV_MAIL_OPT_ENVID:
4677             if (fl.dsn_advertised)
4678               {
4679               /* Check if the dsn envid has been already set */
4680               if (dsn_envid)
4681                 {
4682                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4683                   US"ENVID can be specified once only");
4684                 goto COMMAND_LOOP;
4685                 }
4686               dsn_envid = string_copy(value);
4687               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4688               }
4689             break;
4690
4691           /* Handle the AUTH extension. If the value given is not "<>" and either
4692           the ACL says "yes" or there is no ACL but the sending host is
4693           authenticated, we set it up as the authenticated sender. However, if the
4694           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4695           the condition is met. The value of AUTH is an xtext, which means that +,
4696           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4697           coding. */
4698           case ENV_MAIL_OPT_AUTH:
4699             if (Ustrcmp(value, "<>") != 0)
4700               {
4701               int rc;
4702               uschar *ignore_msg;
4703
4704               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4705                 {
4706                 /* Put back terminator overrides for error message */
4707                 value[-1] = '=';
4708                 name[-1] = ' ';
4709                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4710                   US"invalid data for AUTH");
4711                 goto COMMAND_LOOP;
4712                 }
4713               if (!acl_smtp_mailauth)
4714                 {
4715                 ignore_msg = US"client not authenticated";
4716                 rc = sender_host_authenticated ? OK : FAIL;
4717                 }
4718               else
4719                 {
4720                 ignore_msg = US"rejected by ACL";
4721                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4722                   &user_msg, &log_msg);
4723                 }
4724
4725               switch (rc)
4726                 {
4727                 case OK:
4728                   if (authenticated_by == NULL ||
4729                       authenticated_by->mail_auth_condition == NULL ||
4730                       expand_check_condition(authenticated_by->mail_auth_condition,
4731                           authenticated_by->name, US"authenticator"))
4732                     break;     /* Accept the AUTH */
4733
4734                   ignore_msg = US"server_mail_auth_condition failed";
4735                   if (authenticated_id != NULL)
4736                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4737                       ignore_msg, authenticated_id);
4738
4739                 /* Fall through */
4740
4741                 case FAIL:
4742                   authenticated_sender = NULL;
4743                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4744                     value, host_and_ident(TRUE), ignore_msg);
4745                   break;
4746
4747                 /* Should only get DEFER or ERROR here. Put back terminator
4748                 overrides for error message */
4749
4750                 default:
4751                   value[-1] = '=';
4752                   name[-1] = ' ';
4753                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4754                     log_msg);
4755                   goto COMMAND_LOOP;
4756                 }
4757               }
4758               break;
4759
4760 #ifndef DISABLE_PRDR
4761           case ENV_MAIL_OPT_PRDR:
4762             if (prdr_enable)
4763               prdr_requested = TRUE;
4764             break;
4765 #endif
4766
4767 #ifdef SUPPORT_I18N
4768           case ENV_MAIL_OPT_UTF8:
4769             if (!fl.smtputf8_advertised)
4770               {
4771               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4772                 US"SMTPUTF8 used when not advertised");
4773               goto COMMAND_LOOP;
4774               }
4775
4776             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4777             message_smtputf8 = allow_utf8_domains = TRUE;
4778             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4779               {
4780               int old_pool = store_pool;
4781               store_pool = POOL_PERM;
4782               received_protocol = string_sprintf("utf8%s", received_protocol);
4783               store_pool = old_pool;
4784               }
4785             break;
4786 #endif
4787
4788 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4789           case ENV_MAIL_OPT_REQTLS:
4790             {
4791             uschar * r, * t;
4792
4793             if (!fl.requiretls_advertised)
4794               {
4795               done = synprot_error(L_smtp_syntax_error, 555, NULL,
4796                 US"unadvertised MAIL option: REQUIRETLS");
4797               goto COMMAND_LOOP;
4798               }
4799
4800             DEBUG(D_receive) debug_printf("requiretls requested\n");
4801             tls_requiretls = REQUIRETLS_MSG;
4802
4803             r = string_copy_malloc(received_protocol);
4804             if ((t = Ustrrchr(r, 's'))) *t = 'S';
4805             received_protocol = r;
4806             }
4807             break;
4808 #endif
4809
4810           /* No valid option. Stick back the terminator characters and break
4811           the loop.  Do the name-terminator second as extract_option sets
4812           value==name when it found no equal-sign.
4813           An error for a malformed address will occur. */
4814           case ENV_MAIL_OPT_NULL:
4815             value[-1] = '=';
4816             name[-1] = ' ';
4817             arg_error = TRUE;
4818             break;
4819
4820           default:  assert(0);
4821           }
4822         /* Break out of for loop if switch() had bad argument or
4823            when start of the email address is reached */
4824         if (arg_error) break;
4825         }
4826
4827 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4828       if (tls_requiretls & REQUIRETLS_MSG)
4829         {
4830         /* Ensure headers-only bounces whether a RET option was given or not. */
4831
4832         DEBUG(D_receive) if (dsn_ret == dsn_ret_full)
4833           debug_printf("requiretls override: dsn_ret_full -> dsn_ret_hdrs\n");
4834         dsn_ret = dsn_ret_hdrs;
4835         }
4836 #endif
4837
4838       /* If we have passed the threshold for rate limiting, apply the current
4839       delay, and update it for next time, provided this is a limited host. */
4840
4841       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4842           verify_check_host(&smtp_ratelimit_hosts) == OK)
4843         {
4844         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4845           smtp_delay_mail/1000.0);
4846         millisleep((int)smtp_delay_mail);
4847         smtp_delay_mail *= smtp_rlm_factor;
4848         if (smtp_delay_mail > (double)smtp_rlm_limit)
4849           smtp_delay_mail = (double)smtp_rlm_limit;
4850         }
4851
4852       /* Now extract the address, first applying any SMTP-time rewriting. The
4853       TRUE flag allows "<>" as a sender address. */
4854
4855       raw_sender = rewrite_existflags & rewrite_smtp
4856         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4857                       global_rewrite_rules)
4858         : smtp_cmd_data;
4859
4860       raw_sender =
4861         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4862           TRUE);
4863
4864       if (!raw_sender)
4865         {
4866         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4867         break;
4868         }
4869
4870       sender_address = raw_sender;
4871
4872       /* If there is a configured size limit for mail, check that this message
4873       doesn't exceed it. The check is postponed to this point so that the sender
4874       can be logged. */
4875
4876       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4877         {
4878         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4879         log_write(L_size_reject,
4880             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4881             "message too big: size%s=%d max=%d",
4882             sender_address,
4883             host_and_ident(TRUE),
4884             (message_size == INT_MAX)? ">" : "",
4885             message_size,
4886             thismessage_size_limit);
4887         sender_address = NULL;
4888         break;
4889         }
4890
4891       /* Check there is enough space on the disk unless configured not to.
4892       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4893       plus the current message - i.e. we accept the message only if it won't
4894       reduce the space below the threshold. Add 5000 to the size to allow for
4895       overheads such as the Received: line and storing of recipients, etc.
4896       By putting the check here, even when SIZE is not given, it allow VRFY
4897       and EXPN etc. to be used when space is short. */
4898
4899       if (!receive_check_fs(
4900            (smtp_check_spool_space && message_size >= 0)?
4901               message_size + 5000 : 0))
4902         {
4903         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4904         sender_address = NULL;
4905         break;
4906         }
4907
4908       /* If sender_address is unqualified, reject it, unless this is a locally
4909       generated message, or the sending host or net is permitted to send
4910       unqualified addresses - typically local machines behaving as MUAs -
4911       in which case just qualify the address. The flag is set above at the start
4912       of the SMTP connection. */
4913
4914       if (!sender_domain && *sender_address)
4915         if (f.allow_unqualified_sender)
4916           {
4917           sender_domain = Ustrlen(sender_address) + 1;
4918           sender_address = rewrite_address_qualify(sender_address, FALSE);
4919           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4920             raw_sender);
4921           }
4922         else
4923           {
4924           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4925             smtp_cmd_data);
4926           log_write(L_smtp_syntax_error,
4927             LOG_MAIN|LOG_REJECT,
4928             "unqualified sender rejected: <%s> %s%s",
4929             raw_sender,
4930             host_and_ident(TRUE),
4931             host_lookup_msg);
4932           sender_address = NULL;
4933           break;
4934           }
4935
4936       /* Apply an ACL check if one is defined, before responding. Afterwards,
4937       when pipelining is not advertised, do another sync check in case the ACL
4938       delayed and the client started sending in the meantime. */
4939
4940       if (acl_smtp_mail)
4941         {
4942         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4943         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4944           goto SYNC_FAILURE;
4945         }
4946       else
4947         rc = OK;
4948
4949       if (rc == OK || rc == DISCARD)
4950         {
4951         BOOL more = pipeline_response();
4952
4953         if (!user_msg)
4954           smtp_printf("%s%s%s", more, US"250 OK",
4955                     #ifndef DISABLE_PRDR
4956                       prdr_requested ? US", PRDR Requested" : US"",
4957                     #else
4958                       US"",
4959                     #endif
4960                       US"\r\n");
4961         else
4962           {
4963         #ifndef DISABLE_PRDR
4964           if (prdr_requested)
4965              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4966         #endif
4967           smtp_user_msg(US"250", user_msg);
4968           }
4969         smtp_delay_rcpt = smtp_rlr_base;
4970         f.recipients_discarded = (rc == DISCARD);
4971         was_rej_mail = FALSE;
4972         }
4973       else
4974         {
4975         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4976         sender_address = NULL;
4977         }
4978       break;
4979
4980
4981     /* The RCPT command requires an address as an operand. There may be any
4982     number of RCPT commands, specifying multiple recipients. We build them all
4983     into a data structure. The start/end values given by parse_extract_address
4984     are not used, as we keep only the extracted address. */
4985
4986     case RCPT_CMD:
4987       HAD(SCH_RCPT);
4988       rcpt_count++;
4989       was_rcpt = fl.rcpt_in_progress = TRUE;
4990
4991       /* There must be a sender address; if the sender was rejected and
4992       pipelining was advertised, we assume the client was pipelining, and do not
4993       count this as a protocol error. Reset was_rej_mail so that further RCPTs
4994       get the same treatment. */
4995
4996       if (sender_address == NULL)
4997         {
4998         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
4999           {
5000           smtp_printf("503 sender not yet given\r\n", FALSE);
5001           was_rej_mail = TRUE;
5002           }
5003         else
5004           {
5005           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5006             US"sender not yet given");
5007           was_rcpt = FALSE;             /* Not a valid RCPT */
5008           }
5009         rcpt_fail_count++;
5010         break;
5011         }
5012
5013       /* Check for an operand */
5014
5015       if (smtp_cmd_data[0] == 0)
5016         {
5017         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5018           US"RCPT must have an address operand");
5019         rcpt_fail_count++;
5020         break;
5021         }
5022
5023       /* Set the DSN flags orcpt and dsn_flags from the session*/
5024       orcpt = NULL;
5025       dsn_flags = 0;
5026
5027       if (fl.esmtp) for(;;)
5028         {
5029         uschar *name, *value;
5030
5031         if (!extract_option(&name, &value))
5032           break;
5033
5034         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5035           {
5036           /* Check whether orcpt has been already set */
5037           if (orcpt)
5038             {
5039             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5040               US"ORCPT can be specified once only");
5041             goto COMMAND_LOOP;
5042             }
5043           orcpt = string_copy(value);
5044           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5045           }
5046
5047         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5048           {
5049           /* Check if the notify flags have been already set */
5050           if (dsn_flags > 0)
5051             {
5052             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5053                 US"NOTIFY can be specified once only");
5054             goto COMMAND_LOOP;
5055             }
5056           if (strcmpic(value, US"NEVER") == 0)
5057             dsn_flags |= rf_notify_never;
5058           else
5059             {
5060             uschar *p = value;
5061             while (*p != 0)
5062               {
5063               uschar *pp = p;
5064               while (*pp != 0 && *pp != ',') pp++;
5065               if (*pp == ',') *pp++ = 0;
5066               if (strcmpic(p, US"SUCCESS") == 0)
5067                 {
5068                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5069                 dsn_flags |= rf_notify_success;
5070                 }
5071               else if (strcmpic(p, US"FAILURE") == 0)
5072                 {
5073                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5074                 dsn_flags |= rf_notify_failure;
5075                 }
5076               else if (strcmpic(p, US"DELAY") == 0)
5077                 {
5078                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5079                 dsn_flags |= rf_notify_delay;
5080                 }
5081               else
5082                 {
5083                 /* Catch any strange values */
5084                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5085                   US"Invalid value for NOTIFY parameter");
5086                 goto COMMAND_LOOP;
5087                 }
5088               p = pp;
5089               }
5090               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5091             }
5092           }
5093
5094         /* Unknown option. Stick back the terminator characters and break
5095         the loop. An error for a malformed address will occur. */
5096
5097         else
5098           {
5099           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5100           name[-1] = ' ';
5101           value[-1] = '=';
5102           break;
5103           }
5104         }
5105
5106       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5107       as a recipient address */
5108
5109       recipient = rewrite_existflags & rewrite_smtp
5110         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5111             global_rewrite_rules)
5112         : smtp_cmd_data;
5113
5114       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5115         &recipient_domain, FALSE)))
5116         {
5117         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5118         rcpt_fail_count++;
5119         break;
5120         }
5121
5122       /* If the recipient address is unqualified, reject it, unless this is a
5123       locally generated message. However, unqualified addresses are permitted
5124       from a configured list of hosts and nets - typically when behaving as
5125       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5126       really. The flag is set at the start of the SMTP connection.
5127
5128       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5129       assumed this meant "reserved local part", but the revision of RFC 821 and
5130       friends now makes it absolutely clear that it means *mailbox*. Consequently
5131       we must always qualify this address, regardless. */
5132
5133       if (!recipient_domain)
5134         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5135                                     US"recipient")))
5136           {
5137           rcpt_fail_count++;
5138           break;
5139           }
5140
5141       /* Check maximum allowed */
5142
5143       if (rcpt_count > recipients_max && recipients_max > 0)
5144         {
5145         if (recipients_max_reject)
5146           {
5147           rcpt_fail_count++;
5148           smtp_printf("552 too many recipients\r\n", FALSE);
5149           if (!toomany)
5150             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5151               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5152           }
5153         else
5154           {
5155           rcpt_defer_count++;
5156           smtp_printf("452 too many recipients\r\n", FALSE);
5157           if (!toomany)
5158             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5159               "temporarily rejected: sender=<%s> %s", sender_address,
5160               host_and_ident(TRUE));
5161           }
5162
5163         toomany = TRUE;
5164         break;
5165         }
5166
5167       /* If we have passed the threshold for rate limiting, apply the current
5168       delay, and update it for next time, provided this is a limited host. */
5169
5170       if (rcpt_count > smtp_rlr_threshold &&
5171           verify_check_host(&smtp_ratelimit_hosts) == OK)
5172         {
5173         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5174           smtp_delay_rcpt/1000.0);
5175         millisleep((int)smtp_delay_rcpt);
5176         smtp_delay_rcpt *= smtp_rlr_factor;
5177         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5178           smtp_delay_rcpt = (double)smtp_rlr_limit;
5179         }
5180
5181       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5182       for them. Otherwise, check the access control list for this recipient. As
5183       there may be a delay in this, re-check for a synchronization error
5184       afterwards, unless pipelining was advertised. */
5185
5186       if (f.recipients_discarded)
5187         rc = DISCARD;
5188       else
5189         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5190                       &log_msg)) == OK
5191            && !f.smtp_in_pipelining_advertised && !check_sync())
5192           goto SYNC_FAILURE;
5193
5194       /* The ACL was happy */
5195
5196       if (rc == OK)
5197         {
5198         BOOL more = pipeline_response();
5199
5200         if (user_msg)
5201           smtp_user_msg(US"250", user_msg);
5202         else
5203           smtp_printf("250 Accepted\r\n", more);
5204         receive_add_recipient(recipient, -1);
5205
5206         /* Set the dsn flags in the recipients_list */
5207         recipients_list[recipients_count-1].orcpt = orcpt;
5208         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5209
5210         DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5211           recipients_list[recipients_count-1].orcpt,
5212           recipients_list[recipients_count-1].dsn_flags);
5213         }
5214
5215       /* The recipient was discarded */
5216
5217       else if (rc == DISCARD)
5218         {
5219         if (user_msg)
5220           smtp_user_msg(US"250", user_msg);
5221         else
5222           smtp_printf("250 Accepted\r\n", FALSE);
5223         rcpt_fail_count++;
5224         discarded = TRUE;
5225         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5226           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5227           sender_address_unrewritten? sender_address_unrewritten : sender_address,
5228           smtp_cmd_argument, f.recipients_discarded? "MAIL" : "RCPT",
5229           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5230         }
5231
5232       /* Either the ACL failed the address, or it was deferred. */
5233
5234       else
5235         {
5236         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5237         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5238         }
5239       break;
5240
5241
5242     /* The DATA command is legal only if it follows successful MAIL FROM
5243     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5244     not counted as a protocol error if it follows RCPT (which must have been
5245     rejected if there are no recipients.) This function is complete when a
5246     valid DATA command is encountered.
5247
5248     Note concerning the code used: RFC 2821 says this:
5249
5250      -  If there was no MAIL, or no RCPT, command, or all such commands
5251         were rejected, the server MAY return a "command out of sequence"
5252         (503) or "no valid recipients" (554) reply in response to the
5253         DATA command.
5254
5255     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5256     because it is the same whether pipelining is in use or not.
5257
5258     If all the RCPT commands that precede DATA provoked the same error message
5259     (often indicating some kind of system error), it is helpful to include it
5260     with the DATA rejection (an idea suggested by Tony Finch). */
5261
5262     case BDAT_CMD:
5263       {
5264       int n;
5265
5266       HAD(SCH_BDAT);
5267       if (chunking_state != CHUNKING_OFFERED)
5268         {
5269         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5270           US"BDAT command used when CHUNKING not advertised");
5271         break;
5272         }
5273
5274       /* grab size, endmarker */
5275
5276       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5277         {
5278         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5279           US"missing size for BDAT command");
5280         break;
5281         }
5282       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5283         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5284       chunking_data_left = chunking_datasize;
5285       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5286                                     (int)chunking_state, chunking_data_left);
5287
5288       /* push the current receive_* function on the "stack", and
5289       replace them by bdat_getc(), which in turn will use the lwr_receive_*
5290       functions to do the dirty work. */
5291       lwr_receive_getc = receive_getc;
5292       lwr_receive_getbuf = receive_getbuf;
5293       lwr_receive_ungetc = receive_ungetc;
5294
5295       receive_getc = bdat_getc;
5296       receive_ungetc = bdat_ungetc;
5297
5298       f.dot_ends = FALSE;
5299
5300       goto DATA_BDAT;
5301       }
5302
5303     case DATA_CMD:
5304       HAD(SCH_DATA);
5305       f.dot_ends = TRUE;
5306
5307     DATA_BDAT:          /* Common code for DATA and BDAT */
5308 #ifdef EXPERIMENTAL_PIPE_CONNECT
5309       fl.pipe_connect_acceptable = FALSE;
5310 #endif
5311       if (!discarded && recipients_count <= 0)
5312         {
5313         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5314           {
5315           uschar *code = US"503";
5316           int len = Ustrlen(rcpt_smtp_response);
5317           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5318             "this error:");
5319           /* Responses from smtp_printf() will have \r\n on the end */
5320           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5321             rcpt_smtp_response[len-2] = 0;
5322           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5323           }
5324         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5325           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5326             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5327         else
5328           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5329             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5330             ? US"valid RCPT command must precede DATA"
5331             : US"valid RCPT command must precede BDAT");
5332
5333         if (chunking_state > CHUNKING_OFFERED)
5334           bdat_flush_data();
5335         break;
5336         }
5337
5338       if (toomany && recipients_max_reject)
5339         {
5340         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5341         sender_address_unrewritten = NULL;
5342         smtp_printf("554 Too many recipients\r\n", FALSE);
5343         break;
5344         }
5345
5346       if (chunking_state > CHUNKING_OFFERED)
5347         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5348       else
5349         {
5350         /* If there is an ACL, re-check the synchronization afterwards, since the
5351         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5352         to get the DATA command sent. */
5353
5354         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5355           rc = OK;
5356         else
5357           {
5358           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5359           f.enable_dollar_recipients = TRUE;
5360           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5361             &log_msg);
5362           f.enable_dollar_recipients = FALSE;
5363           if (rc == OK && !check_sync())
5364             goto SYNC_FAILURE;
5365
5366           if (rc != OK)
5367             {   /* Either the ACL failed the address, or it was deferred. */
5368             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5369             break;
5370             }
5371           }
5372
5373         if (user_msg)
5374           smtp_user_msg(US"354", user_msg);
5375         else
5376           smtp_printf(
5377             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5378         }
5379
5380 #ifdef TCP_QUICKACK
5381       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5382         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5383                 US &on, sizeof(on));
5384 #endif
5385       done = 3;
5386       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5387
5388       break;
5389
5390
5391     case VRFY_CMD:
5392       {
5393       uschar * address;
5394
5395       HAD(SCH_VRFY);
5396
5397       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5398             &start, &end, &recipient_domain, FALSE)))
5399         {
5400         smtp_printf("501 %s\r\n", FALSE, errmess);
5401         break;
5402         }
5403
5404       if (!recipient_domain)
5405         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5406                                     US"verify")))
5407           break;
5408
5409       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5410                     &user_msg, &log_msg)) != OK)
5411         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5412       else
5413         {
5414         uschar * s = NULL;
5415         address_item * addr = deliver_make_addr(address, FALSE);
5416
5417         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5418                -1, -1, NULL, NULL, NULL))
5419           {
5420           case OK:
5421             s = string_sprintf("250 <%s> is deliverable", address);
5422             break;
5423
5424           case DEFER:
5425             s = (addr->user_message != NULL)?
5426               string_sprintf("451 <%s> %s", address, addr->user_message) :
5427               string_sprintf("451 Cannot resolve <%s> at this time", address);
5428             break;
5429
5430           case FAIL:
5431             s = (addr->user_message != NULL)?
5432               string_sprintf("550 <%s> %s", address, addr->user_message) :
5433               string_sprintf("550 <%s> is not deliverable", address);
5434             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5435               smtp_cmd_argument, host_and_ident(TRUE));
5436             break;
5437           }
5438
5439         smtp_printf("%s\r\n", FALSE, s);
5440         }
5441       break;
5442       }
5443
5444
5445     case EXPN_CMD:
5446       HAD(SCH_EXPN);
5447       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5448       if (rc != OK)
5449         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5450       else
5451         {
5452         BOOL save_log_testing_mode = f.log_testing_mode;
5453         f.address_test_mode = f.log_testing_mode = TRUE;
5454         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5455           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5456           NULL, NULL, NULL);
5457         f.address_test_mode = FALSE;
5458         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5459         }
5460       break;
5461
5462
5463     #ifdef SUPPORT_TLS
5464
5465     case STARTTLS_CMD:
5466       HAD(SCH_STARTTLS);
5467       if (!fl.tls_advertised)
5468         {
5469         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5470           US"STARTTLS command used when not advertised");
5471         break;
5472         }
5473
5474       /* Apply an ACL check if one is defined */
5475
5476       if (  acl_smtp_starttls
5477          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5478                     &user_msg, &log_msg)) != OK
5479          )
5480         {
5481         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5482         break;
5483         }
5484
5485       /* RFC 2487 is not clear on when this command may be sent, though it
5486       does state that all information previously obtained from the client
5487       must be discarded if a TLS session is started. It seems reasonable to
5488       do an implied RSET when STARTTLS is received. */
5489
5490       incomplete_transaction_log(US"STARTTLS");
5491       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5492       smtp_reset(reset_point);
5493       toomany = FALSE;
5494       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5495
5496       /* There's an attack where more data is read in past the STARTTLS command
5497       before TLS is negotiated, then assumed to be part of the secure session
5498       when used afterwards; we use segregated input buffers, so are not
5499       vulnerable, but we want to note when it happens and, for sheer paranoia,
5500       ensure that the buffer is "wiped".
5501       Pipelining sync checks will normally have protected us too, unless disabled
5502       by configuration. */
5503
5504       if (receive_smtp_buffered())
5505         {
5506         DEBUG(D_any)
5507           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5508         if (tls_in.active.sock < 0)
5509           smtp_inend = smtp_inptr = smtp_inbuffer;
5510         /* and if TLS is already active, tls_server_start() should fail */
5511         }
5512
5513       /* There is nothing we value in the input buffer and if TLS is successfully
5514       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5515       fresh content into it.  The buffer contains arbitrary content from an
5516       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5517       It seems safest to just wipe away the content rather than leave it as a
5518       target to jump to. */
5519
5520       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5521
5522       /* Attempt to start up a TLS session, and if successful, discard all
5523       knowledge that was obtained previously. At least, that's what the RFC says,
5524       and that's what happens by default. However, in order to work round YAEB,
5525       there is an option to remember the esmtp state. Sigh.
5526
5527       We must allow for an extra EHLO command and an extra AUTH command after
5528       STARTTLS that don't add to the nonmail command count. */
5529
5530       s = NULL;
5531       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5532         {
5533         if (!tls_remember_esmtp)
5534           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5535         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5536         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5537         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5538         if (sender_helo_name)
5539           {
5540           store_free(sender_helo_name);
5541           sender_helo_name = NULL;
5542           host_build_sender_fullhost();  /* Rebuild */
5543           set_process_info("handling incoming TLS connection from %s",
5544             host_and_ident(FALSE));
5545           }
5546         received_protocol =
5547           (sender_host_address ? protocols : protocols_local)
5548             [ (fl.esmtp
5549               ? pextend + (sender_host_authenticated ? pauthed : 0)
5550               : pnormal)
5551             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5552             ];
5553
5554         sender_host_auth_pubname = sender_host_authenticated = NULL;
5555         authenticated_id = NULL;
5556         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5557         DEBUG(D_tls) debug_printf("TLS active\n");
5558         break;     /* Successful STARTTLS */
5559         }
5560       else
5561         (void) smtp_log_tls_fail(s);
5562
5563       /* Some local configuration problem was discovered before actually trying
5564       to do a TLS handshake; give a temporary error. */
5565
5566       if (rc == DEFER)
5567         {
5568         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5569         break;
5570         }
5571
5572       /* Hard failure. Reject everything except QUIT or closed connection. One
5573       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5574       set, but we must still reject all incoming commands.  Another is a handshake
5575       failure - and there may some encrypted data still in the pipe to us, which we
5576       see as garbage commands. */
5577
5578       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5579       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5580         {
5581         case EOF_CMD:
5582           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5583             smtp_get_connection_info());
5584           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5585           done = 2;
5586           break;
5587
5588         /* It is perhaps arguable as to which exit ACL should be called here,
5589         but as it is probably a situation that almost never arises, it
5590         probably doesn't matter. We choose to call the real QUIT ACL, which in
5591         some sense is perhaps "right". */
5592
5593         case QUIT_CMD:
5594           user_msg = NULL;
5595           if (  acl_smtp_quit
5596              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5597                                 &log_msg)) == ERROR))
5598               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5599                 log_msg);
5600           if (user_msg)
5601             smtp_respond(US"221", 3, TRUE, user_msg);
5602           else
5603             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5604           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5605             smtp_get_connection_info());
5606           done = 2;
5607           break;
5608
5609         default:
5610           smtp_printf("554 Security failure\r\n", FALSE);
5611           break;
5612         }
5613       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5614       break;
5615     #endif
5616
5617
5618     /* The ACL for QUIT is provided for gathering statistical information or
5619     similar; it does not affect the response code, but it can supply a custom
5620     message. */
5621
5622     case QUIT_CMD:
5623       smtp_quit_handler(&user_msg, &log_msg);
5624       done = 2;
5625       break;
5626
5627
5628     case RSET_CMD:
5629       smtp_rset_handler();
5630       cancel_cutthrough_connection(TRUE, US"RSET received");
5631       smtp_reset(reset_point);
5632       toomany = FALSE;
5633       break;
5634
5635
5636     case NOOP_CMD:
5637       HAD(SCH_NOOP);
5638       smtp_printf("250 OK\r\n", FALSE);
5639       break;
5640
5641
5642     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5643     used, a check will be done for permitted hosts. Show STARTTLS only if not
5644     already in a TLS session and if it would be advertised in the EHLO
5645     response. */
5646
5647     case HELP_CMD:
5648       HAD(SCH_HELP);
5649       smtp_printf("214-Commands supported:\r\n", TRUE);
5650         {
5651         uschar buffer[256];
5652         buffer[0] = 0;
5653         Ustrcat(buffer, " AUTH");
5654         #ifdef SUPPORT_TLS
5655         if (tls_in.active.sock < 0 &&
5656             verify_check_host(&tls_advertise_hosts) != FAIL)
5657           Ustrcat(buffer, " STARTTLS");
5658         #endif
5659         Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5660         Ustrcat(buffer, " NOOP QUIT RSET HELP");
5661         if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5662         if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5663         if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5664         smtp_printf("214%s\r\n", FALSE, buffer);
5665         }
5666       break;
5667
5668
5669     case EOF_CMD:
5670       incomplete_transaction_log(US"connection lost");
5671       smtp_notquit_exit(US"connection-lost", US"421",
5672         US"%s lost input connection", smtp_active_hostname);
5673
5674       /* Don't log by default unless in the middle of a message, as some mailers
5675       just drop the call rather than sending QUIT, and it clutters up the logs.
5676       */
5677
5678       if (sender_address || recipients_count > 0)
5679         log_write(L_lost_incoming_connection, LOG_MAIN,
5680           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5681           f.sender_host_unknown ? "EOF" : "disconnection",
5682           f.tcp_in_fastopen_logged
5683           ? US""
5684           : f.tcp_in_fastopen
5685           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5686           : US"",
5687           host_and_ident(FALSE), smtp_read_error,
5688           string_timesince(&smtp_connection_start)
5689           );
5690
5691       else
5692         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5693           smtp_get_connection_info(),
5694           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5695           smtp_read_error,
5696           string_timesince(&smtp_connection_start)
5697           );
5698
5699       done = 1;
5700       break;
5701
5702
5703     case ETRN_CMD:
5704       HAD(SCH_ETRN);
5705       if (sender_address)
5706         {
5707         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5708           US"ETRN is not permitted inside a transaction");
5709         break;
5710         }
5711
5712       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5713         host_and_ident(FALSE));
5714
5715       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5716                   &user_msg, &log_msg)) != OK)
5717         {
5718         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5719         break;
5720         }
5721
5722       /* Compute the serialization key for this command. */
5723
5724       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5725
5726       /* If a command has been specified for running as a result of ETRN, we
5727       permit any argument to ETRN. If not, only the # standard form is permitted,
5728       since that is strictly the only kind of ETRN that can be implemented
5729       according to the RFC. */
5730
5731       if (smtp_etrn_command)
5732         {
5733         uschar *error;
5734         BOOL rc;
5735         etrn_command = smtp_etrn_command;
5736         deliver_domain = smtp_cmd_data;
5737         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5738           US"ETRN processing", &error);
5739         deliver_domain = NULL;
5740         if (!rc)
5741           {
5742           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5743             error);
5744           smtp_printf("458 Internal failure\r\n", FALSE);
5745           break;
5746           }
5747         }
5748
5749       /* Else set up to call Exim with the -R option. */
5750
5751       else
5752         {
5753         if (*smtp_cmd_data++ != '#')
5754           {
5755           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5756             US"argument must begin with #");
5757           break;
5758           }
5759         etrn_command = US"exim -R";
5760         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5761           *queue_name ? 4 : 2,
5762           US"-R", smtp_cmd_data,
5763           US"-MCG", queue_name);
5764         }
5765
5766       /* If we are host-testing, don't actually do anything. */
5767
5768       if (host_checking)
5769         {
5770         HDEBUG(D_any)
5771           {
5772           debug_printf("ETRN command is: %s\n", etrn_command);
5773           debug_printf("ETRN command execution skipped\n");
5774           }
5775         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5776           else smtp_user_msg(US"250", user_msg);
5777         break;
5778         }
5779
5780
5781       /* If ETRN queue runs are to be serialized, check the database to
5782       ensure one isn't already running. */
5783
5784       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5785         {
5786         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5787         break;
5788         }
5789
5790       /* Fork a child process and run the command. We don't want to have to
5791       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5792       forking. It should be set that way anyway for external incoming SMTP,
5793       but we save and restore to be tidy. If serialization is required, we
5794       actually run the command in yet another process, so we can wait for it
5795       to complete and then remove the serialization lock. */
5796
5797       oldsignal = signal(SIGCHLD, SIG_IGN);
5798
5799       if ((pid = fork()) == 0)
5800         {
5801         smtp_input = FALSE;       /* This process is not associated with the */
5802         (void)fclose(smtp_in);    /* SMTP call any more. */
5803         (void)fclose(smtp_out);
5804
5805         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5806
5807         /* If not serializing, do the exec right away. Otherwise, fork down
5808         into another process. */
5809
5810         if (!smtp_etrn_serialize || (pid = fork()) == 0)
5811           {
5812           DEBUG(D_exec) debug_print_argv(argv);
5813           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5814           execv(CS argv[0], (char *const *)argv);
5815           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5816             etrn_command, strerror(errno));
5817           _exit(EXIT_FAILURE);         /* paranoia */
5818           }
5819
5820         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5821         is, we are in the first subprocess, after forking again. All we can do
5822         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5823         complete, before removing the serialization. */
5824
5825         if (pid < 0)
5826           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5827             "failed: %s", strerror(errno));
5828         else
5829           {
5830           int status;
5831           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5832             (int)pid);
5833           (void)wait(&status);
5834           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5835             (int)pid);
5836           }
5837
5838         enq_end(etrn_serialize_key);
5839         _exit(EXIT_SUCCESS);
5840         }
5841
5842       /* Back in the top level SMTP process. Check that we started a subprocess
5843       and restore the signal state. */
5844
5845       if (pid < 0)
5846         {
5847         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5848           strerror(errno));
5849         smtp_printf("458 Unable to fork process\r\n", FALSE);
5850         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5851         }
5852       else
5853         {
5854         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5855           else smtp_user_msg(US"250", user_msg);
5856         }
5857
5858       signal(SIGCHLD, oldsignal);
5859       break;
5860
5861
5862     case BADARG_CMD:
5863       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5864         US"unexpected argument data");
5865       break;
5866
5867
5868     /* This currently happens only for NULLs, but could be extended. */
5869
5870     case BADCHAR_CMD:
5871       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5872         US"NUL character(s) present (shown as '?')");
5873       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5874                   FALSE);
5875       break;
5876
5877
5878     case BADSYN_CMD:
5879     SYNC_FAILURE:
5880       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5881         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5882       c = smtp_inend - smtp_inptr;
5883       if (c > 150) c = 150;     /* limit logged amount */
5884       smtp_inptr[c] = 0;
5885       incomplete_transaction_log(US"sync failure");
5886       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5887         "(next input sent too soon: pipelining was%s advertised): "
5888         "rejected \"%s\" %s next input=\"%s\"",
5889         f.smtp_in_pipelining_advertised ? "" : " not",
5890         smtp_cmd_buffer, host_and_ident(TRUE),
5891         string_printing(smtp_inptr));
5892       smtp_notquit_exit(US"synchronization-error", US"554",
5893         US"SMTP synchronization error");
5894       done = 1;   /* Pretend eof - drops connection */
5895       break;
5896
5897
5898     case TOO_MANY_NONMAIL_CMD:
5899       s = smtp_cmd_buffer;
5900       while (*s != 0 && !isspace(*s)) s++;
5901       incomplete_transaction_log(US"too many non-mail commands");
5902       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5903         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5904         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5905       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5906       done = 1;   /* Pretend eof - drops connection */
5907       break;
5908
5909 #ifdef SUPPORT_PROXY
5910     case PROXY_FAIL_IGNORE_CMD:
5911       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5912       break;
5913 #endif
5914
5915     default:
5916       if (unknown_command_count++ >= smtp_max_unknown_commands)
5917         {
5918         log_write(L_smtp_syntax_error, LOG_MAIN,
5919           "SMTP syntax error in \"%s\" %s %s",
5920           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5921           US"unrecognized command");
5922         incomplete_transaction_log(US"unrecognized command");
5923         smtp_notquit_exit(US"bad-commands", US"500",
5924           US"Too many unrecognized commands");
5925         done = 2;
5926         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5927           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5928           string_printing(smtp_cmd_buffer));
5929         }
5930       else
5931         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5932           US"unrecognized command");
5933       break;
5934     }
5935
5936   /* This label is used by goto's inside loops that want to break out to
5937   the end of the command-processing loop. */
5938
5939   COMMAND_LOOP:
5940   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5941   last_was_rcpt = was_rcpt;             /* protocol error handling */
5942   continue;
5943   }
5944
5945 return done - 2;  /* Convert yield values */
5946 }
5947
5948
5949
5950 gstring *
5951 authres_smtpauth(gstring * g)
5952 {
5953 if (!sender_host_authenticated)
5954   return g;
5955
5956 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5957
5958 if (Ustrcmp(sender_host_auth_pubname, "tls") != 0)
5959   g = string_append(g, 2, US") smtp.auth=", authenticated_id);
5960 else if (authenticated_id)
5961   g = string_append(g, 2, US") x509.auth=", authenticated_id);
5962 else
5963   g = string_catn(g, US") reason=x509.auth", 17);
5964
5965 if (authenticated_sender)
5966   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
5967 return g;
5968 }
5969
5970
5971
5972 /* vi: aw ai sw=2
5973 */
5974 /* End of smtp_in.c */