Recast more internal string routines to use growable-strings
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static struct {
135   BOOL auth_advertised                  :1;
136 #ifdef SUPPORT_TLS
137   BOOL tls_advertised                   :1;
138 # ifdef EXPERIMENTAL_REQUIRETLS
139   BOOL requiretls_advertised            :1;
140 # endif
141 #endif
142   BOOL dsn_advertised                   :1;
143   BOOL esmtp                            :1;
144   BOOL helo_required                    :1;
145   BOOL helo_verify                      :1;
146   BOOL helo_seen                        :1;
147   BOOL helo_accept_junk                 :1;
148 #ifdef EXPERIMENTAL_PIPE_CONNECT
149   BOOL pipe_connect_acceptable          :1;
150 #endif
151   BOOL rcpt_smtp_response_same          :1;
152   BOOL rcpt_in_progress                 :1;
153   BOOL smtp_exit_function_called        :1;
154 #ifdef SUPPORT_I18N
155   BOOL smtputf8_advertised              :1;
156 #endif
157 } fl = {
158   .helo_required = FALSE,
159   .helo_verify = FALSE,
160   .smtp_exit_function_called = FALSE,
161 };
162
163 static auth_instance *authenticated_by;
164 static int  count_nonmail;
165 static int  nonmail_command_count;
166 static int  synprot_error_count;
167 static int  unknown_command_count;
168 static int  sync_cmd_limit;
169 static int  smtp_write_error = 0;
170
171 static uschar *rcpt_smtp_response;
172 static uschar *smtp_data_buffer;
173 static uschar *smtp_cmd_data;
174
175 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
176 final fields of all except AUTH are forced TRUE at the start of a new message
177 setup, to allow one of each between messages that is not counted as a nonmail
178 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
179 allow a new EHLO after starting up TLS.
180
181 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
182 counted. However, the flag is changed when AUTH is received, so that multiple
183 failing AUTHs will eventually hit the limit. After a successful AUTH, another
184 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
185 forced TRUE, to allow for the re-authentication that can happen at that point.
186
187 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
188 count of non-mail commands and possibly provoke an error.
189
190 tls_auth is a pseudo-command, never expected in input.  It is activated
191 on TLS startup and looks for a tls authenticator. */
192
193 static smtp_cmd_list cmd_list[] = {
194   /* name         len                     cmd     has_arg is_mail_cmd */
195
196   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
197   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
198   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
199   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
200 #ifdef SUPPORT_TLS
201   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
202   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
203 #endif
204
205 /* If you change anything above here, also fix the definitions below. */
206
207   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
208   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
209   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
210   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
211   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
212   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
213   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
214   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
215   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
216   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
217 };
218
219 static smtp_cmd_list *cmd_list_end =
220   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
221
222 #define CMD_LIST_RSET      0
223 #define CMD_LIST_HELO      1
224 #define CMD_LIST_EHLO      2
225 #define CMD_LIST_AUTH      3
226 #define CMD_LIST_STARTTLS  4
227 #define CMD_LIST_TLS_AUTH  5
228
229 /* This list of names is used for performing the smtp_no_mail logging action.
230 It must be kept in step with the SCH_xxx enumerations. */
231
232 static uschar *smtp_names[] =
233   {
234   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
235   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
236   US"STARTTLS", US"VRFY" };
237
238 static uschar *protocols_local[] = {
239   US"local-smtp",        /* HELO */
240   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
241   US"local-esmtp",       /* EHLO */
242   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
243   US"local-esmtpa",      /* EHLO->AUTH */
244   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
245   };
246 static uschar *protocols[] = {
247   US"smtp",              /* HELO */
248   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
249   US"esmtp",             /* EHLO */
250   US"esmtps",            /* EHLO->STARTTLS->EHLO */
251   US"esmtpa",            /* EHLO->AUTH */
252   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
253   };
254
255 #define pnormal  0
256 #define pextend  2
257 #define pcrpted  1  /* added to pextend or pnormal */
258 #define pauthed  2  /* added to pextend */
259
260 /* Sanity check and validate optional args to MAIL FROM: envelope */
261 enum {
262   ENV_MAIL_OPT_NULL,
263   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
264 #ifndef DISABLE_PRDR
265   ENV_MAIL_OPT_PRDR,
266 #endif
267   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
268 #ifdef SUPPORT_I18N
269   ENV_MAIL_OPT_UTF8,
270 #endif
271 #ifdef EXPERIMENTAL_REQUIRETLS
272   ENV_MAIL_OPT_REQTLS,
273 #endif
274   };
275 typedef struct {
276   uschar *   name;  /* option requested during MAIL cmd */
277   int       value;  /* enum type */
278   BOOL need_value;  /* TRUE requires value (name=value pair format)
279                        FALSE is a singleton */
280   } env_mail_type_t;
281 static env_mail_type_t env_mail_type_list[] = {
282     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
283     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
284     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
285 #ifndef DISABLE_PRDR
286     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
287 #endif
288     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
289     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
290 #ifdef SUPPORT_I18N
291     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
292 #endif
293 #ifdef EXPERIMENTAL_REQUIRETLS
294     /* https://tools.ietf.org/html/draft-ietf-uta-smtp-require-tls-03 */
295     { US"REQUIRETLS",ENV_MAIL_OPT_REQTLS,  FALSE },
296 #endif
297     /* keep this the last entry */
298     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
299   };
300
301 /* When reading SMTP from a remote host, we have to use our own versions of the
302 C input-reading functions, in order to be able to flush the SMTP output only
303 when about to read more data from the socket. This is the only way to get
304 optimal performance when the client is using pipelining. Flushing for every
305 command causes a separate packet and reply packet each time; saving all the
306 responses up (when pipelining) combines them into one packet and one response.
307
308 For simplicity, these functions are used for *all* SMTP input, not only when
309 receiving over a socket. However, after setting up a secure socket (SSL), input
310 is read via the OpenSSL library, and another set of functions is used instead
311 (see tls.c).
312
313 These functions are set in the receive_getc etc. variables and called with the
314 same interface as the C functions. However, since there can only ever be
315 one incoming SMTP call, we just use a single buffer and flags. There is no need
316 to implement a complicated private FILE-like structure.*/
317
318 static uschar *smtp_inbuffer;
319 static uschar *smtp_inptr;
320 static uschar *smtp_inend;
321 static int     smtp_had_eof;
322 static int     smtp_had_error;
323
324
325 /* forward declarations */
326 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
327 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
328 static void smtp_quit_handler(uschar **, uschar **);
329 static void smtp_rset_handler(void);
330
331 /*************************************************
332 *          Recheck synchronization               *
333 *************************************************/
334
335 /* Synchronization checks can never be perfect because a packet may be on its
336 way but not arrived when the check is done.  Normally, the checks happen when
337 commands are read: Exim ensures that there is no more input in the input buffer.
338 In normal cases, the response to the command will be fast, and there is no
339 further check.
340
341 However, for some commands an ACL is run, and that can include delays. In those
342 cases, it is useful to do another check on the input just before sending the
343 response. This also applies at the start of a connection. This function does
344 that check by means of the select() function, as long as the facility is not
345 disabled or inappropriate. A failure of select() is ignored.
346
347 When there is unwanted input, we read it so that it appears in the log of the
348 error.
349
350 Arguments: none
351 Returns:   TRUE if all is well; FALSE if there is input pending
352 */
353
354 static BOOL
355 wouldblock_reading(void)
356 {
357 int fd, rc;
358 fd_set fds;
359 struct timeval tzero;
360
361 #ifdef SUPPORT_TLS
362 if (tls_in.active.sock >= 0)
363  return !tls_could_read();
364 #endif
365
366 if (smtp_inptr < smtp_inend)
367   return FALSE;
368
369 fd = fileno(smtp_in);
370 FD_ZERO(&fds);
371 FD_SET(fd, &fds);
372 tzero.tv_sec = 0;
373 tzero.tv_usec = 0;
374 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
375
376 if (rc <= 0) return TRUE;     /* Not ready to read */
377 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
378 if (rc < 0) return TRUE;      /* End of file or error */
379
380 smtp_ungetc(rc);
381 return FALSE;
382 }
383
384 static BOOL
385 check_sync(void)
386 {
387 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
388   return TRUE;
389
390 return wouldblock_reading();
391 }
392
393
394 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
395 a reponse with the one following. */
396
397 static BOOL
398 pipeline_response(void)
399 {
400 if (  !smtp_enforce_sync || !sender_host_address
401    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
402   return FALSE;
403
404 if (wouldblock_reading()) return FALSE;
405 f.smtp_in_pipelining_used = TRUE;
406 return TRUE;
407 }
408
409
410 #ifdef EXPERIMENTAL_PIPE_CONNECT
411 static BOOL
412 pipeline_connect_sends(void)
413 {
414 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
415   return FALSE;
416
417 if (wouldblock_reading()) return FALSE;
418 f.smtp_in_early_pipe_used = TRUE;
419 return TRUE;
420 }
421 #endif
422
423 /*************************************************
424 *          Log incomplete transactions           *
425 *************************************************/
426
427 /* This function is called after a transaction has been aborted by RSET, QUIT,
428 connection drops or other errors. It logs the envelope information received
429 so far in order to preserve address verification attempts.
430
431 Argument:   string to indicate what aborted the transaction
432 Returns:    nothing
433 */
434
435 static void
436 incomplete_transaction_log(uschar *what)
437 {
438 if (sender_address == NULL ||                 /* No transaction in progress */
439     !LOGGING(smtp_incomplete_transaction))
440   return;
441
442 /* Build list of recipients for logging */
443
444 if (recipients_count > 0)
445   {
446   int i;
447   raw_recipients = store_get(recipients_count * sizeof(uschar *));
448   for (i = 0; i < recipients_count; i++)
449     raw_recipients[i] = recipients_list[i].address;
450   raw_recipients_count = recipients_count;
451   }
452
453 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
454   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
455 }
456
457
458
459
460 void
461 smtp_command_timeout_exit(void)
462 {
463 log_write(L_lost_incoming_connection,
464           LOG_MAIN, "SMTP command timeout on%s connection from %s",
465           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
468 smtp_notquit_exit(US"command-timeout", US"421",
469   US"%s: SMTP command timeout - closing connection",
470   smtp_active_hostname);
471 exim_exit(EXIT_FAILURE, US"receiving");
472 }
473
474 void
475 smtp_command_sigterm_exit(void)
476 {
477 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
478 if (smtp_batched_input)
479   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
480 smtp_notquit_exit(US"signal-exit", US"421",
481   US"%s: Service not available - closing connection", smtp_active_hostname);
482 exim_exit(EXIT_FAILURE, US"receiving");
483 }
484
485 void
486 smtp_data_timeout_exit(void)
487 {
488 log_write(L_lost_incoming_connection,
489   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
490   sender_fullhost ? sender_fullhost : US"local process", sender_address);
491 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
492 /* Does not return */
493 }
494
495 void
496 smtp_data_sigint_exit(void)
497 {
498 log_write(0, LOG_MAIN, "%s closed after %s",
499   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
500 receive_bomb_out(US"signal-exit",
501   US"Service not available - SIGTERM or SIGINT received");
502 /* Does not return */
503 }
504
505
506
507 /* Refill the buffer, and notify DKIM verification code.
508 Return false for error or EOF.
509 */
510
511 static BOOL
512 smtp_refill(unsigned lim)
513 {
514 int rc, save_errno;
515 if (!smtp_out) return FALSE;
516 fflush(smtp_out);
517 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
518
519 /* Limit amount read, so non-message data is not fed to DKIM.
520 Take care to not touch the safety NUL at the end of the buffer. */
521
522 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
523 save_errno = errno;
524 if (smtp_receive_timeout > 0) ALARM_CLR(0);
525 if (rc <= 0)
526   {
527   /* Must put the error text in fixed store, because this might be during
528   header reading, where it releases unused store above the header. */
529   if (rc < 0)
530     {
531     if (had_command_timeout)            /* set by signal handler */
532       smtp_command_timeout_exit();      /* does not return */
533     if (had_command_sigterm)
534       smtp_command_sigterm_exit();
535     if (had_data_timeout)
536       smtp_data_timeout_exit();
537     if (had_data_sigint)
538       smtp_data_sigint_exit();
539
540     smtp_had_error = save_errno;
541     smtp_read_error = string_copy_malloc(
542       string_sprintf(" (error: %s)", strerror(save_errno)));
543     }
544   else
545     smtp_had_eof = 1;
546   return FALSE;
547   }
548 #ifndef DISABLE_DKIM
549 dkim_exim_verify_feed(smtp_inbuffer, rc);
550 #endif
551 smtp_inend = smtp_inbuffer + rc;
552 smtp_inptr = smtp_inbuffer;
553 return TRUE;
554 }
555
556 /*************************************************
557 *          SMTP version of getc()                *
558 *************************************************/
559
560 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
561 it flushes the output, and refills the buffer, with a timeout. The signal
562 handler is set appropriately by the calling function. This function is not used
563 after a connection has negotiated itself into an TLS/SSL state.
564
565 Arguments:  lim         Maximum amount to read/buffer
566 Returns:    the next character or EOF
567 */
568
569 int
570 smtp_getc(unsigned lim)
571 {
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(lim))
574     return EOF;
575 return *smtp_inptr++;
576 }
577
578 uschar *
579 smtp_getbuf(unsigned * len)
580 {
581 unsigned size;
582 uschar * buf;
583
584 if (smtp_inptr >= smtp_inend)
585   if (!smtp_refill(*len))
586     { *len = 0; return NULL; }
587
588 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
589 buf = smtp_inptr;
590 smtp_inptr += size;
591 *len = size;
592 return buf;
593 }
594
595 void
596 smtp_get_cache(void)
597 {
598 #ifndef DISABLE_DKIM
599 int n = smtp_inend - smtp_inptr;
600 if (n > 0)
601   dkim_exim_verify_feed(smtp_inptr, n);
602 #endif
603 }
604
605
606 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
607 previous BDAT chunk and getting new ones when we run out.  Uses the
608 underlying smtp_getc or tls_getc both for that and for getting the
609 (buffered) data byte.  EOD signals (an expected) no further data.
610 ERR signals a protocol error, and EOF a closed input stream.
611
612 Called from read_bdat_smtp() in receive.c for the message body, but also
613 by the headers read loop in receive_msg(); manipulates chunking_state
614 to handle the BDAT command/response.
615 Placed here due to the correlation with the above smtp_getc(), which it wraps,
616 and also by the need to do smtp command/response handling.
617
618 Arguments:  lim         (ignored)
619 Returns:    the next character or ERR, EOD or EOF
620 */
621
622 int
623 bdat_getc(unsigned lim)
624 {
625 uschar * user_msg = NULL;
626 uschar * log_msg;
627
628 for(;;)
629   {
630 #ifndef DISABLE_DKIM
631   unsigned dkim_save;
632 #endif
633
634   if (chunking_data_left > 0)
635     return lwr_receive_getc(chunking_data_left--);
636
637   receive_getc = lwr_receive_getc;
638   receive_getbuf = lwr_receive_getbuf;
639   receive_ungetc = lwr_receive_ungetc;
640 #ifndef DISABLE_DKIM
641   dkim_save = dkim_collect_input;
642   dkim_collect_input = 0;
643 #endif
644
645   /* Unless PIPELINING was offered, there should be no next command
646   until after we ack that chunk */
647
648   if (!f.smtp_in_pipelining_advertised && !check_sync())
649     {
650     unsigned n = smtp_inend - smtp_inptr;
651     if (n > 32) n = 32;
652
653     incomplete_transaction_log(US"sync failure");
654     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
655       "(next input sent too soon: pipelining was not advertised): "
656       "rejected \"%s\" %s next input=\"%s\"%s",
657       smtp_cmd_buffer, host_and_ident(TRUE),
658       string_printing(string_copyn(smtp_inptr, n)),
659       smtp_inend - smtp_inptr > n ? "..." : "");
660     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
661       US"SMTP synchronization error");
662     goto repeat_until_rset;
663     }
664
665   /* If not the last, ack the received chunk.  The last response is delayed
666   until after the data ACL decides on it */
667
668   if (chunking_state == CHUNKING_LAST)
669     {
670 #ifndef DISABLE_DKIM
671     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
672 #endif
673     return EOD;
674     }
675
676   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
677   chunking_state = CHUNKING_OFFERED;
678   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
679
680   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
681   QUIT, RSET or NOOP but handling them seems obvious */
682
683 next_cmd:
684   switch(smtp_read_command(TRUE, 1))
685     {
686     default:
687       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
688         US"only BDAT permissible after non-LAST BDAT");
689
690   repeat_until_rset:
691       switch(smtp_read_command(TRUE, 1))
692         {
693         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
694         case EOF_CMD:   return EOF;
695         case RSET_CMD:  smtp_rset_handler(); return ERR;
696         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
697                                           US"only RSET accepted now") > 0)
698                           return EOF;
699                         goto repeat_until_rset;
700         }
701
702     case QUIT_CMD:
703       smtp_quit_handler(&user_msg, &log_msg);
704       /*FALLTHROUGH*/
705     case EOF_CMD:
706       return EOF;
707
708     case RSET_CMD:
709       smtp_rset_handler();
710       return ERR;
711
712     case NOOP_CMD:
713       HAD(SCH_NOOP);
714       smtp_printf("250 OK\r\n", FALSE);
715       goto next_cmd;
716
717     case BDAT_CMD:
718       {
719       int n;
720
721       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
722         {
723         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
724           US"missing size for BDAT command");
725         return ERR;
726         }
727       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
728         ? CHUNKING_LAST : CHUNKING_ACTIVE;
729       chunking_data_left = chunking_datasize;
730       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
731                                     (int)chunking_state, chunking_data_left);
732
733       if (chunking_datasize == 0)
734         if (chunking_state == CHUNKING_LAST)
735           return EOD;
736         else
737           {
738           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
739             US"zero size for BDAT command");
740           goto repeat_until_rset;
741           }
742
743       receive_getc = bdat_getc;
744       receive_getbuf = bdat_getbuf;     /* r~getbuf is never actually used */
745       receive_ungetc = bdat_ungetc;
746 #ifndef DISABLE_DKIM
747       dkim_collect_input = dkim_save;
748 #endif
749       break;    /* to top of main loop */
750       }
751     }
752   }
753 }
754
755 uschar *
756 bdat_getbuf(unsigned * len)
757 {
758 uschar * buf;
759
760 if (chunking_data_left <= 0)
761   { *len = 0; return NULL; }
762
763 if (*len > chunking_data_left) *len = chunking_data_left;
764 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
765 chunking_data_left -= *len;
766 return buf;
767 }
768
769 void
770 bdat_flush_data(void)
771 {
772 while (chunking_data_left)
773   {
774   unsigned n = chunking_data_left;
775   if (!bdat_getbuf(&n)) break;
776   }
777
778 receive_getc = lwr_receive_getc;
779 receive_getbuf = lwr_receive_getbuf;
780 receive_ungetc = lwr_receive_ungetc;
781
782 if (chunking_state != CHUNKING_LAST)
783   {
784   chunking_state = CHUNKING_OFFERED;
785   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
786   }
787 }
788
789
790
791
792 /*************************************************
793 *          SMTP version of ungetc()              *
794 *************************************************/
795
796 /* Puts a character back in the input buffer. Only ever
797 called once.
798
799 Arguments:
800   ch           the character
801
802 Returns:       the character
803 */
804
805 int
806 smtp_ungetc(int ch)
807 {
808 *--smtp_inptr = ch;
809 return ch;
810 }
811
812
813 int
814 bdat_ungetc(int ch)
815 {
816 chunking_data_left++;
817 return lwr_receive_ungetc(ch);
818 }
819
820
821
822 /*************************************************
823 *          SMTP version of feof()                *
824 *************************************************/
825
826 /* Tests for a previous EOF
827
828 Arguments:     none
829 Returns:       non-zero if the eof flag is set
830 */
831
832 int
833 smtp_feof(void)
834 {
835 return smtp_had_eof;
836 }
837
838
839
840
841 /*************************************************
842 *          SMTP version of ferror()              *
843 *************************************************/
844
845 /* Tests for a previous read error, and returns with errno
846 restored to what it was when the error was detected.
847
848 Arguments:     none
849 Returns:       non-zero if the error flag is set
850 */
851
852 int
853 smtp_ferror(void)
854 {
855 errno = smtp_had_error;
856 return smtp_had_error;
857 }
858
859
860
861 /*************************************************
862 *      Test for characters in the SMTP buffer    *
863 *************************************************/
864
865 /* Used at the end of a message
866
867 Arguments:     none
868 Returns:       TRUE/FALSE
869 */
870
871 BOOL
872 smtp_buffered(void)
873 {
874 return smtp_inptr < smtp_inend;
875 }
876
877
878
879 /*************************************************
880 *     Write formatted string to SMTP channel     *
881 *************************************************/
882
883 /* This is a separate function so that we don't have to repeat everything for
884 TLS support or debugging. It is global so that the daemon and the
885 authentication functions can use it. It does not return any error indication,
886 because major problems such as dropped connections won't show up till an output
887 flush for non-TLS connections. The smtp_fflush() function is available for
888 checking that: for convenience, TLS output errors are remembered here so that
889 they are also picked up later by smtp_fflush().
890
891 Arguments:
892   format      format string
893   more        further data expected
894   ...         optional arguments
895
896 Returns:      nothing
897 */
898
899 void
900 smtp_printf(const char *format, BOOL more, ...)
901 {
902 va_list ap;
903
904 va_start(ap, more);
905 smtp_vprintf(format, more, ap);
906 va_end(ap);
907 }
908
909 /* This is split off so that verify.c:respond_printf() can, in effect, call
910 smtp_printf(), bearing in mind that in C a vararg function can't directly
911 call another vararg function, only a function which accepts a va_list. */
912
913 void
914 smtp_vprintf(const char *format, BOOL more, va_list ap)
915 {
916 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
917 BOOL yield;
918
919 yield = !! string_vformat(&gs, FALSE, format, ap);
920 string_from_gstring(&gs);
921
922 DEBUG(D_receive)
923   {
924   void *reset_point = store_get(0);
925   uschar *msg_copy, *cr, *end;
926   msg_copy = string_copy(gs.s);
927   end = msg_copy + gs.ptr;
928   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
929     memmove(cr, cr + 1, (end--) - cr);
930   debug_printf("SMTP>> %s", msg_copy);
931   store_reset(reset_point);
932   }
933
934 if (!yield)
935   {
936   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
937   smtp_closedown(US"Unexpected error");
938   exim_exit(EXIT_FAILURE, NULL);
939   }
940
941 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
942 have had the same. Note: this code is also present in smtp_respond(). It would
943 be tidier to have it only in one place, but when it was added, it was easier to
944 do it that way, so as not to have to mess with the code for the RCPT command,
945 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
946
947 if (fl.rcpt_in_progress)
948   {
949   if (rcpt_smtp_response == NULL)
950     rcpt_smtp_response = string_copy(big_buffer);
951   else if (fl.rcpt_smtp_response_same &&
952            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
953     fl.rcpt_smtp_response_same = FALSE;
954   fl.rcpt_in_progress = FALSE;
955   }
956
957 /* Now write the string */
958
959 #ifdef SUPPORT_TLS
960 if (tls_in.active.sock >= 0)
961   {
962   if (tls_write(NULL, gs.s, gs.ptr, more) < 0)
963     smtp_write_error = -1;
964   }
965 else
966 #endif
967
968 if (fprintf(smtp_out, "%s", gs.s) < 0) smtp_write_error = -1;
969 }
970
971
972
973 /*************************************************
974 *        Flush SMTP out and check for error      *
975 *************************************************/
976
977 /* This function isn't currently used within Exim (it detects errors when it
978 tries to read the next SMTP input), but is available for use in local_scan().
979 For non-TLS connections, it flushes the output and checks for errors. For
980 TLS-connections, it checks for a previously-detected TLS write error.
981
982 Arguments:  none
983 Returns:    0 for no error; -1 after an error
984 */
985
986 int
987 smtp_fflush(void)
988 {
989 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
990 return smtp_write_error;
991 }
992
993
994
995 /*************************************************
996 *          SMTP command read timeout             *
997 *************************************************/
998
999 /* Signal handler for timing out incoming SMTP commands. This attempts to
1000 finish off tidily.
1001
1002 Argument: signal number (SIGALRM)
1003 Returns:  nothing
1004 */
1005
1006 static void
1007 command_timeout_handler(int sig)
1008 {
1009 had_command_timeout = sig;
1010 }
1011
1012
1013
1014 /*************************************************
1015 *               SIGTERM received                 *
1016 *************************************************/
1017
1018 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1019
1020 Argument: signal number (SIGTERM)
1021 Returns:  nothing
1022 */
1023
1024 static void
1025 command_sigterm_handler(int sig)
1026 {
1027 had_command_sigterm = sig;
1028 }
1029
1030
1031
1032
1033 #ifdef SUPPORT_PROXY
1034 /*************************************************
1035 *     Restore socket timeout to previous value   *
1036 *************************************************/
1037 /* If the previous value was successfully retrieved, restore
1038 it before returning control to the non-proxy routines
1039
1040 Arguments: fd     - File descriptor for input
1041            get_ok - Successfully retrieved previous values
1042            tvtmp  - Time struct with previous values
1043            vslen  - Length of time struct
1044 Returns:   none
1045 */
1046 static void
1047 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1048 {
1049 if (get_ok == 0)
1050   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1051 }
1052
1053 /*************************************************
1054 *       Check if host is required proxy host     *
1055 *************************************************/
1056 /* The function determines if inbound host will be a regular smtp host
1057 or if it is configured that it must use Proxy Protocol.  A local
1058 connection cannot.
1059
1060 Arguments: none
1061 Returns:   bool
1062 */
1063
1064 static BOOL
1065 check_proxy_protocol_host()
1066 {
1067 int rc;
1068
1069 if (  sender_host_address
1070    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1071                            sender_host_address, NULL)) == OK)
1072   {
1073   DEBUG(D_receive)
1074     debug_printf("Detected proxy protocol configured host\n");
1075   proxy_session = TRUE;
1076   }
1077 return proxy_session;
1078 }
1079
1080
1081 /*************************************************
1082 *    Read data until newline or end of buffer    *
1083 *************************************************/
1084 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1085 read an entire buffer and assume there will be nothing past a proxy protocol
1086 header.  Our approach normally is to use stdio, but again that relies upon
1087 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1088 reading _nothing_ before client TLS handshake.  So we don't want to use the
1089 usual buffering reads which may read enough to block TLS starting.
1090
1091 So unfortunately we're down to "read one byte at a time, with a syscall each,
1092 and expect a little overhead", for all proxy-opened connections which are v1,
1093 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1094 underlying fd, we can't assume that we can feed them any already-read content.
1095
1096 We need to know where to read to, the max capacity, and we'll read until we
1097 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1098
1099 Return the amount read.
1100 */
1101
1102 static int
1103 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1104 {
1105 uschar *to = base + already;
1106 uschar *cr;
1107 int have = 0;
1108 int ret;
1109 int last = 0;
1110
1111 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1112 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1113
1114 cr = memchr(base, '\r', already);
1115 if (cr != NULL)
1116   {
1117   if ((cr - base) < already - 1)
1118     {
1119     /* \r and presumed \n already within what we have; probably not
1120     actually proxy protocol, but abort cleanly. */
1121     return 0;
1122     }
1123   /* \r is last character read, just need one more. */
1124   last = 1;
1125   }
1126
1127 while (capacity > 0)
1128   {
1129   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1130   if (ret == -1)
1131     return -1;
1132   have++;
1133   if (last)
1134     return have;
1135   if (*to == '\r')
1136     last = 1;
1137   capacity--;
1138   to++;
1139   }
1140
1141 /* reached end without having room for a final newline, abort */
1142 errno = EOVERFLOW;
1143 return -1;
1144 }
1145
1146 /*************************************************
1147 *         Setup host for proxy protocol          *
1148 *************************************************/
1149 /* The function configures the connection based on a header from the
1150 inbound host to use Proxy Protocol. The specification is very exact
1151 so exit with an error if do not find the exact required pieces. This
1152 includes an incorrect number of spaces separating args.
1153
1154 Arguments: none
1155 Returns:   Boolean success
1156 */
1157
1158 static void
1159 setup_proxy_protocol_host()
1160 {
1161 union {
1162   struct {
1163     uschar line[108];
1164   } v1;
1165   struct {
1166     uschar sig[12];
1167     uint8_t ver_cmd;
1168     uint8_t fam;
1169     uint16_t len;
1170     union {
1171       struct { /* TCP/UDP over IPv4, len = 12 */
1172         uint32_t src_addr;
1173         uint32_t dst_addr;
1174         uint16_t src_port;
1175         uint16_t dst_port;
1176       } ip4;
1177       struct { /* TCP/UDP over IPv6, len = 36 */
1178         uint8_t  src_addr[16];
1179         uint8_t  dst_addr[16];
1180         uint16_t src_port;
1181         uint16_t dst_port;
1182       } ip6;
1183       struct { /* AF_UNIX sockets, len = 216 */
1184         uschar   src_addr[108];
1185         uschar   dst_addr[108];
1186       } unx;
1187     } addr;
1188   } v2;
1189 } hdr;
1190
1191 /* Temp variables used in PPv2 address:port parsing */
1192 uint16_t tmpport;
1193 char tmpip[INET_ADDRSTRLEN];
1194 struct sockaddr_in tmpaddr;
1195 char tmpip6[INET6_ADDRSTRLEN];
1196 struct sockaddr_in6 tmpaddr6;
1197
1198 /* We can't read "all data until end" because while SMTP is
1199 server-speaks-first, the TLS handshake is client-speaks-first, so for
1200 TLS-on-connect ports the proxy protocol header will usually be immediately
1201 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1202 reinject data for reading by those.  So instead we first read "enough to be
1203 safely read within the header, and figure out how much more to read".
1204 For v1 we will later read to the end-of-line, for v2 we will read based upon
1205 the stated length.
1206
1207 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1208 data is needed total.  For v1, where the line looks like:
1209 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1210
1211 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1212 We seem to support that.  So, if we read 14 octets then we can tell if we're
1213 v2 or v1.  If we're v1, we can continue reading as normal.
1214
1215 If we're v2, we can't slurp up the entire header.  We need the length in the
1216 15th & 16th octets, then to read everything after that.
1217
1218 So to safely handle v1 and v2, with client-sent-first supported correctly,
1219 we have to do a minimum of 3 read calls, not 1.  Eww.
1220 */
1221
1222 #define PROXY_INITIAL_READ 14
1223 #define PROXY_V2_HEADER_SIZE 16
1224 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1225 # error Code bug in sizes of data to read for proxy usage
1226 #endif
1227
1228 int get_ok = 0;
1229 int size, ret;
1230 int fd = fileno(smtp_in);
1231 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1232 uschar * iptype;  /* To display debug info */
1233 struct timeval tv;
1234 struct timeval tvtmp;
1235 socklen_t vslen = sizeof(struct timeval);
1236 BOOL yield = FALSE;
1237
1238 /* Save current socket timeout values */
1239 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1240
1241 /* Proxy Protocol host must send header within a short time
1242 (default 3 seconds) or it's considered invalid */
1243 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1244 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1245 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1246   goto bad;
1247
1248 do
1249   {
1250   /* The inbound host was declared to be a Proxy Protocol host, so
1251   don't do a PEEK into the data, actually slurp up enough to be
1252   "safe". Can't take it all because TLS-on-connect clients follow
1253   immediately with TLS handshake. */
1254   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1255   }
1256   while (ret == -1 && errno == EINTR);
1257
1258 if (ret == -1)
1259   goto proxyfail;
1260
1261 /* For v2, handle reading the length, and then the rest. */
1262 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1263   {
1264   int retmore;
1265   uint8_t ver;
1266
1267   /* First get the length fields. */
1268   do
1269     {
1270     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1271     } while (retmore == -1 && errno == EINTR);
1272   if (retmore == -1)
1273     goto proxyfail;
1274   ret += retmore;
1275
1276   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1277
1278   /* May 2014: haproxy combined the version and command into one byte to
1279   allow two full bytes for the length field in order to proxy SSL
1280   connections.  SSL Proxy is not supported in this version of Exim, but
1281   must still separate values here. */
1282
1283   if (ver != 0x02)
1284     {
1285     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1286     goto proxyfail;
1287     }
1288
1289   /* The v2 header will always be 16 bytes per the spec. */
1290   size = 16 + ntohs(hdr.v2.len);
1291   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1292       size, (int)sizeof(hdr));
1293
1294   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1295   amount that we need.  Double-check that the size is not unreasonable, then
1296   get the rest. */
1297   if (size > sizeof(hdr))
1298     {
1299     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1300     goto proxyfail;
1301     }
1302
1303   do
1304     {
1305     do
1306       {
1307       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1308       } while (retmore == -1 && errno == EINTR);
1309     if (retmore == -1)
1310       goto proxyfail;
1311     ret += retmore;
1312     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1313     } while (ret < size);
1314
1315   } /* end scope for getting rest of data for v2 */
1316
1317 /* At this point: if PROXYv2, we've read the exact size required for all data;
1318 if PROXYv1 then we've read "less than required for any valid line" and should
1319 read the rest". */
1320
1321 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1322   {
1323   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1324
1325   switch (cmd)
1326     {
1327     case 0x01: /* PROXY command */
1328       switch (hdr.v2.fam)
1329         {
1330         case 0x11:  /* TCPv4 address type */
1331           iptype = US"IPv4";
1332           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1333           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1334           if (!string_is_ip_address(US tmpip, NULL))
1335             {
1336             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1337             goto proxyfail;
1338             }
1339           proxy_local_address = sender_host_address;
1340           sender_host_address = string_copy(US tmpip);
1341           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1342           proxy_local_port    = sender_host_port;
1343           sender_host_port    = tmpport;
1344           /* Save dest ip/port */
1345           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1346           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1347           if (!string_is_ip_address(US tmpip, NULL))
1348             {
1349             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1350             goto proxyfail;
1351             }
1352           proxy_external_address = string_copy(US tmpip);
1353           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1354           proxy_external_port  = tmpport;
1355           goto done;
1356         case 0x21:  /* TCPv6 address type */
1357           iptype = US"IPv6";
1358           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1359           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1360           if (!string_is_ip_address(US tmpip6, NULL))
1361             {
1362             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1363             goto proxyfail;
1364             }
1365           proxy_local_address = sender_host_address;
1366           sender_host_address = string_copy(US tmpip6);
1367           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1368           proxy_local_port    = sender_host_port;
1369           sender_host_port    = tmpport;
1370           /* Save dest ip/port */
1371           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1372           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1373           if (!string_is_ip_address(US tmpip6, NULL))
1374             {
1375             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1376             goto proxyfail;
1377             }
1378           proxy_external_address = string_copy(US tmpip6);
1379           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1380           proxy_external_port  = tmpport;
1381           goto done;
1382         default:
1383           DEBUG(D_receive)
1384             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1385                          hdr.v2.fam);
1386           goto proxyfail;
1387         }
1388       /* Unsupported protocol, keep local connection address */
1389       break;
1390     case 0x00: /* LOCAL command */
1391       /* Keep local connection address for LOCAL */
1392       iptype = US"local";
1393       break;
1394     default:
1395       DEBUG(D_receive)
1396         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1397       goto proxyfail;
1398     }
1399   }
1400 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1401   {
1402   uschar *p;
1403   uschar *end;
1404   uschar *sp;     /* Utility variables follow */
1405   int     tmp_port;
1406   int     r2;
1407   char   *endc;
1408
1409   /* get the rest of the line */
1410   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1411   if (r2 == -1)
1412     goto proxyfail;
1413   ret += r2;
1414
1415   p = string_copy(hdr.v1.line);
1416   end = memchr(p, '\r', ret - 1);
1417
1418   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1419     {
1420     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1421     goto proxyfail;
1422     }
1423   *end = '\0'; /* Terminate the string */
1424   size = end + 2 - p; /* Skip header + CRLF */
1425   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1426   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1427   /* Step through the string looking for the required fields. Ensure
1428   strict adherence to required formatting, exit for any error. */
1429   p += 5;
1430   if (!isspace(*(p++)))
1431     {
1432     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1433     goto proxyfail;
1434     }
1435   if (!Ustrncmp(p, CCS"TCP4", 4))
1436     iptype = US"IPv4";
1437   else if (!Ustrncmp(p,CCS"TCP6", 4))
1438     iptype = US"IPv6";
1439   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1440     {
1441     iptype = US"Unknown";
1442     goto done;
1443     }
1444   else
1445     {
1446     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1447     goto proxyfail;
1448     }
1449
1450   p += Ustrlen(iptype);
1451   if (!isspace(*(p++)))
1452     {
1453     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1454     goto proxyfail;
1455     }
1456   /* Find the end of the arg */
1457   if ((sp = Ustrchr(p, ' ')) == NULL)
1458     {
1459     DEBUG(D_receive)
1460       debug_printf("Did not find proxied src %s\n", iptype);
1461     goto proxyfail;
1462     }
1463   *sp = '\0';
1464   if(!string_is_ip_address(p, NULL))
1465     {
1466     DEBUG(D_receive)
1467       debug_printf("Proxied src arg is not an %s address\n", iptype);
1468     goto proxyfail;
1469     }
1470   proxy_local_address = sender_host_address;
1471   sender_host_address = p;
1472   p = sp + 1;
1473   if ((sp = Ustrchr(p, ' ')) == NULL)
1474     {
1475     DEBUG(D_receive)
1476       debug_printf("Did not find proxy dest %s\n", iptype);
1477     goto proxyfail;
1478     }
1479   *sp = '\0';
1480   if(!string_is_ip_address(p, NULL))
1481     {
1482     DEBUG(D_receive)
1483       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1484     goto proxyfail;
1485     }
1486   proxy_external_address = p;
1487   p = sp + 1;
1488   if ((sp = Ustrchr(p, ' ')) == NULL)
1489     {
1490     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1491     goto proxyfail;
1492     }
1493   *sp = '\0';
1494   tmp_port = strtol(CCS p, &endc, 10);
1495   if (*endc || tmp_port == 0)
1496     {
1497     DEBUG(D_receive)
1498       debug_printf("Proxied src port '%s' not an integer\n", p);
1499     goto proxyfail;
1500     }
1501   proxy_local_port = sender_host_port;
1502   sender_host_port = tmp_port;
1503   p = sp + 1;
1504   if ((sp = Ustrchr(p, '\0')) == NULL)
1505     {
1506     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1507     goto proxyfail;
1508     }
1509   tmp_port = strtol(CCS p, &endc, 10);
1510   if (*endc || tmp_port == 0)
1511     {
1512     DEBUG(D_receive)
1513       debug_printf("Proxy dest port '%s' not an integer\n", p);
1514     goto proxyfail;
1515     }
1516   proxy_external_port = tmp_port;
1517   /* Already checked for /r /n above. Good V1 header received. */
1518   }
1519 else
1520   {
1521   /* Wrong protocol */
1522   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1523   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1524   goto proxyfail;
1525   }
1526
1527 done:
1528   DEBUG(D_receive)
1529     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1530   yield = proxy_session;
1531
1532 /* Don't flush any potential buffer contents. Any input on proxyfail
1533 should cause a synchronization failure */
1534
1535 proxyfail:
1536   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1537
1538 bad:
1539   if (yield)
1540     {
1541     sender_host_name = NULL;
1542     (void) host_name_lookup();
1543     host_build_sender_fullhost();
1544     }
1545   else
1546     {
1547     f.proxy_session_failed = TRUE;
1548     DEBUG(D_receive)
1549       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1550     }
1551
1552 return;
1553 }
1554 #endif
1555
1556 /*************************************************
1557 *           Read one command line                *
1558 *************************************************/
1559
1560 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1561 There are sites that don't do this, and in any case internal SMTP probably
1562 should check only for LF. Consequently, we check here for LF only. The line
1563 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1564 an unknown command. The command is read into the global smtp_cmd_buffer so that
1565 it is available via $smtp_command.
1566
1567 The character reading routine sets up a timeout for each block actually read
1568 from the input (which may contain more than one command). We set up a special
1569 signal handler that closes down the session on a timeout. Control does not
1570 return when it runs.
1571
1572 Arguments:
1573   check_sync    if TRUE, check synchronization rules if global option is TRUE
1574   buffer_lim    maximum to buffer in lower layer
1575
1576 Returns:       a code identifying the command (enumerated above)
1577 */
1578
1579 static int
1580 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1581 {
1582 int c;
1583 int ptr = 0;
1584 smtp_cmd_list *p;
1585 BOOL hadnull = FALSE;
1586
1587 had_command_timeout = 0;
1588 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1589
1590 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1591   {
1592   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1593     {
1594     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1595     return OTHER_CMD;
1596     }
1597   if (c == 0)
1598     {
1599     hadnull = TRUE;
1600     c = '?';
1601     }
1602   smtp_cmd_buffer[ptr++] = c;
1603   }
1604
1605 receive_linecount++;    /* For BSMTP errors */
1606 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1607
1608 /* If hit end of file, return pseudo EOF command. Whether we have a
1609 part-line already read doesn't matter, since this is an error state. */
1610
1611 if (c == EOF) return EOF_CMD;
1612
1613 /* Remove any CR and white space at the end of the line, and terminate the
1614 string. */
1615
1616 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1617 smtp_cmd_buffer[ptr] = 0;
1618
1619 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1620
1621 /* NULLs are not allowed in SMTP commands */
1622
1623 if (hadnull) return BADCHAR_CMD;
1624
1625 /* Scan command list and return identity, having set the data pointer
1626 to the start of the actual data characters. Check for SMTP synchronization
1627 if required. */
1628
1629 for (p = cmd_list; p < cmd_list_end; p++)
1630   {
1631 #ifdef SUPPORT_PROXY
1632   /* Only allow QUIT command if Proxy Protocol parsing failed */
1633   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1634     continue;
1635 #endif
1636   if (  p->len
1637      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1638      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1639         || smtp_cmd_buffer[p->len] == 0
1640         || smtp_cmd_buffer[p->len] == ' '
1641      )  )
1642     {
1643     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1644         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1645         check_sync &&                                  /* Local flag set */
1646         smtp_enforce_sync &&                           /* Global flag set */
1647         sender_host_address != NULL &&                 /* Not local input */
1648         !f.sender_host_notsocket)                        /* Really is a socket */
1649       return BADSYN_CMD;
1650
1651     /* The variables $smtp_command and $smtp_command_argument point into the
1652     unmodified input buffer. A copy of the latter is taken for actual
1653     processing, so that it can be chopped up into separate parts if necessary,
1654     for example, when processing a MAIL command options such as SIZE that can
1655     follow the sender address. */
1656
1657     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1658     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1659     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1660     smtp_cmd_data = smtp_data_buffer;
1661
1662     /* Count non-mail commands from those hosts that are controlled in this
1663     way. The default is all hosts. We don't waste effort checking the list
1664     until we get a non-mail command, but then cache the result to save checking
1665     again. If there's a DEFER while checking the host, assume it's in the list.
1666
1667     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1668     start of each incoming message by fiddling with the value in the table. */
1669
1670     if (!p->is_mail_cmd)
1671       {
1672       if (count_nonmail == TRUE_UNSET) count_nonmail =
1673         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1674       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1675         return TOO_MANY_NONMAIL_CMD;
1676       }
1677
1678     /* If there is data for a command that does not expect it, generate the
1679     error here. */
1680
1681     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1682     }
1683   }
1684
1685 #ifdef SUPPORT_PROXY
1686 /* Only allow QUIT command if Proxy Protocol parsing failed */
1687 if (proxy_session && f.proxy_session_failed)
1688   return PROXY_FAIL_IGNORE_CMD;
1689 #endif
1690
1691 /* Enforce synchronization for unknown commands */
1692
1693 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1694    && check_sync                        /* Local flag set */
1695    && smtp_enforce_sync                 /* Global flag set */
1696    && sender_host_address               /* Not local input */
1697    && !f.sender_host_notsocket)         /* Really is a socket */
1698   return BADSYN_CMD;
1699
1700 return OTHER_CMD;
1701 }
1702
1703
1704
1705 /*************************************************
1706 *          Forced closedown of call              *
1707 *************************************************/
1708
1709 /* This function is called from log.c when Exim is dying because of a serious
1710 disaster, and also from some other places. If an incoming non-batched SMTP
1711 channel is open, it swallows the rest of the incoming message if in the DATA
1712 phase, sends the reply string, and gives an error to all subsequent commands
1713 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1714 smtp_in.
1715
1716 Arguments:
1717   message   SMTP reply string to send, excluding the code
1718
1719 Returns:    nothing
1720 */
1721
1722 void
1723 smtp_closedown(uschar *message)
1724 {
1725 if (!smtp_in || smtp_batched_input) return;
1726 receive_swallow_smtp();
1727 smtp_printf("421 %s\r\n", FALSE, message);
1728
1729 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1730   {
1731   case EOF_CMD:
1732     return;
1733
1734   case QUIT_CMD:
1735     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1736     mac_smtp_fflush();
1737     return;
1738
1739   case RSET_CMD:
1740     smtp_printf("250 Reset OK\r\n", FALSE);
1741     break;
1742
1743   default:
1744     smtp_printf("421 %s\r\n", FALSE, message);
1745     break;
1746   }
1747 }
1748
1749
1750
1751
1752 /*************************************************
1753 *        Set up connection info for logging      *
1754 *************************************************/
1755
1756 /* This function is called when logging information about an SMTP connection.
1757 It sets up appropriate source information, depending on the type of connection.
1758 If sender_fullhost is NULL, we are at a very early stage of the connection;
1759 just use the IP address.
1760
1761 Argument:    none
1762 Returns:     a string describing the connection
1763 */
1764
1765 uschar *
1766 smtp_get_connection_info(void)
1767 {
1768 const uschar * hostname = sender_fullhost
1769   ? sender_fullhost : sender_host_address;
1770
1771 if (host_checking)
1772   return string_sprintf("SMTP connection from %s", hostname);
1773
1774 if (f.sender_host_unknown || f.sender_host_notsocket)
1775   return string_sprintf("SMTP connection from %s", sender_ident);
1776
1777 if (f.is_inetd)
1778   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1779
1780 if (LOGGING(incoming_interface) && interface_address != NULL)
1781   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1782     interface_address, interface_port);
1783
1784 return string_sprintf("SMTP connection from %s", hostname);
1785 }
1786
1787
1788
1789 #ifdef SUPPORT_TLS
1790 /* Append TLS-related information to a log line
1791
1792 Arguments:
1793   g             String under construction: allocated string to extend, or NULL
1794
1795 Returns:        Allocated string or NULL
1796 */
1797 static gstring *
1798 s_tlslog(gstring * g)
1799 {
1800 if (LOGGING(tls_cipher) && tls_in.cipher)
1801   g = string_append(g, 2, US" X=", tls_in.cipher);
1802 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1803   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1804 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1805   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1806 if (LOGGING(tls_sni) && tls_in.sni)
1807   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1808 return g;
1809 }
1810 #endif
1811
1812 /*************************************************
1813 *      Log lack of MAIL if so configured         *
1814 *************************************************/
1815
1816 /* This function is called when an SMTP session ends. If the log selector
1817 smtp_no_mail is set, write a log line giving some details of what has happened
1818 in the SMTP session.
1819
1820 Arguments:   none
1821 Returns:     nothing
1822 */
1823
1824 void
1825 smtp_log_no_mail(void)
1826 {
1827 int i;
1828 uschar * sep, * s;
1829 gstring * g = NULL;
1830
1831 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1832   return;
1833
1834 if (sender_host_authenticated)
1835   {
1836   g = string_append(g, 2, US" A=", sender_host_authenticated);
1837   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1838   }
1839
1840 #ifdef SUPPORT_TLS
1841 g = s_tlslog(g);
1842 #endif
1843
1844 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1845
1846 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1847   if (smtp_connection_had[i] != SCH_NONE)
1848     {
1849     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850     sep = US",";
1851     }
1852
1853 for (i = 0; i < smtp_ch_index; i++)
1854   {
1855   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1856   sep = US",";
1857   }
1858
1859 if (!(s = string_from_gstring(g))) s = US"";
1860
1861 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1862   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1863   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1864 }
1865
1866
1867 /* Return list of recent smtp commands */
1868
1869 uschar *
1870 smtp_cmd_hist(void)
1871 {
1872 int  i;
1873 gstring * list = NULL;
1874 uschar * s;
1875
1876 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1877   if (smtp_connection_had[i] != SCH_NONE)
1878     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1879
1880 for (i = 0; i < smtp_ch_index; i++)
1881   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1882
1883 s = string_from_gstring(list);
1884 return s ? s : US"";
1885 }
1886
1887
1888
1889
1890 /*************************************************
1891 *   Check HELO line and set sender_helo_name     *
1892 *************************************************/
1893
1894 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1895 the domain name of the sending host, or an ip literal in square brackets. The
1896 argument is placed in sender_helo_name, which is in malloc store, because it
1897 must persist over multiple incoming messages. If helo_accept_junk is set, this
1898 host is permitted to send any old junk (needed for some broken hosts).
1899 Otherwise, helo_allow_chars can be used for rogue characters in general
1900 (typically people want to let in underscores).
1901
1902 Argument:
1903   s       the data portion of the line (already past any white space)
1904
1905 Returns:  TRUE or FALSE
1906 */
1907
1908 static BOOL
1909 check_helo(uschar *s)
1910 {
1911 uschar *start = s;
1912 uschar *end = s + Ustrlen(s);
1913 BOOL yield = fl.helo_accept_junk;
1914
1915 /* Discard any previous helo name */
1916
1917 if (sender_helo_name)
1918   {
1919   store_free(sender_helo_name);
1920   sender_helo_name = NULL;
1921   }
1922
1923 /* Skip tests if junk is permitted. */
1924
1925 if (!yield)
1926
1927   /* Allow the new standard form for IPv6 address literals, namely,
1928   [IPv6:....], and because someone is bound to use it, allow an equivalent
1929   IPv4 form. Allow plain addresses as well. */
1930
1931   if (*s == '[')
1932     {
1933     if (end[-1] == ']')
1934       {
1935       end[-1] = 0;
1936       if (strncmpic(s, US"[IPv6:", 6) == 0)
1937         yield = (string_is_ip_address(s+6, NULL) == 6);
1938       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1939         yield = (string_is_ip_address(s+6, NULL) == 4);
1940       else
1941         yield = (string_is_ip_address(s+1, NULL) != 0);
1942       end[-1] = ']';
1943       }
1944     }
1945
1946   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1947   that have been configured (usually underscore - sigh). */
1948
1949   else if (*s)
1950     for (yield = TRUE; *s; s++)
1951       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1952           Ustrchr(helo_allow_chars, *s) == NULL)
1953         {
1954         yield = FALSE;
1955         break;
1956         }
1957
1958 /* Save argument if OK */
1959
1960 if (yield) sender_helo_name = string_copy_malloc(start);
1961 return yield;
1962 }
1963
1964
1965
1966
1967
1968 /*************************************************
1969 *         Extract SMTP command option            *
1970 *************************************************/
1971
1972 /* This function picks the next option setting off the end of smtp_cmd_data. It
1973 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1974 things that can appear there.
1975
1976 Arguments:
1977    name           point this at the name
1978    value          point this at the data string
1979
1980 Returns:          TRUE if found an option
1981 */
1982
1983 static BOOL
1984 extract_option(uschar **name, uschar **value)
1985 {
1986 uschar *n;
1987 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1988 while (isspace(*v)) v--;
1989 v[1] = 0;
1990 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1991   {
1992   /* Take care to not stop at a space embedded in a quoted local-part */
1993
1994   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1995   v--;
1996   }
1997
1998 n = v;
1999 if (*v == '=')
2000   {
2001   while(isalpha(n[-1])) n--;
2002   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2003   if (!isspace(n[-1])) return FALSE;
2004   n[-1] = 0;
2005   }
2006 else
2007   {
2008   n++;
2009   if (v == smtp_cmd_data) return FALSE;
2010   }
2011 *v++ = 0;
2012 *name = n;
2013 *value = v;
2014 return TRUE;
2015 }
2016
2017
2018
2019
2020
2021 /*************************************************
2022 *         Reset for new message                  *
2023 *************************************************/
2024
2025 /* This function is called whenever the SMTP session is reset from
2026 within either of the setup functions; also from the daemon loop.
2027
2028 Argument:   the stacking pool storage reset point
2029 Returns:    nothing
2030 */
2031
2032 void
2033 smtp_reset(void *reset_point)
2034 {
2035 recipients_list = NULL;
2036 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2037   raw_recipients_count = recipients_count = recipients_list_max = 0;
2038 message_linecount = 0;
2039 message_size = -1;
2040 acl_added_headers = NULL;
2041 acl_removed_headers = NULL;
2042 f.queue_only_policy = FALSE;
2043 rcpt_smtp_response = NULL;
2044 fl.rcpt_smtp_response_same = TRUE;
2045 fl.rcpt_in_progress = FALSE;
2046 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2047 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2048 fake_response = OK;                                  /* Can be set by ACL */
2049 #ifdef WITH_CONTENT_SCAN
2050 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2051 #endif
2052 f.submission_mode = FALSE;                             /* Can be set by ACL */
2053 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2054 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2055 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2056 sending_ip_address = NULL;
2057 return_path = sender_address = NULL;
2058 sender_data = NULL;                                  /* Can be set by ACL */
2059 deliver_localpart_parent = deliver_localpart_orig = NULL;
2060 deliver_domain_parent = deliver_domain_orig = NULL;
2061 callout_address = NULL;
2062 submission_name = NULL;                              /* Can be set by ACL */
2063 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2064 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2065 sender_verified_list = NULL;        /* No senders verified */
2066 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2067 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2068
2069 authenticated_sender = NULL;
2070 #ifdef EXPERIMENTAL_BRIGHTMAIL
2071 bmi_run = 0;
2072 bmi_verdicts = NULL;
2073 #endif
2074 dnslist_domain = dnslist_matched = NULL;
2075 #ifdef SUPPORT_SPF
2076 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2077 spf_result_guessed = FALSE;
2078 #endif
2079 #ifndef DISABLE_DKIM
2080 dkim_cur_signer = dkim_signers =
2081 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2082 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2083 f.dkim_disable_verify = FALSE;
2084 dkim_collect_input = 0;
2085 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2086 dkim_key_length = 0;
2087 dkim_verify_signers = US"$dkim_signers";
2088 #endif
2089 #ifdef EXPERIMENTAL_DMARC
2090 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2091 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2092 dmarc_used_domain = NULL;
2093 #endif
2094 #ifdef EXPERIMENTAL_ARC
2095 arc_state = arc_state_reason = NULL;
2096 #endif
2097 dsn_ret = 0;
2098 dsn_envid = NULL;
2099 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2100 #ifndef DISABLE_PRDR
2101 prdr_requested = FALSE;
2102 #endif
2103 #ifdef SUPPORT_I18N
2104 message_smtputf8 = FALSE;
2105 #endif
2106 body_linecount = body_zerocount = 0;
2107
2108 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2109 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2110                    /* Note that ratelimiters_conn persists across resets. */
2111
2112 /* Reset message ACL variables */
2113
2114 acl_var_m = NULL;
2115
2116 /* The message body variables use malloc store. They may be set if this is
2117 not the first message in an SMTP session and the previous message caused them
2118 to be referenced in an ACL. */
2119
2120 if (message_body)
2121   {
2122   store_free(message_body);
2123   message_body = NULL;
2124   }
2125
2126 if (message_body_end)
2127   {
2128   store_free(message_body_end);
2129   message_body_end = NULL;
2130   }
2131
2132 /* Warning log messages are also saved in malloc store. They are saved to avoid
2133 repetition in the same message, but it seems right to repeat them for different
2134 messages. */
2135
2136 while (acl_warn_logged)
2137   {
2138   string_item *this = acl_warn_logged;
2139   acl_warn_logged = acl_warn_logged->next;
2140   store_free(this);
2141   }
2142 store_reset(reset_point);
2143 }
2144
2145
2146
2147
2148
2149 /*************************************************
2150 *  Initialize for incoming batched SMTP message  *
2151 *************************************************/
2152
2153 /* This function is called from smtp_setup_msg() in the case when
2154 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2155 of messages in one file with SMTP commands between them. All errors must be
2156 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2157 relevant. After an error on a sender, or an invalid recipient, the remainder
2158 of the message is skipped. The value of received_protocol is already set.
2159
2160 Argument: none
2161 Returns:  > 0 message successfully started (reached DATA)
2162           = 0 QUIT read or end of file reached
2163           < 0 should not occur
2164 */
2165
2166 static int
2167 smtp_setup_batch_msg(void)
2168 {
2169 int done = 0;
2170 void *reset_point = store_get(0);
2171
2172 /* Save the line count at the start of each transaction - single commands
2173 like HELO and RSET count as whole transactions. */
2174
2175 bsmtp_transaction_linecount = receive_linecount;
2176
2177 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2178
2179 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2180 smtp_reset(reset_point);                /* Reset for start of message */
2181
2182 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2183 value. The values are 2 larger than the required yield of the function. */
2184
2185 while (done <= 0)
2186   {
2187   uschar *errmess;
2188   uschar *recipient = NULL;
2189   int start, end, sender_domain, recipient_domain;
2190
2191   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2192     {
2193     /* The HELO/EHLO commands set sender_address_helo if they have
2194     valid data; otherwise they are ignored, except that they do
2195     a reset of the state. */
2196
2197     case HELO_CMD:
2198     case EHLO_CMD:
2199
2200       check_helo(smtp_cmd_data);
2201       /* Fall through */
2202
2203     case RSET_CMD:
2204       cancel_cutthrough_connection(TRUE, US"RSET received");
2205       smtp_reset(reset_point);
2206       bsmtp_transaction_linecount = receive_linecount;
2207       break;
2208
2209
2210     /* The MAIL FROM command requires an address as an operand. All we
2211     do here is to parse it for syntactic correctness. The form "<>" is
2212     a special case which converts into an empty string. The start/end
2213     pointers in the original are not used further for this address, as
2214     it is the canonical extracted address which is all that is kept. */
2215
2216     case MAIL_CMD:
2217       smtp_mailcmd_count++;              /* Count for no-mail log */
2218       if (sender_address != NULL)
2219         /* The function moan_smtp_batch() does not return. */
2220         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2221
2222       if (smtp_cmd_data[0] == 0)
2223         /* The function moan_smtp_batch() does not return. */
2224         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2225
2226       /* Reset to start of message */
2227
2228       cancel_cutthrough_connection(TRUE, US"MAIL received");
2229       smtp_reset(reset_point);
2230
2231       /* Apply SMTP rewrite */
2232
2233       raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2234         rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2235           US"", global_rewrite_rules) : smtp_cmd_data;
2236
2237       /* Extract the address; the TRUE flag allows <> as valid */
2238
2239       raw_sender =
2240         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2241           TRUE);
2242
2243       if (!raw_sender)
2244         /* The function moan_smtp_batch() does not return. */
2245         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2246
2247       sender_address = string_copy(raw_sender);
2248
2249       /* Qualify unqualified sender addresses if permitted to do so. */
2250
2251       if (  !sender_domain
2252          && sender_address[0] != 0 && sender_address[0] != '@')
2253         if (f.allow_unqualified_sender)
2254           {
2255           sender_address = rewrite_address_qualify(sender_address, FALSE);
2256           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2257             "and rewritten\n", raw_sender);
2258           }
2259         /* The function moan_smtp_batch() does not return. */
2260         else
2261           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2262             "a domain");
2263       break;
2264
2265
2266     /* The RCPT TO command requires an address as an operand. All we do
2267     here is to parse it for syntactic correctness. There may be any number
2268     of RCPT TO commands, specifying multiple senders. We build them all into
2269     a data structure that is in argc/argv format. The start/end values
2270     given by parse_extract_address are not used, as we keep only the
2271     extracted address. */
2272
2273     case RCPT_CMD:
2274       if (!sender_address)
2275         /* The function moan_smtp_batch() does not return. */
2276         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2277
2278       if (smtp_cmd_data[0] == 0)
2279         /* The function moan_smtp_batch() does not return. */
2280         moan_smtp_batch(smtp_cmd_buffer,
2281           "501 RCPT TO must have an address operand");
2282
2283       /* Check maximum number allowed */
2284
2285       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2286         /* The function moan_smtp_batch() does not return. */
2287         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2288           recipients_max_reject? "552": "452");
2289
2290       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2291       recipient address */
2292
2293       recipient = rewrite_existflags & rewrite_smtp
2294         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2295                       global_rewrite_rules)
2296         : smtp_cmd_data;
2297
2298       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2299         &recipient_domain, FALSE);
2300
2301       if (!recipient)
2302         /* The function moan_smtp_batch() does not return. */
2303         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2304
2305       /* If the recipient address is unqualified, qualify it if permitted. Then
2306       add it to the list of recipients. */
2307
2308       if (!recipient_domain)
2309         if (f.allow_unqualified_recipient)
2310           {
2311           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2312             recipient);
2313           recipient = rewrite_address_qualify(recipient, TRUE);
2314           }
2315         /* The function moan_smtp_batch() does not return. */
2316         else
2317           moan_smtp_batch(smtp_cmd_buffer,
2318             "501 recipient address must contain a domain");
2319
2320       receive_add_recipient(recipient, -1);
2321       break;
2322
2323
2324     /* The DATA command is legal only if it follows successful MAIL FROM
2325     and RCPT TO commands. This function is complete when a valid DATA
2326     command is encountered. */
2327
2328     case DATA_CMD:
2329       if (!sender_address || recipients_count <= 0)
2330         /* The function moan_smtp_batch() does not return. */
2331         if (!sender_address)
2332           moan_smtp_batch(smtp_cmd_buffer,
2333             "503 MAIL FROM:<sender> command must precede DATA");
2334         else
2335           moan_smtp_batch(smtp_cmd_buffer,
2336             "503 RCPT TO:<recipient> must precede DATA");
2337       else
2338         {
2339         done = 3;                      /* DATA successfully achieved */
2340         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2341         }
2342       break;
2343
2344
2345     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2346
2347     case VRFY_CMD:
2348     case EXPN_CMD:
2349     case HELP_CMD:
2350     case NOOP_CMD:
2351     case ETRN_CMD:
2352       bsmtp_transaction_linecount = receive_linecount;
2353       break;
2354
2355
2356     case EOF_CMD:
2357     case QUIT_CMD:
2358       done = 2;
2359       break;
2360
2361
2362     case BADARG_CMD:
2363       /* The function moan_smtp_batch() does not return. */
2364       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2365       break;
2366
2367
2368     case BADCHAR_CMD:
2369       /* The function moan_smtp_batch() does not return. */
2370       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2371       break;
2372
2373
2374     default:
2375       /* The function moan_smtp_batch() does not return. */
2376       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2377       break;
2378     }
2379   }
2380
2381 return done - 2;  /* Convert yield values */
2382 }
2383
2384
2385
2386
2387 #ifdef SUPPORT_TLS
2388 static BOOL
2389 smtp_log_tls_fail(uschar * errstr)
2390 {
2391 uschar * conn_info = smtp_get_connection_info();
2392
2393 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2394 /* I'd like to get separated H= here, but too hard for now */
2395
2396 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2397 return FALSE;
2398 }
2399 #endif
2400
2401
2402
2403
2404 #ifdef TCP_FASTOPEN
2405 static void
2406 tfo_in_check(void)
2407 {
2408 # ifdef TCP_INFO
2409 struct tcp_info tinfo;
2410 socklen_t len = sizeof(tinfo);
2411
2412 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2413 #ifdef TCPI_OPT_SYN_DATA        /* FreeBSD 11 does not seem to have this yet */
2414   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2415     {
2416     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (ACKd data-on-SYN)\n");
2417     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2418     }
2419   else
2420 #endif
2421     if (tinfo.tcpi_state == TCP_SYN_RECV)
2422     {
2423     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (state TCP_SYN_RECV)\n");
2424     f.tcp_in_fastopen = TRUE;
2425     }
2426 # endif
2427 }
2428 #endif
2429
2430
2431 /*************************************************
2432 *          Start an SMTP session                 *
2433 *************************************************/
2434
2435 /* This function is called at the start of an SMTP session. Thereafter,
2436 smtp_setup_msg() is called to initiate each separate message. This
2437 function does host-specific testing, and outputs the banner line.
2438
2439 Arguments:     none
2440 Returns:       FALSE if the session can not continue; something has
2441                gone wrong, or the connection to the host is blocked
2442 */
2443
2444 BOOL
2445 smtp_start_session(void)
2446 {
2447 int esclen;
2448 uschar *user_msg, *log_msg;
2449 uschar *code, *esc;
2450 uschar *p, *s;
2451 gstring * ss;
2452
2453 gettimeofday(&smtp_connection_start, NULL);
2454 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2455   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2456 smtp_ch_index = 0;
2457
2458 /* Default values for certain variables */
2459
2460 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2461 smtp_mailcmd_count = 0;
2462 count_nonmail = TRUE_UNSET;
2463 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2464 smtp_delay_mail = smtp_rlm_base;
2465 fl.auth_advertised = FALSE;
2466 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2467 f.pipelining_enable = TRUE;
2468 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2469 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2470
2471 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2472 authentication settings from -oMaa to remain in force. */
2473
2474 if (!host_checking && !f.sender_host_notsocket)
2475   sender_host_auth_pubname = sender_host_authenticated = NULL;
2476 authenticated_by = NULL;
2477
2478 #ifdef SUPPORT_TLS
2479 tls_in.cipher = tls_in.peerdn = NULL;
2480 tls_in.ourcert = tls_in.peercert = NULL;
2481 tls_in.sni = NULL;
2482 tls_in.ocsp = OCSP_NOT_REQ;
2483 fl.tls_advertised = FALSE;
2484 # ifdef EXPERIMENTAL_REQUIRETLS
2485 fl.requiretls_advertised = FALSE;
2486 # endif
2487 #endif
2488 fl.dsn_advertised = FALSE;
2489 #ifdef SUPPORT_I18N
2490 fl.smtputf8_advertised = FALSE;
2491 #endif
2492
2493 /* Reset ACL connection variables */
2494
2495 acl_var_c = NULL;
2496
2497 /* Allow for trailing 0 in the command and data buffers. */
2498
2499 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2500   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2501     "malloc() failed for SMTP command buffer");
2502
2503 smtp_cmd_buffer[0] = 0;
2504 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2505
2506 /* For batched input, the protocol setting can be overridden from the
2507 command line by a trusted caller. */
2508
2509 if (smtp_batched_input)
2510   {
2511   if (!received_protocol) received_protocol = US"local-bsmtp";
2512   }
2513
2514 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2515 reset later if any of EHLO/AUTH/STARTTLS are received. */
2516
2517 else
2518   received_protocol =
2519     (sender_host_address ? protocols : protocols_local) [pnormal];
2520
2521 /* Set up the buffer for inputting using direct read() calls, and arrange to
2522 call the local functions instead of the standard C ones.  Place a NUL at the
2523 end of the buffer to safety-stop C-string reads from it. */
2524
2525 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2526   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2527 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2528
2529 receive_getc = smtp_getc;
2530 receive_getbuf = smtp_getbuf;
2531 receive_get_cache = smtp_get_cache;
2532 receive_ungetc = smtp_ungetc;
2533 receive_feof = smtp_feof;
2534 receive_ferror = smtp_ferror;
2535 receive_smtp_buffered = smtp_buffered;
2536 smtp_inptr = smtp_inend = smtp_inbuffer;
2537 smtp_had_eof = smtp_had_error = 0;
2538
2539 /* Set up the message size limit; this may be host-specific */
2540
2541 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2542 if (expand_string_message)
2543   {
2544   if (thismessage_size_limit == -1)
2545     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2546       "%s", expand_string_message);
2547   else
2548     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2549       "%s", expand_string_message);
2550   smtp_closedown(US"Temporary local problem - please try later");
2551   return FALSE;
2552   }
2553
2554 /* When a message is input locally via the -bs or -bS options, sender_host_
2555 unknown is set unless -oMa was used to force an IP address, in which case it
2556 is checked like a real remote connection. When -bs is used from inetd, this
2557 flag is not set, causing the sending host to be checked. The code that deals
2558 with IP source routing (if configured) is never required for -bs or -bS and
2559 the flag sender_host_notsocket is used to suppress it.
2560
2561 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2562 reserve for certain hosts and/or networks. */
2563
2564 if (!f.sender_host_unknown)
2565   {
2566   int rc;
2567   BOOL reserved_host = FALSE;
2568
2569   /* Look up IP options (source routing info) on the socket if this is not an
2570   -oMa "host", and if any are found, log them and drop the connection.
2571
2572   Linux (and others now, see below) is different to everyone else, so there
2573   has to be some conditional compilation here. Versions of Linux before 2.1.15
2574   used a structure whose name was "options". Somebody finally realized that
2575   this name was silly, and it got changed to "ip_options". I use the
2576   newer name here, but there is a fudge in the script that sets up os.h
2577   to define a macro in older Linux systems.
2578
2579   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2580   glibc 2, which has chosen ip_opts for the structure name. This is now
2581   really a glibc thing rather than a Linux thing, so the condition name
2582   has been changed to reflect this. It is relevant also to GNU/Hurd.
2583
2584   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2585   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2586   a special macro defined in the os.h file.
2587
2588   Some DGUX versions on older hardware appear not to support IP options at
2589   all, so there is now a general macro which can be set to cut out this
2590   support altogether.
2591
2592   How to do this properly in IPv6 is not yet known. */
2593
2594 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2595
2596   #ifdef GLIBC_IP_OPTIONS
2597     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2598     #define OPTSTYLE 1
2599     #else
2600     #define OPTSTYLE 2
2601     #endif
2602   #elif defined DARWIN_IP_OPTIONS
2603     #define OPTSTYLE 2
2604   #else
2605     #define OPTSTYLE 3
2606   #endif
2607
2608   if (!host_checking && !f.sender_host_notsocket)
2609     {
2610     #if OPTSTYLE == 1
2611     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2612     struct ip_options *ipopt = store_get(optlen);
2613     #elif OPTSTYLE == 2
2614     struct ip_opts ipoptblock;
2615     struct ip_opts *ipopt = &ipoptblock;
2616     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2617     #else
2618     struct ipoption ipoptblock;
2619     struct ipoption *ipopt = &ipoptblock;
2620     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2621     #endif
2622
2623     /* Occasional genuine failures of getsockopt() have been seen - for
2624     example, "reset by peer". Therefore, just log and give up on this
2625     call, unless the error is ENOPROTOOPT. This error is given by systems
2626     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2627     of writing. So for that error, carry on - we just can't do an IP options
2628     check. */
2629
2630     DEBUG(D_receive) debug_printf("checking for IP options\n");
2631
2632     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2633           &optlen) < 0)
2634       {
2635       if (errno != ENOPROTOOPT)
2636         {
2637         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2638           host_and_ident(FALSE), strerror(errno));
2639         smtp_printf("451 SMTP service not available\r\n", FALSE);
2640         return FALSE;
2641         }
2642       }
2643
2644     /* Deal with any IP options that are set. On the systems I have looked at,
2645     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2646     more logging data than will fit in big_buffer. Nevertheless, after somebody
2647     questioned this code, I've added in some paranoid checking. */
2648
2649     else if (optlen > 0)
2650       {
2651       uschar *p = big_buffer;
2652       uschar *pend = big_buffer + big_buffer_size;
2653       uschar *opt, *adptr;
2654       int optcount;
2655       struct in_addr addr;
2656
2657       #if OPTSTYLE == 1
2658       uschar *optstart = US (ipopt->__data);
2659       #elif OPTSTYLE == 2
2660       uschar *optstart = US (ipopt->ip_opts);
2661       #else
2662       uschar *optstart = US (ipopt->ipopt_list);
2663       #endif
2664
2665       DEBUG(D_receive) debug_printf("IP options exist\n");
2666
2667       Ustrcpy(p, "IP options on incoming call:");
2668       p += Ustrlen(p);
2669
2670       for (opt = optstart; opt != NULL &&
2671            opt < US (ipopt) + optlen;)
2672         {
2673         switch (*opt)
2674           {
2675           case IPOPT_EOL:
2676           opt = NULL;
2677           break;
2678
2679           case IPOPT_NOP:
2680           opt++;
2681           break;
2682
2683           case IPOPT_SSRR:
2684           case IPOPT_LSRR:
2685           if (!string_format(p, pend-p, " %s [@%s",
2686                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2687                #if OPTSTYLE == 1
2688                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2689                #elif OPTSTYLE == 2
2690                inet_ntoa(ipopt->ip_dst)))
2691                #else
2692                inet_ntoa(ipopt->ipopt_dst)))
2693                #endif
2694             {
2695             opt = NULL;
2696             break;
2697             }
2698
2699           p += Ustrlen(p);
2700           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2701           adptr = opt + 3;
2702           while (optcount-- > 0)
2703             {
2704             memcpy(&addr, adptr, sizeof(addr));
2705             if (!string_format(p, pend - p - 1, "%s%s",
2706                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2707               {
2708               opt = NULL;
2709               break;
2710               }
2711             p += Ustrlen(p);
2712             adptr += sizeof(struct in_addr);
2713             }
2714           *p++ = ']';
2715           opt += opt[1];
2716           break;
2717
2718           default:
2719             {
2720             int i;
2721             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2722             Ustrcat(p, "[ ");
2723             p += 2;
2724             for (i = 0; i < opt[1]; i++)
2725               p += sprintf(CS p, "%2.2x ", opt[i]);
2726             *p++ = ']';
2727             }
2728           opt += opt[1];
2729           break;
2730           }
2731         }
2732
2733       *p = 0;
2734       log_write(0, LOG_MAIN, "%s", big_buffer);
2735
2736       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2737
2738       log_write(0, LOG_MAIN|LOG_REJECT,
2739         "connection from %s refused (IP options)", host_and_ident(FALSE));
2740
2741       smtp_printf("554 SMTP service not available\r\n", FALSE);
2742       return FALSE;
2743       }
2744
2745     /* Length of options = 0 => there are no options */
2746
2747     else DEBUG(D_receive) debug_printf("no IP options found\n");
2748     }
2749 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2750
2751   /* Set keep-alive in socket options. The option is on by default. This
2752   setting is an attempt to get rid of some hanging connections that stick in
2753   read() when the remote end (usually a dialup) goes away. */
2754
2755   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2756     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2757
2758   /* If the current host matches host_lookup, set the name by doing a
2759   reverse lookup. On failure, sender_host_name will be NULL and
2760   host_lookup_failed will be TRUE. This may or may not be serious - optional
2761   checks later. */
2762
2763   if (verify_check_host(&host_lookup) == OK)
2764     {
2765     (void)host_name_lookup();
2766     host_build_sender_fullhost();
2767     }
2768
2769   /* Delay this until we have the full name, if it is looked up. */
2770
2771   set_process_info("handling incoming connection from %s",
2772     host_and_ident(FALSE));
2773
2774   /* Expand smtp_receive_timeout, if needed */
2775
2776   if (smtp_receive_timeout_s)
2777     {
2778     uschar * exp;
2779     if (  !(exp = expand_string(smtp_receive_timeout_s))
2780        || !(*exp)
2781        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2782        )
2783       log_write(0, LOG_MAIN|LOG_PANIC,
2784         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2785     }
2786
2787   /* Test for explicit connection rejection */
2788
2789   if (verify_check_host(&host_reject_connection) == OK)
2790     {
2791     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2792       "from %s (host_reject_connection)", host_and_ident(FALSE));
2793     smtp_printf("554 SMTP service not available\r\n", FALSE);
2794     return FALSE;
2795     }
2796
2797   /* Test with TCP Wrappers if so configured. There is a problem in that
2798   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2799   such as disks dying. In these cases, it is desirable to reject with a 4xx
2800   error instead of a 5xx error. There isn't a "right" way to detect such
2801   problems. The following kludge is used: errno is zeroed before calling
2802   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2803   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2804   not exist). */
2805
2806 #ifdef USE_TCP_WRAPPERS
2807   errno = 0;
2808   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2809     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2810       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2811         expand_string_message);
2812
2813   if (!hosts_ctl(tcp_wrappers_name,
2814          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2815          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2816          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2817     {
2818     if (errno == 0 || errno == ENOENT)
2819       {
2820       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2821       log_write(L_connection_reject,
2822                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2823                 "(tcp wrappers)", host_and_ident(FALSE));
2824       smtp_printf("554 SMTP service not available\r\n", FALSE);
2825       }
2826     else
2827       {
2828       int save_errno = errno;
2829       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2830         "errno value %d\n", save_errno);
2831       log_write(L_connection_reject,
2832                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2833                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2834       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2835       }
2836     return FALSE;
2837     }
2838 #endif
2839
2840   /* Check for reserved slots. The value of smtp_accept_count has already been
2841   incremented to include this process. */
2842
2843   if (smtp_accept_max > 0 &&
2844       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2845     {
2846     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2847       {
2848       log_write(L_connection_reject,
2849         LOG_MAIN, "temporarily refused connection from %s: not in "
2850         "reserve list: connected=%d max=%d reserve=%d%s",
2851         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2852         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2853       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2854         "please try again later\r\n", FALSE, smtp_active_hostname);
2855       return FALSE;
2856       }
2857     reserved_host = TRUE;
2858     }
2859
2860   /* If a load level above which only messages from reserved hosts are
2861   accepted is set, check the load. For incoming calls via the daemon, the
2862   check is done in the superior process if there are no reserved hosts, to
2863   save a fork. In all cases, the load average will already be available
2864   in a global variable at this point. */
2865
2866   if (smtp_load_reserve >= 0 &&
2867        load_average > smtp_load_reserve &&
2868        !reserved_host &&
2869        verify_check_host(&smtp_reserve_hosts) != OK)
2870     {
2871     log_write(L_connection_reject,
2872       LOG_MAIN, "temporarily refused connection from %s: not in "
2873       "reserve list and load average = %.2f", host_and_ident(FALSE),
2874       (double)load_average/1000.0);
2875     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2876       smtp_active_hostname);
2877     return FALSE;
2878     }
2879
2880   /* Determine whether unqualified senders or recipients are permitted
2881   for this host. Unfortunately, we have to do this every time, in order to
2882   set the flags so that they can be inspected when considering qualifying
2883   addresses in the headers. For a site that permits no qualification, this
2884   won't take long, however. */
2885
2886   f.allow_unqualified_sender =
2887     verify_check_host(&sender_unqualified_hosts) == OK;
2888
2889   f.allow_unqualified_recipient =
2890     verify_check_host(&recipient_unqualified_hosts) == OK;
2891
2892   /* Determine whether HELO/EHLO is required for this host. The requirement
2893   can be hard or soft. */
2894
2895   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2896   if (!fl.helo_required)
2897     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2898
2899   /* Determine whether this hosts is permitted to send syntactic junk
2900   after a HELO or EHLO command. */
2901
2902   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2903   }
2904
2905 /* For batch SMTP input we are now done. */
2906
2907 if (smtp_batched_input) return TRUE;
2908
2909 /* If valid Proxy Protocol source is connecting, set up session.
2910  * Failure will not allow any SMTP function other than QUIT. */
2911
2912 #ifdef SUPPORT_PROXY
2913 proxy_session = FALSE;
2914 f.proxy_session_failed = FALSE;
2915 if (check_proxy_protocol_host())
2916   setup_proxy_protocol_host();
2917 #endif
2918
2919   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2920   smtps port for use with older style SSL MTAs. */
2921
2922 #ifdef SUPPORT_TLS
2923   if (tls_in.on_connect)
2924     {
2925     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2926       return smtp_log_tls_fail(user_msg);
2927     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2928     }
2929 #endif
2930
2931 /* Run the connect ACL if it exists */
2932
2933 user_msg = NULL;
2934 if (acl_smtp_connect)
2935   {
2936   int rc;
2937   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2938                       &log_msg)) != OK)
2939     {
2940     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2941     return FALSE;
2942     }
2943   }
2944
2945 /* Output the initial message for a two-way SMTP connection. It may contain
2946 newlines, which then cause a multi-line response to be given. */
2947
2948 code = US"220";   /* Default status code */
2949 esc = US"";       /* Default extended status code */
2950 esclen = 0;       /* Length of esc */
2951
2952 if (!user_msg)
2953   {
2954   if (!(s = expand_string(smtp_banner)))
2955     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2956       "failed: %s", smtp_banner, expand_string_message);
2957   }
2958 else
2959   {
2960   int codelen = 3;
2961   s = user_msg;
2962   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2963   if (codelen > 4)
2964     {
2965     esc = code + 4;
2966     esclen = codelen - 4;
2967     }
2968   }
2969
2970 /* Remove any terminating newlines; might as well remove trailing space too */
2971
2972 p = s + Ustrlen(s);
2973 while (p > s && isspace(p[-1])) p--;
2974 *p = 0;
2975
2976 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2977 is all contained in a single IP packet. The original code wrote out the
2978 greeting using several calls to fprint/fputc, and on busy servers this could
2979 cause it to be split over more than one packet - which caused CC:Mail to fall
2980 over when it got the second part of the greeting after sending its first
2981 command. Sigh. To try to avoid this, build the complete greeting message
2982 first, and output it in one fell swoop. This gives a better chance of it
2983 ending up as a single packet. */
2984
2985 ss = string_get(256);
2986
2987 p = s;
2988 do       /* At least once, in case we have an empty string */
2989   {
2990   int len;
2991   uschar *linebreak = Ustrchr(p, '\n');
2992   ss = string_catn(ss, code, 3);
2993   if (!linebreak)
2994     {
2995     len = Ustrlen(p);
2996     ss = string_catn(ss, US" ", 1);
2997     }
2998   else
2999     {
3000     len = linebreak - p;
3001     ss = string_catn(ss, US"-", 1);
3002     }
3003   ss = string_catn(ss, esc, esclen);
3004   ss = string_catn(ss, p, len);
3005   ss = string_catn(ss, US"\r\n", 2);
3006   p += len;
3007   if (linebreak) p++;
3008   }
3009 while (*p);
3010
3011 /* Before we write the banner, check that there is no input pending, unless
3012 this synchronisation check is disabled. */
3013
3014 #ifdef EXPERIMENTAL_PIPE_CONNECT
3015 fl.pipe_connect_acceptable =
3016   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3017
3018 if (!check_sync())
3019   if (fl.pipe_connect_acceptable)
3020     f.smtp_in_early_pipe_used = TRUE;
3021   else
3022 #else
3023 if (!check_sync())
3024 #endif
3025     {
3026     unsigned n = smtp_inend - smtp_inptr;
3027     if (n > 32) n = 32;
3028
3029     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3030       "synchronization error (input sent without waiting for greeting): "
3031       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3032       string_printing(string_copyn(smtp_inptr, n)));
3033     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3034     return FALSE;
3035     }
3036
3037 /* Now output the banner */
3038 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3039
3040 smtp_printf("%s",
3041 #ifdef EXPERIMENTAL_PIPE_CONNECT
3042   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3043 #else
3044   FALSE,
3045 #endif
3046   string_from_gstring(ss));
3047
3048 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3049 handshake arrived.  If so we must have managed a TFO. */
3050
3051 #ifdef TCP_FASTOPEN
3052 tfo_in_check();
3053 #endif
3054
3055 return TRUE;
3056 }
3057
3058
3059
3060
3061
3062 /*************************************************
3063 *     Handle SMTP syntax and protocol errors     *
3064 *************************************************/
3065
3066 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3067 to do so. Then transmit the error response. The return value depends on the
3068 number of syntax and protocol errors in this SMTP session.
3069
3070 Arguments:
3071   type      error type, given as a log flag bit
3072   code      response code; <= 0 means don't send a response
3073   data      data to reflect in the response (can be NULL)
3074   errmess   the error message
3075
3076 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3077             +1   limit of syntax/protocol errors IS exceeded
3078
3079 These values fit in with the values of the "done" variable in the main
3080 processing loop in smtp_setup_msg(). */
3081
3082 static int
3083 synprot_error(int type, int code, uschar *data, uschar *errmess)
3084 {
3085 int yield = -1;
3086
3087 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3088   (type == L_smtp_syntax_error)? "syntax" : "protocol",
3089   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3090
3091 if (++synprot_error_count > smtp_max_synprot_errors)
3092   {
3093   yield = 1;
3094   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3095     "syntax or protocol errors (last command was \"%s\")",
3096     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3097   }
3098
3099 if (code > 0)
3100   {
3101   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3102     data ? data : US"", data ? US": " : US"", errmess);
3103   if (yield == 1)
3104     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3105   }
3106
3107 return yield;
3108 }
3109
3110
3111
3112
3113 /*************************************************
3114 *    Send SMTP response, possibly multiline      *
3115 *************************************************/
3116
3117 /* There are, it seems, broken clients out there that cannot handle multiline
3118 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3119 output nothing for non-final calls, and only the first line for anything else.
3120
3121 Arguments:
3122   code          SMTP code, may involve extended status codes
3123   codelen       length of smtp code; if > 4 there's an ESC
3124   final         FALSE if the last line isn't the final line
3125   msg           message text, possibly containing newlines
3126
3127 Returns:        nothing
3128 */
3129
3130 void
3131 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3132 {
3133 int esclen = 0;
3134 uschar *esc = US"";
3135
3136 if (!final && f.no_multiline_responses) return;
3137
3138 if (codelen > 4)
3139   {
3140   esc = code + 4;
3141   esclen = codelen - 4;
3142   }
3143
3144 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3145 have had the same. Note: this code is also present in smtp_printf(). It would
3146 be tidier to have it only in one place, but when it was added, it was easier to
3147 do it that way, so as not to have to mess with the code for the RCPT command,
3148 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3149
3150 if (fl.rcpt_in_progress)
3151   {
3152   if (rcpt_smtp_response == NULL)
3153     rcpt_smtp_response = string_copy(msg);
3154   else if (fl.rcpt_smtp_response_same &&
3155            Ustrcmp(rcpt_smtp_response, msg) != 0)
3156     fl.rcpt_smtp_response_same = FALSE;
3157   fl.rcpt_in_progress = FALSE;
3158   }
3159
3160 /* Now output the message, splitting it up into multiple lines if necessary.
3161 We only handle pipelining these responses as far as nonfinal/final groups,
3162 not the whole MAIL/RCPT/DATA response set. */
3163
3164 for (;;)
3165   {
3166   uschar *nl = Ustrchr(msg, '\n');
3167   if (nl == NULL)
3168     {
3169     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3170     return;
3171     }
3172   else if (nl[1] == 0 || f.no_multiline_responses)
3173     {
3174     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3175       (int)(nl - msg), msg);
3176     return;
3177     }
3178   else
3179     {
3180     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3181     msg = nl + 1;
3182     while (isspace(*msg)) msg++;
3183     }
3184   }
3185 }
3186
3187
3188
3189
3190 /*************************************************
3191 *            Parse user SMTP message             *
3192 *************************************************/
3193
3194 /* This function allows for user messages overriding the response code details
3195 by providing a suitable response code string at the start of the message
3196 user_msg. Check the message for starting with a response code and optionally an
3197 extended status code. If found, check that the first digit is valid, and if so,
3198 change the code pointer and length to use the replacement. An invalid code
3199 causes a panic log; in this case, if the log messages is the same as the user
3200 message, we must also adjust the value of the log message to show the code that
3201 is actually going to be used (the original one).
3202
3203 This function is global because it is called from receive.c as well as within
3204 this module.
3205
3206 Note that the code length returned includes the terminating whitespace
3207 character, which is always included in the regex match.
3208
3209 Arguments:
3210   code          SMTP code, may involve extended status codes
3211   codelen       length of smtp code; if > 4 there's an ESC
3212   msg           message text
3213   log_msg       optional log message, to be adjusted with the new SMTP code
3214   check_valid   if true, verify the response code
3215
3216 Returns:        nothing
3217 */
3218
3219 void
3220 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3221   BOOL check_valid)
3222 {
3223 int n;
3224 int ovector[3];
3225
3226 if (!msg || !*msg) return;
3227
3228 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3229   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3230
3231 if (check_valid && (*msg)[0] != (*code)[0])
3232   {
3233   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3234     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3235   if (log_msg != NULL && *log_msg == *msg)
3236     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3237   }
3238 else
3239   {
3240   *code = *msg;
3241   *codelen = ovector[1];    /* Includes final space */
3242   }
3243 *msg += ovector[1];         /* Chop the code off the message */
3244 return;
3245 }
3246
3247
3248
3249
3250 /*************************************************
3251 *           Handle an ACL failure                *
3252 *************************************************/
3253
3254 /* This function is called when acl_check() fails. As well as calls from within
3255 this module, it is called from receive.c for an ACL after DATA. It sorts out
3256 logging the incident, and sends the error response. A message containing
3257 newlines is turned into a multiline SMTP response, but for logging, only the
3258 first line is used.
3259
3260 There's a table of default permanent failure response codes to use in
3261 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3262 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3263 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3264 state, because there are broken clients that try VRFY before RCPT. A 5xx
3265 response should be given only when the address is positively known to be
3266 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3267 no explicit code, but if there is one we let it know best.
3268 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3269
3270 From Exim 4.63, it is possible to override the response code details by
3271 providing a suitable response code string at the start of the message provided
3272 in user_msg. The code's first digit is checked for validity.
3273
3274 Arguments:
3275   where        where the ACL was called from
3276   rc           the failure code
3277   user_msg     a message that can be included in an SMTP response
3278   log_msg      a message for logging
3279
3280 Returns:     0 in most cases
3281              2 if the failure code was FAIL_DROP, in which case the
3282                SMTP connection should be dropped (this value fits with the
3283                "done" variable in smtp_setup_msg() below)
3284 */
3285
3286 int
3287 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3288 {
3289 BOOL drop = rc == FAIL_DROP;
3290 int codelen = 3;
3291 uschar *smtp_code;
3292 uschar *lognl;
3293 uschar *sender_info = US"";
3294 uschar *what =
3295 #ifdef WITH_CONTENT_SCAN
3296   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3297 #endif
3298   where == ACL_WHERE_PREDATA ? US"DATA" :
3299   where == ACL_WHERE_DATA ? US"after DATA" :
3300 #ifndef DISABLE_PRDR
3301   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3302 #endif
3303   smtp_cmd_data ?
3304     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3305     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3306
3307 if (drop) rc = FAIL;
3308
3309 /* Set the default SMTP code, and allow a user message to change it. */
3310
3311 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3312 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3313   where != ACL_WHERE_VRFY);
3314
3315 /* We used to have sender_address here; however, there was a bug that was not
3316 updating sender_address after a rewrite during a verify. When this bug was
3317 fixed, sender_address at this point became the rewritten address. I'm not sure
3318 this is what should be logged, so I've changed to logging the unrewritten
3319 address to retain backward compatibility. */
3320
3321 #ifndef WITH_CONTENT_SCAN
3322 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3323 #else
3324 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3325 #endif
3326   {
3327   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3328     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3329     sender_host_authenticated ? US" A="                                    : US"",
3330     sender_host_authenticated ? sender_host_authenticated                  : US"",
3331     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3332     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3333     );
3334   }
3335
3336 /* If there's been a sender verification failure with a specific message, and
3337 we have not sent a response about it yet, do so now, as a preliminary line for
3338 failures, but not defers. However, always log it for defer, and log it for fail
3339 unless the sender_verify_fail log selector has been turned off. */
3340
3341 if (sender_verified_failed &&
3342     !testflag(sender_verified_failed, af_sverify_told))
3343   {
3344   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3345   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3346
3347   setflag(sender_verified_failed, af_sverify_told);
3348
3349   if (rc != FAIL || LOGGING(sender_verify_fail))
3350     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3351       host_and_ident(TRUE),
3352       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3353       sender_verified_failed->address,
3354       (sender_verified_failed->message == NULL)? US"" :
3355       string_sprintf(": %s", sender_verified_failed->message));
3356
3357   if (rc == FAIL && sender_verified_failed->user_message)
3358     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3359         testflag(sender_verified_failed, af_verify_pmfail)?
3360           "Postmaster verification failed while checking <%s>\n%s\n"
3361           "Several RFCs state that you are required to have a postmaster\n"
3362           "mailbox for each mail domain. This host does not accept mail\n"
3363           "from domains whose servers reject the postmaster address."
3364           :
3365         testflag(sender_verified_failed, af_verify_nsfail)?
3366           "Callback setup failed while verifying <%s>\n%s\n"
3367           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3368           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3369           "RFC requirements, and stops you from receiving standard bounce\n"
3370           "messages. This host does not accept mail from domains whose servers\n"
3371           "refuse bounces."
3372           :
3373           "Verification failed for <%s>\n%s",
3374         sender_verified_failed->address,
3375         sender_verified_failed->user_message));
3376
3377   fl.rcpt_in_progress = save_rcpt_in_progress;
3378   }
3379
3380 /* Sort out text for logging */
3381
3382 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3383 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3384
3385 /* Send permanent failure response to the command, but the code used isn't
3386 always a 5xx one - see comments at the start of this function. If the original
3387 rc was FAIL_DROP we drop the connection and yield 2. */
3388
3389 if (rc == FAIL)
3390   smtp_respond(smtp_code, codelen, TRUE,
3391     user_msg ? user_msg : US"Administrative prohibition");
3392
3393 /* Send temporary failure response to the command. Don't give any details,
3394 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3395 verb, and for a header verify when smtp_return_error_details is set.
3396
3397 This conditional logic is all somewhat of a mess because of the odd
3398 interactions between temp_details and return_error_details. One day it should
3399 be re-implemented in a tidier fashion. */
3400
3401 else
3402   if (f.acl_temp_details && user_msg)
3403     {
3404     if (  smtp_return_error_details
3405        && sender_verified_failed
3406        && sender_verified_failed->message
3407        )
3408       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3409
3410     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3411     }
3412   else
3413     smtp_respond(smtp_code, codelen, TRUE,
3414       US"Temporary local problem - please try later");
3415
3416 /* Log the incident to the logs that are specified by log_reject_target
3417 (default main, reject). This can be empty to suppress logging of rejections. If
3418 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3419 is closing if required and return 2.  */
3420
3421 if (log_reject_target != 0)
3422   {
3423 #ifdef SUPPORT_TLS
3424   gstring * g = s_tlslog(NULL);
3425   uschar * tls = string_from_gstring(g);
3426   if (!tls) tls = US"";
3427 #else
3428   uschar * tls = US"";
3429 #endif
3430   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3431     log_reject_target, "%s%s%s %s%srejected %s%s",
3432     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3433     host_and_ident(TRUE),
3434     tls,
3435     sender_info,
3436     rc == FAIL ? US"" : US"temporarily ",
3437     what, log_msg);
3438   }
3439
3440 if (!drop) return 0;
3441
3442 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3443   smtp_get_connection_info());
3444
3445 /* Run the not-quit ACL, but without any custom messages. This should not be a
3446 problem, because we get here only if some other ACL has issued "drop", and
3447 in that case, *its* custom messages will have been used above. */
3448
3449 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3450 return 2;
3451 }
3452
3453
3454
3455
3456 /*************************************************
3457 *     Handle SMTP exit when QUIT is not given    *
3458 *************************************************/
3459
3460 /* This function provides a logging/statistics hook for when an SMTP connection
3461 is dropped on the floor or the other end goes away. It's a global function
3462 because it's called from receive.c as well as this module. As well as running
3463 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3464 response, either with a custom message from the ACL, or using a default. There
3465 is one case, however, when no message is output - after "drop". In that case,
3466 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3467 passed to this function.
3468
3469 In case things go wrong while processing this function, causing an error that
3470 may re-enter this function, there is a recursion check.
3471
3472 Arguments:
3473   reason          What $smtp_notquit_reason will be set to in the ACL;
3474                     if NULL, the ACL is not run
3475   code            The error code to return as part of the response
3476   defaultrespond  The default message if there's no user_msg
3477
3478 Returns:          Nothing
3479 */
3480
3481 void
3482 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3483 {
3484 int rc;
3485 uschar *user_msg = NULL;
3486 uschar *log_msg = NULL;
3487
3488 /* Check for recursive acll */
3489
3490 if (fl.smtp_exit_function_called)
3491   {
3492   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3493     reason);
3494   return;
3495   }
3496 fl.smtp_exit_function_called = TRUE;
3497
3498 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3499
3500 if (acl_smtp_notquit && reason)
3501   {
3502   smtp_notquit_reason = reason;
3503   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3504                       &log_msg)) == ERROR)
3505     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3506       log_msg);
3507   }
3508
3509 /* If the connection was dropped, we certainly are no longer talking TLS */
3510 tls_in.active.sock = -1;
3511
3512 /* Write an SMTP response if we are expected to give one. As the default
3513 responses are all internal, they should always fit in the buffer, but code a
3514 warning, just in case. Note that string_vformat() still leaves a complete
3515 string, even if it is incomplete. */
3516
3517 if (code && defaultrespond)
3518   {
3519   if (user_msg)
3520     smtp_respond(code, 3, TRUE, user_msg);
3521   else
3522     {
3523     gstring * g;
3524     va_list ap;
3525
3526     va_start(ap, defaultrespond);
3527     g = string_vformat(NULL, TRUE, CS defaultrespond, ap);
3528     va_end(ap);
3529     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3530     }
3531   mac_smtp_fflush();
3532   }
3533 }
3534
3535
3536
3537
3538 /*************************************************
3539 *             Verify HELO argument               *
3540 *************************************************/
3541
3542 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3543 matched. It is also called from ACL processing if verify = helo is used and
3544 verification was not previously tried (i.e. helo_try_verify_hosts was not
3545 matched). The result of its processing is to set helo_verified and
3546 helo_verify_failed. These variables should both be FALSE for this function to
3547 be called.
3548
3549 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3550 for IPv6 ::ffff: literals.
3551
3552 Argument:   none
3553 Returns:    TRUE if testing was completed;
3554             FALSE on a temporary failure
3555 */
3556
3557 BOOL
3558 smtp_verify_helo(void)
3559 {
3560 BOOL yield = TRUE;
3561
3562 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3563   sender_helo_name);
3564
3565 if (sender_helo_name == NULL)
3566   {
3567   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3568   }
3569
3570 /* Deal with the case of -bs without an IP address */
3571
3572 else if (sender_host_address == NULL)
3573   {
3574   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3575   f.helo_verified = TRUE;
3576   }
3577
3578 /* Deal with the more common case when there is a sending IP address */
3579
3580 else if (sender_helo_name[0] == '[')
3581   {
3582   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3583     Ustrlen(sender_host_address)) == 0;
3584
3585 #if HAVE_IPV6
3586   if (!f.helo_verified)
3587     {
3588     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3589       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3590         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3591     }
3592 #endif
3593
3594   HDEBUG(D_receive)
3595     { if (f.helo_verified) debug_printf("matched host address\n"); }
3596   }
3597
3598 /* Do a reverse lookup if one hasn't already given a positive or negative
3599 response. If that fails, or the name doesn't match, try checking with a forward
3600 lookup. */
3601
3602 else
3603   {
3604   if (sender_host_name == NULL && !host_lookup_failed)
3605     yield = host_name_lookup() != DEFER;
3606
3607   /* If a host name is known, check it and all its aliases. */
3608
3609   if (sender_host_name)
3610     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3611       {
3612       sender_helo_dnssec = sender_host_dnssec;
3613       HDEBUG(D_receive) debug_printf("matched host name\n");
3614       }
3615     else
3616       {
3617       uschar **aliases = sender_host_aliases;
3618       while (*aliases)
3619         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3620           {
3621           sender_helo_dnssec = sender_host_dnssec;
3622           break;
3623           }
3624
3625       HDEBUG(D_receive) if (f.helo_verified)
3626           debug_printf("matched alias %s\n", *(--aliases));
3627       }
3628
3629   /* Final attempt: try a forward lookup of the helo name */
3630
3631   if (!f.helo_verified)
3632     {
3633     int rc;
3634     host_item h;
3635     dnssec_domains d;
3636     host_item *hh;
3637
3638     h.name = sender_helo_name;
3639     h.address = NULL;
3640     h.mx = MX_NONE;
3641     h.next = NULL;
3642     d.request = US"*";
3643     d.require = US"";
3644
3645     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3646       sender_helo_name);
3647     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3648                           NULL, NULL, NULL, &d, NULL, NULL);
3649     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3650       for (hh = &h; hh; hh = hh->next)
3651         if (Ustrcmp(hh->address, sender_host_address) == 0)
3652           {
3653           f.helo_verified = TRUE;
3654           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3655           HDEBUG(D_receive)
3656             {
3657             debug_printf("IP address for %s matches calling address\n"
3658               "Forward DNS security status: %sverified\n",
3659               sender_helo_name, sender_helo_dnssec ? "" : "un");
3660             }
3661           break;
3662           }
3663     }
3664   }
3665
3666 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3667 return yield;
3668 }
3669
3670
3671
3672
3673 /*************************************************
3674 *        Send user response message              *
3675 *************************************************/
3676
3677 /* This function is passed a default response code and a user message. It calls
3678 smtp_message_code() to check and possibly modify the response code, and then
3679 calls smtp_respond() to transmit the response. I put this into a function
3680 just to avoid a lot of repetition.
3681
3682 Arguments:
3683   code         the response code
3684   user_msg     the user message
3685
3686 Returns:       nothing
3687 */
3688
3689 static void
3690 smtp_user_msg(uschar *code, uschar *user_msg)
3691 {
3692 int len = 3;
3693 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3694 smtp_respond(code, len, TRUE, user_msg);
3695 }
3696
3697
3698
3699 static int
3700 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3701 {
3702 const uschar *set_id = NULL;
3703 int rc, i;
3704
3705 /* Run the checking code, passing the remainder of the command line as
3706 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3707 it as the only set numerical variable. The authenticator may set $auth<n>
3708 and also set other numeric variables. The $auth<n> variables are preferred
3709 nowadays; the numerical variables remain for backwards compatibility.
3710
3711 Afterwards, have a go at expanding the set_id string, even if
3712 authentication failed - for bad passwords it can be useful to log the
3713 userid. On success, require set_id to expand and exist, and put it in
3714 authenticated_id. Save this in permanent store, as the working store gets
3715 reset at HELO, RSET, etc. */
3716
3717 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3718 expand_nmax = 0;
3719 expand_nlength[0] = 0;   /* $0 contains nothing */
3720
3721 rc = (au->info->servercode)(au, smtp_cmd_data);
3722 if (au->set_id) set_id = expand_string(au->set_id);
3723 expand_nmax = -1;        /* Reset numeric variables */
3724 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3725
3726 /* The value of authenticated_id is stored in the spool file and printed in
3727 log lines. It must not contain binary zeros or newline characters. In
3728 normal use, it never will, but when playing around or testing, this error
3729 can (did) happen. To guard against this, ensure that the id contains only
3730 printing characters. */
3731
3732 if (set_id) set_id = string_printing(set_id);
3733
3734 /* For the non-OK cases, set up additional logging data if set_id
3735 is not empty. */
3736
3737 if (rc != OK)
3738   set_id = set_id && *set_id
3739     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3740
3741 /* Switch on the result */
3742
3743 switch(rc)
3744   {
3745   case OK:
3746   if (!au->set_id || set_id)    /* Complete success */
3747     {
3748     if (set_id) authenticated_id = string_copy_malloc(set_id);
3749     sender_host_authenticated = au->name;
3750     sender_host_auth_pubname  = au->public_name;
3751     authentication_failed = FALSE;
3752     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3753
3754     received_protocol =
3755       (sender_host_address ? protocols : protocols_local)
3756         [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3757     *s = *ss = US"235 Authentication succeeded";
3758     authenticated_by = au;
3759     break;
3760     }
3761
3762   /* Authentication succeeded, but we failed to expand the set_id string.
3763   Treat this as a temporary error. */
3764
3765   auth_defer_msg = expand_string_message;
3766   /* Fall through */
3767
3768   case DEFER:
3769   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3770   *s = string_sprintf("435 Unable to authenticate at present%s",
3771     auth_defer_user_msg);
3772   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3773     set_id, auth_defer_msg);
3774   break;
3775
3776   case BAD64:
3777   *s = *ss = US"501 Invalid base64 data";
3778   break;
3779
3780   case CANCELLED:
3781   *s = *ss = US"501 Authentication cancelled";
3782   break;
3783
3784   case UNEXPECTED:
3785   *s = *ss = US"553 Initial data not expected";
3786   break;
3787
3788   case FAIL:
3789   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3790   *s = US"535 Incorrect authentication data";
3791   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3792   break;
3793
3794   default:
3795   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3796   *s = US"435 Internal error";
3797   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3798     "check", set_id, rc);
3799   break;
3800   }
3801
3802 return rc;
3803 }
3804
3805
3806
3807
3808
3809 static int
3810 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3811 {
3812 int rd;
3813 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3814   {
3815   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3816     *recipient);
3817   rd = Ustrlen(recipient) + 1;
3818   *recipient = rewrite_address_qualify(*recipient, TRUE);
3819   return rd;
3820   }
3821 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3822   smtp_cmd_data);
3823 log_write(L_smtp_syntax_error,
3824   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3825   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3826 return 0;
3827 }
3828
3829
3830
3831
3832 static void
3833 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3834 {
3835 HAD(SCH_QUIT);
3836 incomplete_transaction_log(US"QUIT");
3837 if (acl_smtp_quit)
3838   {
3839   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3840   if (rc == ERROR)
3841     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3842       *log_msgp);
3843   }
3844 if (*user_msgp)
3845   smtp_respond(US"221", 3, TRUE, *user_msgp);
3846 else
3847   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3848
3849 #ifdef SUPPORT_TLS
3850 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3851 #endif
3852
3853 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3854   smtp_get_connection_info());
3855 }
3856
3857
3858 static void
3859 smtp_rset_handler(void)
3860 {
3861 HAD(SCH_RSET);
3862 incomplete_transaction_log(US"RSET");
3863 smtp_printf("250 Reset OK\r\n", FALSE);
3864 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3865 }
3866
3867
3868
3869 /*************************************************
3870 *       Initialize for SMTP incoming message     *
3871 *************************************************/
3872
3873 /* This function conducts the initial dialogue at the start of an incoming SMTP
3874 message, and builds a list of recipients. However, if the incoming message
3875 is part of a batch (-bS option) a separate function is called since it would
3876 be messy having tests splattered about all over this function. This function
3877 therefore handles the case where interaction is occurring. The input and output
3878 files are set up in smtp_in and smtp_out.
3879
3880 The global recipients_list is set to point to a vector of recipient_item
3881 blocks, whose number is given by recipients_count. This is extended by the
3882 receive_add_recipient() function. The global variable sender_address is set to
3883 the sender's address. The yield is +1 if a message has been successfully
3884 started, 0 if a QUIT command was encountered or the connection was refused from
3885 the particular host, or -1 if the connection was lost.
3886
3887 Argument: none
3888
3889 Returns:  > 0 message successfully started (reached DATA)
3890           = 0 QUIT read or end of file reached or call refused
3891           < 0 lost connection
3892 */
3893
3894 int
3895 smtp_setup_msg(void)
3896 {
3897 int done = 0;
3898 BOOL toomany = FALSE;
3899 BOOL discarded = FALSE;
3900 BOOL last_was_rej_mail = FALSE;
3901 BOOL last_was_rcpt = FALSE;
3902 void *reset_point = store_get(0);
3903
3904 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3905
3906 /* Reset for start of new message. We allow one RSET not to be counted as a
3907 nonmail command, for those MTAs that insist on sending it between every
3908 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3909 TLS between messages (an Exim client may do this if it has messages queued up
3910 for the host). Note: we do NOT reset AUTH at this point. */
3911
3912 smtp_reset(reset_point);
3913 message_ended = END_NOTSTARTED;
3914
3915 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3916
3917 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3918 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3919 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3920 #ifdef SUPPORT_TLS
3921 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3922 #endif
3923
3924 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3925
3926 had_command_sigterm = 0;
3927 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3928
3929 /* Batched SMTP is handled in a different function. */
3930
3931 if (smtp_batched_input) return smtp_setup_batch_msg();
3932
3933 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3934 value. The values are 2 larger than the required yield of the function. */
3935
3936 while (done <= 0)
3937   {
3938   const uschar **argv;
3939   uschar *etrn_command;
3940   uschar *etrn_serialize_key;
3941   uschar *errmess;
3942   uschar *log_msg, *smtp_code;
3943   uschar *user_msg = NULL;
3944   uschar *recipient = NULL;
3945   uschar *hello = NULL;
3946   uschar *s, *ss;
3947   BOOL was_rej_mail = FALSE;
3948   BOOL was_rcpt = FALSE;
3949   void (*oldsignal)(int);
3950   pid_t pid;
3951   int start, end, sender_domain, recipient_domain;
3952   int rc;
3953   int c;
3954   auth_instance *au;
3955   uschar *orcpt = NULL;
3956   int dsn_flags;
3957   gstring * g;
3958
3959 #ifdef AUTH_TLS
3960   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3961   if (  tls_in.active.sock >= 0
3962      && tls_in.peercert
3963      && tls_in.certificate_verified
3964      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3965      )
3966     {
3967     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3968
3969     for (au = auths; au; au = au->next)
3970       if (strcmpic(US"tls", au->driver_name) == 0)
3971         {
3972         if (  acl_smtp_auth
3973            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3974                       &user_msg, &log_msg)) != OK
3975            )
3976           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3977         else
3978           {
3979           smtp_cmd_data = NULL;
3980
3981           if (smtp_in_auth(au, &s, &ss) == OK)
3982             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3983           else
3984             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3985           }
3986         break;
3987         }
3988     }
3989 #endif
3990
3991 #ifdef TCP_QUICKACK
3992   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3993     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3994             US &off, sizeof(off));
3995 #endif
3996
3997   switch(smtp_read_command(
3998 #ifdef EXPERIMENTAL_PIPE_CONNECT
3999           !fl.pipe_connect_acceptable,
4000 #else
4001           TRUE,
4002 #endif
4003           GETC_BUFFER_UNLIMITED))
4004     {
4005     /* The AUTH command is not permitted to occur inside a transaction, and may
4006     occur successfully only once per connection. Actually, that isn't quite
4007     true. When TLS is started, all previous information about a connection must
4008     be discarded, so a new AUTH is permitted at that time.
4009
4010     AUTH may only be used when it has been advertised. However, it seems that
4011     there are clients that send AUTH when it hasn't been advertised, some of
4012     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4013     So there's a get-out that allows this to happen.
4014
4015     AUTH is initially labelled as a "nonmail command" so that one occurrence
4016     doesn't get counted. We change the label here so that multiple failing
4017     AUTHS will eventually hit the nonmail threshold. */
4018
4019     case AUTH_CMD:
4020       HAD(SCH_AUTH);
4021       authentication_failed = TRUE;
4022       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4023
4024       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4025         {
4026         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4027           US"AUTH command used when not advertised");
4028         break;
4029         }
4030       if (sender_host_authenticated)
4031         {
4032         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4033           US"already authenticated");
4034         break;
4035         }
4036       if (sender_address)
4037         {
4038         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4039           US"not permitted in mail transaction");
4040         break;
4041         }
4042
4043       /* Check the ACL */
4044
4045       if (  acl_smtp_auth
4046          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4047                     &user_msg, &log_msg)) != OK
4048          )
4049         {
4050         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4051         break;
4052         }
4053
4054       /* Find the name of the requested authentication mechanism. */
4055
4056       s = smtp_cmd_data;
4057       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4058         {
4059         if (!isalnum(c) && c != '-' && c != '_')
4060           {
4061           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4062             US"invalid character in authentication mechanism name");
4063           goto COMMAND_LOOP;
4064           }
4065         smtp_cmd_data++;
4066         }
4067
4068       /* If not at the end of the line, we must be at white space. Terminate the
4069       name and move the pointer on to any data that may be present. */
4070
4071       if (*smtp_cmd_data != 0)
4072         {
4073         *smtp_cmd_data++ = 0;
4074         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4075         }
4076
4077       /* Search for an authentication mechanism which is configured for use
4078       as a server and which has been advertised (unless, sigh, allow_auth_
4079       unadvertised is set). */
4080
4081       for (au = auths; au; au = au->next)
4082         if (strcmpic(s, au->public_name) == 0 && au->server &&
4083             (au->advertised || f.allow_auth_unadvertised))
4084           break;
4085
4086       if (au)
4087         {
4088         c = smtp_in_auth(au, &s, &ss);
4089
4090         smtp_printf("%s\r\n", FALSE, s);
4091         if (c != OK)
4092           log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4093             au->name, host_and_ident(FALSE), ss);
4094         }
4095       else
4096         done = synprot_error(L_smtp_protocol_error, 504, NULL,
4097           string_sprintf("%s authentication mechanism not supported", s));
4098
4099       break;  /* AUTH_CMD */
4100
4101     /* The HELO/EHLO commands are permitted to appear in the middle of a
4102     session as well as at the beginning. They have the effect of a reset in
4103     addition to their other functions. Their absence at the start cannot be
4104     taken to be an error.
4105
4106     RFC 2821 says:
4107
4108       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4109       or 502 failure replies MUST be returned as appropriate.  The SMTP
4110       server MUST stay in the same state after transmitting these replies
4111       that it was in before the EHLO was received.
4112
4113     Therefore, we do not do the reset until after checking the command for
4114     acceptability. This change was made for Exim release 4.11. Previously
4115     it did the reset first. */
4116
4117     case HELO_CMD:
4118       HAD(SCH_HELO);
4119       hello = US"HELO";
4120       fl.esmtp = FALSE;
4121       goto HELO_EHLO;
4122
4123     case EHLO_CMD:
4124       HAD(SCH_EHLO);
4125       hello = US"EHLO";
4126       fl.esmtp = TRUE;
4127
4128     HELO_EHLO:      /* Common code for HELO and EHLO */
4129       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4130       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4131
4132       /* Reject the HELO if its argument was invalid or non-existent. A
4133       successful check causes the argument to be saved in malloc store. */
4134
4135       if (!check_helo(smtp_cmd_data))
4136         {
4137         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4138
4139         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4140           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4141           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4142                              string_printing(smtp_cmd_argument));
4143
4144         if (++synprot_error_count > smtp_max_synprot_errors)
4145           {
4146           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4147             "syntax or protocol errors (last command was \"%s\")",
4148             host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4149           done = 1;
4150           }
4151
4152         break;
4153         }
4154
4155       /* If sender_host_unknown is true, we have got here via the -bs interface,
4156       not called from inetd. Otherwise, we are running an IP connection and the
4157       host address will be set. If the helo name is the primary name of this
4158       host and we haven't done a reverse lookup, force one now. If helo_required
4159       is set, ensure that the HELO name matches the actual host. If helo_verify
4160       is set, do the same check, but softly. */
4161
4162       if (!f.sender_host_unknown)
4163         {
4164         BOOL old_helo_verified = f.helo_verified;
4165         uschar *p = smtp_cmd_data;
4166
4167         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4168         *p = 0;
4169
4170         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4171         because otherwise the log can be confusing. */
4172
4173         if (  !sender_host_name
4174            && (deliver_domain = sender_helo_name,  /* set $domain */
4175                match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4176                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
4177           (void)host_name_lookup();
4178
4179         /* Rebuild the fullhost info to include the HELO name (and the real name
4180         if it was looked up.) */
4181
4182         host_build_sender_fullhost();  /* Rebuild */
4183         set_process_info("handling%s incoming connection from %s",
4184           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4185
4186         /* Verify if configured. This doesn't give much security, but it does
4187         make some people happy to be able to do it. If helo_required is set,
4188         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4189         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4190         now obsolescent, since the verification can now be requested selectively
4191         at ACL time. */
4192
4193         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4194         if (fl.helo_required || fl.helo_verify)
4195           {
4196           BOOL tempfail = !smtp_verify_helo();
4197           if (!f.helo_verified)
4198             {
4199             if (fl.helo_required)
4200               {
4201               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4202                 tempfail? 451 : 550, hello);
4203               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4204                 tempfail? "temporarily " : "",
4205                 hello, sender_helo_name, host_and_ident(FALSE));
4206               f.helo_verified = old_helo_verified;
4207               break;                   /* End of HELO/EHLO processing */
4208               }
4209             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4210               "helo_try_verify_hosts\n", hello);
4211             }
4212           }
4213         }
4214
4215 #ifdef SUPPORT_SPF
4216       /* set up SPF context */
4217       spf_init(sender_helo_name, sender_host_address);
4218 #endif
4219
4220       /* Apply an ACL check if one is defined; afterwards, recheck
4221       synchronization in case the client started sending in a delay. */
4222
4223       if (acl_smtp_helo)
4224         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4225                   &user_msg, &log_msg)) != OK)
4226           {
4227           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4228           if (sender_helo_name)
4229             {
4230             store_free(sender_helo_name);
4231             sender_helo_name = NULL;
4232             }
4233           host_build_sender_fullhost();  /* Rebuild */
4234           break;
4235           }
4236 #ifdef EXPERIMENTAL_PIPE_CONNECT
4237         else if (!fl.pipe_connect_acceptable && !check_sync())
4238 #else
4239         else if (!check_sync())
4240 #endif
4241           goto SYNC_FAILURE;
4242
4243       /* Generate an OK reply. The default string includes the ident if present,
4244       and also the IP address if present. Reflecting back the ident is intended
4245       as a deterrent to mail forgers. For maximum efficiency, and also because
4246       some broken systems expect each response to be in a single packet, arrange
4247       that the entire reply is sent in one write(). */
4248
4249       fl.auth_advertised = FALSE;
4250       f.smtp_in_pipelining_advertised = FALSE;
4251 #ifdef SUPPORT_TLS
4252       fl.tls_advertised = FALSE;
4253 # ifdef EXPERIMENTAL_REQUIRETLS
4254       fl.requiretls_advertised = FALSE;
4255 # endif
4256 #endif
4257       fl.dsn_advertised = FALSE;
4258 #ifdef SUPPORT_I18N
4259       fl.smtputf8_advertised = FALSE;
4260 #endif
4261
4262       smtp_code = US"250 ";        /* Default response code plus space*/
4263       if (!user_msg)
4264         {
4265         s = string_sprintf("%.3s %s Hello %s%s%s",
4266           smtp_code,
4267           smtp_active_hostname,
4268           sender_ident ? sender_ident : US"",
4269           sender_ident ? US" at " : US"",
4270           sender_host_name ? sender_host_name : sender_helo_name);
4271         g = string_cat(NULL, s);
4272
4273         if (sender_host_address)
4274           {
4275           g = string_catn(g, US" [", 2);
4276           g = string_cat (g, sender_host_address);
4277           g = string_catn(g, US"]", 1);
4278           }
4279         }
4280
4281       /* A user-supplied EHLO greeting may not contain more than one line. Note
4282       that the code returned by smtp_message_code() includes the terminating
4283       whitespace character. */
4284
4285       else
4286         {
4287         char *ss;
4288         int codelen = 4;
4289         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4290         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4291         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4292           {
4293           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4294             "newlines: message truncated: %s", string_printing(s));
4295           *ss = 0;
4296           }
4297         g = string_cat(NULL, s);
4298         }
4299
4300       g = string_catn(g, US"\r\n", 2);
4301
4302       /* If we received EHLO, we must create a multiline response which includes
4303       the functions supported. */
4304
4305       if (fl.esmtp)
4306         {
4307         g->s[3] = '-';
4308
4309         /* I'm not entirely happy with this, as an MTA is supposed to check
4310         that it has enough room to accept a message of maximum size before
4311         it sends this. However, there seems little point in not sending it.
4312         The actual size check happens later at MAIL FROM time. By postponing it
4313         till then, VRFY and EXPN can be used after EHLO when space is short. */
4314
4315         if (thismessage_size_limit > 0)
4316           {
4317           sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
4318             thismessage_size_limit);
4319           g = string_cat(g, big_buffer);
4320           }
4321         else
4322           {
4323           g = string_catn(g, smtp_code, 3);
4324           g = string_catn(g, US"-SIZE\r\n", 7);
4325           }
4326
4327         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4328         clean; if it has an 8-bit character in its hand, it just sends it. It
4329         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4330         However, some users want this option simply in order to stop MUAs
4331         mangling messages that contain top-bit-set characters. It is therefore
4332         provided as an option. */
4333
4334         if (accept_8bitmime)
4335           {
4336           g = string_catn(g, smtp_code, 3);
4337           g = string_catn(g, US"-8BITMIME\r\n", 11);
4338           }
4339
4340         /* Advertise DSN support if configured to do so. */
4341         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4342           {
4343           g = string_catn(g, smtp_code, 3);
4344           g = string_catn(g, US"-DSN\r\n", 6);
4345           fl.dsn_advertised = TRUE;
4346           }
4347
4348         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4349         permitted to issue them; a check is made when any host actually tries. */
4350
4351         if (acl_smtp_etrn)
4352           {
4353           g = string_catn(g, smtp_code, 3);
4354           g = string_catn(g, US"-ETRN\r\n", 7);
4355           }
4356         if (acl_smtp_vrfy)
4357           {
4358           g = string_catn(g, smtp_code, 3);
4359           g = string_catn(g, US"-VRFY\r\n", 7);
4360           }
4361         if (acl_smtp_expn)
4362           {
4363           g = string_catn(g, smtp_code, 3);
4364           g = string_catn(g, US"-EXPN\r\n", 7);
4365           }
4366
4367         /* Exim is quite happy with pipelining, so let the other end know that
4368         it is safe to use it, unless advertising is disabled. */
4369
4370         if (  f.pipelining_enable
4371            && verify_check_host(&pipelining_advertise_hosts) == OK)
4372           {
4373           g = string_catn(g, smtp_code, 3);
4374           g = string_catn(g, US"-PIPELINING\r\n", 13);
4375           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4376           f.smtp_in_pipelining_advertised = TRUE;
4377
4378 #ifdef EXPERIMENTAL_PIPE_CONNECT
4379           if (fl.pipe_connect_acceptable)
4380             {
4381             f.smtp_in_early_pipe_advertised = TRUE;
4382             g = string_catn(g, smtp_code, 3);
4383             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4384             }
4385 #endif
4386           }
4387
4388
4389         /* If any server authentication mechanisms are configured, advertise
4390         them if the current host is in auth_advertise_hosts. The problem with
4391         advertising always is that some clients then require users to
4392         authenticate (and aren't configurable otherwise) even though it may not
4393         be necessary (e.g. if the host is in host_accept_relay).
4394
4395         RFC 2222 states that SASL mechanism names contain only upper case
4396         letters, so output the names in upper case, though we actually recognize
4397         them in either case in the AUTH command. */
4398
4399         if (  auths
4400 #ifdef AUTH_TLS
4401            && !sender_host_authenticated
4402 #endif
4403            && verify_check_host(&auth_advertise_hosts) == OK
4404            )
4405           {
4406           auth_instance *au;
4407           BOOL first = TRUE;
4408           for (au = auths; au; au = au->next)
4409             {
4410             au->advertised = FALSE;
4411             if (au->server)
4412               {
4413               DEBUG(D_auth+D_expand) debug_printf_indent(
4414                 "Evaluating advertise_condition for %s athenticator\n",
4415                 au->public_name);
4416               if (  !au->advertise_condition
4417                  || expand_check_condition(au->advertise_condition, au->name,
4418                         US"authenticator")
4419                  )
4420                 {
4421                 int saveptr;
4422                 if (first)
4423                   {
4424                   g = string_catn(g, smtp_code, 3);
4425                   g = string_catn(g, US"-AUTH", 5);
4426                   first = FALSE;
4427                   fl.auth_advertised = TRUE;
4428                   }
4429                 saveptr = g->ptr;
4430                 g = string_catn(g, US" ", 1);
4431                 g = string_cat (g, au->public_name);
4432                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4433                 au->advertised = TRUE;
4434                 }
4435               }
4436             }
4437
4438           if (!first) g = string_catn(g, US"\r\n", 2);
4439           }
4440
4441         /* RFC 3030 CHUNKING */
4442
4443         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4444           {
4445           g = string_catn(g, smtp_code, 3);
4446           g = string_catn(g, US"-CHUNKING\r\n", 11);
4447           f.chunking_offered = TRUE;
4448           chunking_state = CHUNKING_OFFERED;
4449           }
4450
4451         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4452         if it has been included in the binary, and the host matches
4453         tls_advertise_hosts. We must *not* advertise if we are already in a
4454         secure connection. */
4455
4456 #ifdef SUPPORT_TLS
4457         if (tls_in.active.sock < 0 &&
4458             verify_check_host(&tls_advertise_hosts) != FAIL)
4459           {
4460           g = string_catn(g, smtp_code, 3);
4461           g = string_catn(g, US"-STARTTLS\r\n", 11);
4462           fl.tls_advertised = TRUE;
4463           }
4464
4465 # ifdef EXPERIMENTAL_REQUIRETLS
4466         /* Advertise REQUIRETLS only once we are in a secure connection */
4467         if (  tls_in.active.sock >= 0
4468            && verify_check_host(&tls_advertise_requiretls) != FAIL)
4469           {
4470           g = string_catn(g, smtp_code, 3);
4471           g = string_catn(g, US"-REQUIRETLS\r\n", 13);
4472           fl.requiretls_advertised = TRUE;
4473           }
4474 # endif
4475 #endif
4476
4477 #ifndef DISABLE_PRDR
4478         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4479         if (prdr_enable)
4480           {
4481           g = string_catn(g, smtp_code, 3);
4482           g = string_catn(g, US"-PRDR\r\n", 7);
4483           }
4484 #endif
4485
4486 #ifdef SUPPORT_I18N
4487         if (  accept_8bitmime
4488            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4489           {
4490           g = string_catn(g, smtp_code, 3);
4491           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4492           fl.smtputf8_advertised = TRUE;
4493           }
4494 #endif
4495
4496         /* Finish off the multiline reply with one that is always available. */
4497
4498         g = string_catn(g, smtp_code, 3);
4499         g = string_catn(g, US" HELP\r\n", 7);
4500         }
4501
4502       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4503       has been seen. */
4504
4505 #ifdef SUPPORT_TLS
4506       if (tls_in.active.sock >= 0)
4507         (void)tls_write(NULL, g->s, g->ptr,
4508 # ifdef EXPERIMENTAL_PIPE_CONNECT
4509                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4510 # else
4511                         FALSE);
4512 # endif
4513       else
4514 #endif
4515
4516         {
4517         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4518         }
4519       DEBUG(D_receive)
4520         {
4521         uschar *cr;
4522
4523         (void) string_from_gstring(g);
4524         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4525           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4526         debug_printf("SMTP>> %s", g->s);
4527         }
4528       fl.helo_seen = TRUE;
4529
4530       /* Reset the protocol and the state, abandoning any previous message. */
4531       received_protocol =
4532         (sender_host_address ? protocols : protocols_local)
4533           [ (fl.esmtp
4534             ? pextend + (sender_host_authenticated ? pauthed : 0)
4535             : pnormal)
4536           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4537           ];
4538       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4539       smtp_reset(reset_point);
4540       toomany = FALSE;
4541       break;   /* HELO/EHLO */
4542
4543
4544     /* The MAIL command requires an address as an operand. All we do
4545     here is to parse it for syntactic correctness. The form "<>" is
4546     a special case which converts into an empty string. The start/end
4547     pointers in the original are not used further for this address, as
4548     it is the canonical extracted address which is all that is kept. */
4549
4550     case MAIL_CMD:
4551       HAD(SCH_MAIL);
4552       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4553       was_rej_mail = TRUE;               /* Reset if accepted */
4554       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4555
4556       if (fl.helo_required && !fl.helo_seen)
4557         {
4558         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4559         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4560           "HELO/EHLO given", host_and_ident(FALSE));
4561         break;
4562         }
4563
4564       if (sender_address)
4565         {
4566         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4567           US"sender already given");
4568         break;
4569         }
4570
4571       if (!*smtp_cmd_data)
4572         {
4573         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4574           US"MAIL must have an address operand");
4575         break;
4576         }
4577
4578       /* Check to see if the limit for messages per connection would be
4579       exceeded by accepting further messages. */
4580
4581       if (smtp_accept_max_per_connection > 0 &&
4582           smtp_mailcmd_count > smtp_accept_max_per_connection)
4583         {
4584         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4585         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4586           "messages in one connection", host_and_ident(TRUE));
4587         break;
4588         }
4589
4590       /* Reset for start of message - even if this is going to fail, we
4591       obviously need to throw away any previous data. */
4592
4593       cancel_cutthrough_connection(TRUE, US"MAIL received");
4594       smtp_reset(reset_point);
4595       toomany = FALSE;
4596       sender_data = recipient_data = NULL;
4597
4598       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4599
4600       if (fl.esmtp) for(;;)
4601         {
4602         uschar *name, *value, *end;
4603         unsigned long int size;
4604         BOOL arg_error = FALSE;
4605
4606         if (!extract_option(&name, &value)) break;
4607
4608         for (mail_args = env_mail_type_list;
4609              mail_args->value != ENV_MAIL_OPT_NULL;
4610              mail_args++
4611             )
4612           if (strcmpic(name, mail_args->name) == 0)
4613             break;
4614         if (mail_args->need_value && strcmpic(value, US"") == 0)
4615           break;
4616
4617         switch(mail_args->value)
4618           {
4619           /* Handle SIZE= by reading the value. We don't do the check till later,
4620           in order to be able to log the sender address on failure. */
4621           case ENV_MAIL_OPT_SIZE:
4622             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4623               {
4624               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4625                 size = INT_MAX;
4626               message_size = (int)size;
4627               }
4628             else
4629               arg_error = TRUE;
4630             break;
4631
4632           /* If this session was initiated with EHLO and accept_8bitmime is set,
4633           Exim will have indicated that it supports the BODY=8BITMIME option. In
4634           fact, it does not support this according to the RFCs, in that it does not
4635           take any special action for forwarding messages containing 8-bit
4636           characters. That is why accept_8bitmime is not the default setting, but
4637           some sites want the action that is provided. We recognize both "8BITMIME"
4638           and "7BIT" as body types, but take no action. */
4639           case ENV_MAIL_OPT_BODY:
4640             if (accept_8bitmime) {
4641               if (strcmpic(value, US"8BITMIME") == 0)
4642                 body_8bitmime = 8;
4643               else if (strcmpic(value, US"7BIT") == 0)
4644                 body_8bitmime = 7;
4645               else
4646                 {
4647                 body_8bitmime = 0;
4648                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4649                   US"invalid data for BODY");
4650                 goto COMMAND_LOOP;
4651                 }
4652               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4653               break;
4654             }
4655             arg_error = TRUE;
4656             break;
4657
4658           /* Handle the two DSN options, but only if configured to do so (which
4659           will have caused "DSN" to be given in the EHLO response). The code itself
4660           is included only if configured in at build time. */
4661
4662           case ENV_MAIL_OPT_RET:
4663             if (fl.dsn_advertised)
4664               {
4665               /* Check if RET has already been set */
4666               if (dsn_ret > 0)
4667                 {
4668                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4669                   US"RET can be specified once only");
4670                 goto COMMAND_LOOP;
4671                 }
4672               dsn_ret = strcmpic(value, US"HDRS") == 0
4673                 ? dsn_ret_hdrs
4674                 : strcmpic(value, US"FULL") == 0
4675                 ? dsn_ret_full
4676                 : 0;
4677               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4678               /* Check for invalid invalid value, and exit with error */
4679               if (dsn_ret == 0)
4680                 {
4681                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4682                   US"Value for RET is invalid");
4683                 goto COMMAND_LOOP;
4684                 }
4685               }
4686             break;
4687           case ENV_MAIL_OPT_ENVID:
4688             if (fl.dsn_advertised)
4689               {
4690               /* Check if the dsn envid has been already set */
4691               if (dsn_envid)
4692                 {
4693                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4694                   US"ENVID can be specified once only");
4695                 goto COMMAND_LOOP;
4696                 }
4697               dsn_envid = string_copy(value);
4698               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4699               }
4700             break;
4701
4702           /* Handle the AUTH extension. If the value given is not "<>" and either
4703           the ACL says "yes" or there is no ACL but the sending host is
4704           authenticated, we set it up as the authenticated sender. However, if the
4705           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4706           the condition is met. The value of AUTH is an xtext, which means that +,
4707           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4708           coding. */
4709           case ENV_MAIL_OPT_AUTH:
4710             if (Ustrcmp(value, "<>") != 0)
4711               {
4712               int rc;
4713               uschar *ignore_msg;
4714
4715               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4716                 {
4717                 /* Put back terminator overrides for error message */
4718                 value[-1] = '=';
4719                 name[-1] = ' ';
4720                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4721                   US"invalid data for AUTH");
4722                 goto COMMAND_LOOP;
4723                 }
4724               if (!acl_smtp_mailauth)
4725                 {
4726                 ignore_msg = US"client not authenticated";
4727                 rc = sender_host_authenticated ? OK : FAIL;
4728                 }
4729               else
4730                 {
4731                 ignore_msg = US"rejected by ACL";
4732                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4733                   &user_msg, &log_msg);
4734                 }
4735
4736               switch (rc)
4737                 {
4738                 case OK:
4739                   if (authenticated_by == NULL ||
4740                       authenticated_by->mail_auth_condition == NULL ||
4741                       expand_check_condition(authenticated_by->mail_auth_condition,
4742                           authenticated_by->name, US"authenticator"))
4743                     break;     /* Accept the AUTH */
4744
4745                   ignore_msg = US"server_mail_auth_condition failed";
4746                   if (authenticated_id != NULL)
4747                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4748                       ignore_msg, authenticated_id);
4749
4750                 /* Fall through */
4751
4752                 case FAIL:
4753                   authenticated_sender = NULL;
4754                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4755                     value, host_and_ident(TRUE), ignore_msg);
4756                   break;
4757
4758                 /* Should only get DEFER or ERROR here. Put back terminator
4759                 overrides for error message */
4760
4761                 default:
4762                   value[-1] = '=';
4763                   name[-1] = ' ';
4764                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4765                     log_msg);
4766                   goto COMMAND_LOOP;
4767                 }
4768               }
4769               break;
4770
4771 #ifndef DISABLE_PRDR
4772           case ENV_MAIL_OPT_PRDR:
4773             if (prdr_enable)
4774               prdr_requested = TRUE;
4775             break;
4776 #endif
4777
4778 #ifdef SUPPORT_I18N
4779           case ENV_MAIL_OPT_UTF8:
4780             if (!fl.smtputf8_advertised)
4781               {
4782               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4783                 US"SMTPUTF8 used when not advertised");
4784               goto COMMAND_LOOP;
4785               }
4786
4787             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4788             message_smtputf8 = allow_utf8_domains = TRUE;
4789             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4790               {
4791               int old_pool = store_pool;
4792               store_pool = POOL_PERM;
4793               received_protocol = string_sprintf("utf8%s", received_protocol);
4794               store_pool = old_pool;
4795               }
4796             break;
4797 #endif
4798
4799 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4800           case ENV_MAIL_OPT_REQTLS:
4801             {
4802             uschar * r, * t;
4803
4804             if (!fl.requiretls_advertised)
4805               {
4806               done = synprot_error(L_smtp_syntax_error, 555, NULL,
4807                 US"unadvertised MAIL option: REQUIRETLS");
4808               goto COMMAND_LOOP;
4809               }
4810
4811             DEBUG(D_receive) debug_printf("requiretls requested\n");
4812             tls_requiretls = REQUIRETLS_MSG;
4813
4814             r = string_copy_malloc(received_protocol);
4815             if ((t = Ustrrchr(r, 's'))) *t = 'S';
4816             received_protocol = r;
4817             }
4818             break;
4819 #endif
4820
4821           /* No valid option. Stick back the terminator characters and break
4822           the loop.  Do the name-terminator second as extract_option sets
4823           value==name when it found no equal-sign.
4824           An error for a malformed address will occur. */
4825           case ENV_MAIL_OPT_NULL:
4826             value[-1] = '=';
4827             name[-1] = ' ';
4828             arg_error = TRUE;
4829             break;
4830
4831           default:  assert(0);
4832           }
4833         /* Break out of for loop if switch() had bad argument or
4834            when start of the email address is reached */
4835         if (arg_error) break;
4836         }
4837
4838 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4839       if (tls_requiretls & REQUIRETLS_MSG)
4840         {
4841         /* Ensure headers-only bounces whether a RET option was given or not. */
4842
4843         DEBUG(D_receive) if (dsn_ret == dsn_ret_full)
4844           debug_printf("requiretls override: dsn_ret_full -> dsn_ret_hdrs\n");
4845         dsn_ret = dsn_ret_hdrs;
4846         }
4847 #endif
4848
4849       /* If we have passed the threshold for rate limiting, apply the current
4850       delay, and update it for next time, provided this is a limited host. */
4851
4852       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4853           verify_check_host(&smtp_ratelimit_hosts) == OK)
4854         {
4855         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4856           smtp_delay_mail/1000.0);
4857         millisleep((int)smtp_delay_mail);
4858         smtp_delay_mail *= smtp_rlm_factor;
4859         if (smtp_delay_mail > (double)smtp_rlm_limit)
4860           smtp_delay_mail = (double)smtp_rlm_limit;
4861         }
4862
4863       /* Now extract the address, first applying any SMTP-time rewriting. The
4864       TRUE flag allows "<>" as a sender address. */
4865
4866       raw_sender = rewrite_existflags & rewrite_smtp
4867         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4868                       global_rewrite_rules)
4869         : smtp_cmd_data;
4870
4871       raw_sender =
4872         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4873           TRUE);
4874
4875       if (!raw_sender)
4876         {
4877         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4878         break;
4879         }
4880
4881       sender_address = raw_sender;
4882
4883       /* If there is a configured size limit for mail, check that this message
4884       doesn't exceed it. The check is postponed to this point so that the sender
4885       can be logged. */
4886
4887       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4888         {
4889         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4890         log_write(L_size_reject,
4891             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4892             "message too big: size%s=%d max=%d",
4893             sender_address,
4894             host_and_ident(TRUE),
4895             (message_size == INT_MAX)? ">" : "",
4896             message_size,
4897             thismessage_size_limit);
4898         sender_address = NULL;
4899         break;
4900         }
4901
4902       /* Check there is enough space on the disk unless configured not to.
4903       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4904       plus the current message - i.e. we accept the message only if it won't
4905       reduce the space below the threshold. Add 5000 to the size to allow for
4906       overheads such as the Received: line and storing of recipients, etc.
4907       By putting the check here, even when SIZE is not given, it allow VRFY
4908       and EXPN etc. to be used when space is short. */
4909
4910       if (!receive_check_fs(
4911            (smtp_check_spool_space && message_size >= 0)?
4912               message_size + 5000 : 0))
4913         {
4914         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4915         sender_address = NULL;
4916         break;
4917         }
4918
4919       /* If sender_address is unqualified, reject it, unless this is a locally
4920       generated message, or the sending host or net is permitted to send
4921       unqualified addresses - typically local machines behaving as MUAs -
4922       in which case just qualify the address. The flag is set above at the start
4923       of the SMTP connection. */
4924
4925       if (!sender_domain && *sender_address)
4926         if (f.allow_unqualified_sender)
4927           {
4928           sender_domain = Ustrlen(sender_address) + 1;
4929           sender_address = rewrite_address_qualify(sender_address, FALSE);
4930           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4931             raw_sender);
4932           }
4933         else
4934           {
4935           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4936             smtp_cmd_data);
4937           log_write(L_smtp_syntax_error,
4938             LOG_MAIN|LOG_REJECT,
4939             "unqualified sender rejected: <%s> %s%s",
4940             raw_sender,
4941             host_and_ident(TRUE),
4942             host_lookup_msg);
4943           sender_address = NULL;
4944           break;
4945           }
4946
4947       /* Apply an ACL check if one is defined, before responding. Afterwards,
4948       when pipelining is not advertised, do another sync check in case the ACL
4949       delayed and the client started sending in the meantime. */
4950
4951       if (acl_smtp_mail)
4952         {
4953         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4954         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4955           goto SYNC_FAILURE;
4956         }
4957       else
4958         rc = OK;
4959
4960       if (rc == OK || rc == DISCARD)
4961         {
4962         BOOL more = pipeline_response();
4963
4964         if (!user_msg)
4965           smtp_printf("%s%s%s", more, US"250 OK",
4966                     #ifndef DISABLE_PRDR
4967                       prdr_requested ? US", PRDR Requested" : US"",
4968                     #else
4969                       US"",
4970                     #endif
4971                       US"\r\n");
4972         else
4973           {
4974         #ifndef DISABLE_PRDR
4975           if (prdr_requested)
4976              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4977         #endif
4978           smtp_user_msg(US"250", user_msg);
4979           }
4980         smtp_delay_rcpt = smtp_rlr_base;
4981         f.recipients_discarded = (rc == DISCARD);
4982         was_rej_mail = FALSE;
4983         }
4984       else
4985         {
4986         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4987         sender_address = NULL;
4988         }
4989       break;
4990
4991
4992     /* The RCPT command requires an address as an operand. There may be any
4993     number of RCPT commands, specifying multiple recipients. We build them all
4994     into a data structure. The start/end values given by parse_extract_address
4995     are not used, as we keep only the extracted address. */
4996
4997     case RCPT_CMD:
4998       HAD(SCH_RCPT);
4999       rcpt_count++;
5000       was_rcpt = fl.rcpt_in_progress = TRUE;
5001
5002       /* There must be a sender address; if the sender was rejected and
5003       pipelining was advertised, we assume the client was pipelining, and do not
5004       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5005       get the same treatment. */
5006
5007       if (sender_address == NULL)
5008         {
5009         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5010           {
5011           smtp_printf("503 sender not yet given\r\n", FALSE);
5012           was_rej_mail = TRUE;
5013           }
5014         else
5015           {
5016           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5017             US"sender not yet given");
5018           was_rcpt = FALSE;             /* Not a valid RCPT */
5019           }
5020         rcpt_fail_count++;
5021         break;
5022         }
5023
5024       /* Check for an operand */
5025
5026       if (smtp_cmd_data[0] == 0)
5027         {
5028         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5029           US"RCPT must have an address operand");
5030         rcpt_fail_count++;
5031         break;
5032         }
5033
5034       /* Set the DSN flags orcpt and dsn_flags from the session*/
5035       orcpt = NULL;
5036       dsn_flags = 0;
5037
5038       if (fl.esmtp) for(;;)
5039         {
5040         uschar *name, *value;
5041
5042         if (!extract_option(&name, &value))
5043           break;
5044
5045         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5046           {
5047           /* Check whether orcpt has been already set */
5048           if (orcpt)
5049             {
5050             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5051               US"ORCPT can be specified once only");
5052             goto COMMAND_LOOP;
5053             }
5054           orcpt = string_copy(value);
5055           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5056           }
5057
5058         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5059           {
5060           /* Check if the notify flags have been already set */
5061           if (dsn_flags > 0)
5062             {
5063             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5064                 US"NOTIFY can be specified once only");
5065             goto COMMAND_LOOP;
5066             }
5067           if (strcmpic(value, US"NEVER") == 0)
5068             dsn_flags |= rf_notify_never;
5069           else
5070             {
5071             uschar *p = value;
5072             while (*p != 0)
5073               {
5074               uschar *pp = p;
5075               while (*pp != 0 && *pp != ',') pp++;
5076               if (*pp == ',') *pp++ = 0;
5077               if (strcmpic(p, US"SUCCESS") == 0)
5078                 {
5079                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5080                 dsn_flags |= rf_notify_success;
5081                 }
5082               else if (strcmpic(p, US"FAILURE") == 0)
5083                 {
5084                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5085                 dsn_flags |= rf_notify_failure;
5086                 }
5087               else if (strcmpic(p, US"DELAY") == 0)
5088                 {
5089                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5090                 dsn_flags |= rf_notify_delay;
5091                 }
5092               else
5093                 {
5094                 /* Catch any strange values */
5095                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5096                   US"Invalid value for NOTIFY parameter");
5097                 goto COMMAND_LOOP;
5098                 }
5099               p = pp;
5100               }
5101               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5102             }
5103           }
5104
5105         /* Unknown option. Stick back the terminator characters and break
5106         the loop. An error for a malformed address will occur. */
5107
5108         else
5109           {
5110           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5111           name[-1] = ' ';
5112           value[-1] = '=';
5113           break;
5114           }
5115         }
5116
5117       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5118       as a recipient address */
5119
5120       recipient = rewrite_existflags & rewrite_smtp
5121         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5122             global_rewrite_rules)
5123         : smtp_cmd_data;
5124
5125       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5126         &recipient_domain, FALSE)))
5127         {
5128         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5129         rcpt_fail_count++;
5130         break;
5131         }
5132
5133       /* If the recipient address is unqualified, reject it, unless this is a
5134       locally generated message. However, unqualified addresses are permitted
5135       from a configured list of hosts and nets - typically when behaving as
5136       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5137       really. The flag is set at the start of the SMTP connection.
5138
5139       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5140       assumed this meant "reserved local part", but the revision of RFC 821 and
5141       friends now makes it absolutely clear that it means *mailbox*. Consequently
5142       we must always qualify this address, regardless. */
5143
5144       if (!recipient_domain)
5145         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5146                                     US"recipient")))
5147           {
5148           rcpt_fail_count++;
5149           break;
5150           }
5151
5152       /* Check maximum allowed */
5153
5154       if (rcpt_count > recipients_max && recipients_max > 0)
5155         {
5156         if (recipients_max_reject)
5157           {
5158           rcpt_fail_count++;
5159           smtp_printf("552 too many recipients\r\n", FALSE);
5160           if (!toomany)
5161             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5162               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5163           }
5164         else
5165           {
5166           rcpt_defer_count++;
5167           smtp_printf("452 too many recipients\r\n", FALSE);
5168           if (!toomany)
5169             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5170               "temporarily rejected: sender=<%s> %s", sender_address,
5171               host_and_ident(TRUE));
5172           }
5173
5174         toomany = TRUE;
5175         break;
5176         }
5177
5178       /* If we have passed the threshold for rate limiting, apply the current
5179       delay, and update it for next time, provided this is a limited host. */
5180
5181       if (rcpt_count > smtp_rlr_threshold &&
5182           verify_check_host(&smtp_ratelimit_hosts) == OK)
5183         {
5184         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5185           smtp_delay_rcpt/1000.0);
5186         millisleep((int)smtp_delay_rcpt);
5187         smtp_delay_rcpt *= smtp_rlr_factor;
5188         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5189           smtp_delay_rcpt = (double)smtp_rlr_limit;
5190         }
5191
5192       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5193       for them. Otherwise, check the access control list for this recipient. As
5194       there may be a delay in this, re-check for a synchronization error
5195       afterwards, unless pipelining was advertised. */
5196
5197       if (f.recipients_discarded)
5198         rc = DISCARD;
5199       else
5200         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5201                       &log_msg)) == OK
5202            && !f.smtp_in_pipelining_advertised && !check_sync())
5203           goto SYNC_FAILURE;
5204
5205       /* The ACL was happy */
5206
5207       if (rc == OK)
5208         {
5209         BOOL more = pipeline_response();
5210
5211         if (user_msg)
5212           smtp_user_msg(US"250", user_msg);
5213         else
5214           smtp_printf("250 Accepted\r\n", more);
5215         receive_add_recipient(recipient, -1);
5216
5217         /* Set the dsn flags in the recipients_list */
5218         recipients_list[recipients_count-1].orcpt = orcpt;
5219         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5220
5221         DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5222           recipients_list[recipients_count-1].orcpt,
5223           recipients_list[recipients_count-1].dsn_flags);
5224         }
5225
5226       /* The recipient was discarded */
5227
5228       else if (rc == DISCARD)
5229         {
5230         if (user_msg)
5231           smtp_user_msg(US"250", user_msg);
5232         else
5233           smtp_printf("250 Accepted\r\n", FALSE);
5234         rcpt_fail_count++;
5235         discarded = TRUE;
5236         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5237           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5238           sender_address_unrewritten? sender_address_unrewritten : sender_address,
5239           smtp_cmd_argument, f.recipients_discarded? "MAIL" : "RCPT",
5240           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5241         }
5242
5243       /* Either the ACL failed the address, or it was deferred. */
5244
5245       else
5246         {
5247         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5248         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5249         }
5250       break;
5251
5252
5253     /* The DATA command is legal only if it follows successful MAIL FROM
5254     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5255     not counted as a protocol error if it follows RCPT (which must have been
5256     rejected if there are no recipients.) This function is complete when a
5257     valid DATA command is encountered.
5258
5259     Note concerning the code used: RFC 2821 says this:
5260
5261      -  If there was no MAIL, or no RCPT, command, or all such commands
5262         were rejected, the server MAY return a "command out of sequence"
5263         (503) or "no valid recipients" (554) reply in response to the
5264         DATA command.
5265
5266     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5267     because it is the same whether pipelining is in use or not.
5268
5269     If all the RCPT commands that precede DATA provoked the same error message
5270     (often indicating some kind of system error), it is helpful to include it
5271     with the DATA rejection (an idea suggested by Tony Finch). */
5272
5273     case BDAT_CMD:
5274       {
5275       int n;
5276
5277       HAD(SCH_BDAT);
5278       if (chunking_state != CHUNKING_OFFERED)
5279         {
5280         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5281           US"BDAT command used when CHUNKING not advertised");
5282         break;
5283         }
5284
5285       /* grab size, endmarker */
5286
5287       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5288         {
5289         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5290           US"missing size for BDAT command");
5291         break;
5292         }
5293       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5294         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5295       chunking_data_left = chunking_datasize;
5296       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5297                                     (int)chunking_state, chunking_data_left);
5298
5299       /* push the current receive_* function on the "stack", and
5300       replace them by bdat_getc(), which in turn will use the lwr_receive_*
5301       functions to do the dirty work. */
5302       lwr_receive_getc = receive_getc;
5303       lwr_receive_getbuf = receive_getbuf;
5304       lwr_receive_ungetc = receive_ungetc;
5305
5306       receive_getc = bdat_getc;
5307       receive_ungetc = bdat_ungetc;
5308
5309       f.dot_ends = FALSE;
5310
5311       goto DATA_BDAT;
5312       }
5313
5314     case DATA_CMD:
5315       HAD(SCH_DATA);
5316       f.dot_ends = TRUE;
5317
5318     DATA_BDAT:          /* Common code for DATA and BDAT */
5319 #ifdef EXPERIMENTAL_PIPE_CONNECT
5320       fl.pipe_connect_acceptable = FALSE;
5321 #endif
5322       if (!discarded && recipients_count <= 0)
5323         {
5324         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5325           {
5326           uschar *code = US"503";
5327           int len = Ustrlen(rcpt_smtp_response);
5328           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5329             "this error:");
5330           /* Responses from smtp_printf() will have \r\n on the end */
5331           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5332             rcpt_smtp_response[len-2] = 0;
5333           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5334           }
5335         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5336           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5337             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5338         else
5339           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5340             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5341             ? US"valid RCPT command must precede DATA"
5342             : US"valid RCPT command must precede BDAT");
5343
5344         if (chunking_state > CHUNKING_OFFERED)
5345           bdat_flush_data();
5346         break;
5347         }
5348
5349       if (toomany && recipients_max_reject)
5350         {
5351         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5352         sender_address_unrewritten = NULL;
5353         smtp_printf("554 Too many recipients\r\n", FALSE);
5354         break;
5355         }
5356
5357       if (chunking_state > CHUNKING_OFFERED)
5358         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5359       else
5360         {
5361         /* If there is an ACL, re-check the synchronization afterwards, since the
5362         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5363         to get the DATA command sent. */
5364
5365         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5366           rc = OK;
5367         else
5368           {
5369           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5370           f.enable_dollar_recipients = TRUE;
5371           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5372             &log_msg);
5373           f.enable_dollar_recipients = FALSE;
5374           if (rc == OK && !check_sync())
5375             goto SYNC_FAILURE;
5376
5377           if (rc != OK)
5378             {   /* Either the ACL failed the address, or it was deferred. */
5379             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5380             break;
5381             }
5382           }
5383
5384         if (user_msg)
5385           smtp_user_msg(US"354", user_msg);
5386         else
5387           smtp_printf(
5388             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5389         }
5390
5391 #ifdef TCP_QUICKACK
5392       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5393         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5394                 US &on, sizeof(on));
5395 #endif
5396       done = 3;
5397       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5398
5399       break;
5400
5401
5402     case VRFY_CMD:
5403       {
5404       uschar * address;
5405
5406       HAD(SCH_VRFY);
5407
5408       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5409             &start, &end, &recipient_domain, FALSE)))
5410         {
5411         smtp_printf("501 %s\r\n", FALSE, errmess);
5412         break;
5413         }
5414
5415       if (!recipient_domain)
5416         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5417                                     US"verify")))
5418           break;
5419
5420       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5421                     &user_msg, &log_msg)) != OK)
5422         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5423       else
5424         {
5425         uschar * s = NULL;
5426         address_item * addr = deliver_make_addr(address, FALSE);
5427
5428         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5429                -1, -1, NULL, NULL, NULL))
5430           {
5431           case OK:
5432             s = string_sprintf("250 <%s> is deliverable", address);
5433             break;
5434
5435           case DEFER:
5436             s = (addr->user_message != NULL)?
5437               string_sprintf("451 <%s> %s", address, addr->user_message) :
5438               string_sprintf("451 Cannot resolve <%s> at this time", address);
5439             break;
5440
5441           case FAIL:
5442             s = (addr->user_message != NULL)?
5443               string_sprintf("550 <%s> %s", address, addr->user_message) :
5444               string_sprintf("550 <%s> is not deliverable", address);
5445             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5446               smtp_cmd_argument, host_and_ident(TRUE));
5447             break;
5448           }
5449
5450         smtp_printf("%s\r\n", FALSE, s);
5451         }
5452       break;
5453       }
5454
5455
5456     case EXPN_CMD:
5457       HAD(SCH_EXPN);
5458       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5459       if (rc != OK)
5460         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5461       else
5462         {
5463         BOOL save_log_testing_mode = f.log_testing_mode;
5464         f.address_test_mode = f.log_testing_mode = TRUE;
5465         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5466           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5467           NULL, NULL, NULL);
5468         f.address_test_mode = FALSE;
5469         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5470         }
5471       break;
5472
5473
5474     #ifdef SUPPORT_TLS
5475
5476     case STARTTLS_CMD:
5477       HAD(SCH_STARTTLS);
5478       if (!fl.tls_advertised)
5479         {
5480         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5481           US"STARTTLS command used when not advertised");
5482         break;
5483         }
5484
5485       /* Apply an ACL check if one is defined */
5486
5487       if (  acl_smtp_starttls
5488          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5489                     &user_msg, &log_msg)) != OK
5490          )
5491         {
5492         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5493         break;
5494         }
5495
5496       /* RFC 2487 is not clear on when this command may be sent, though it
5497       does state that all information previously obtained from the client
5498       must be discarded if a TLS session is started. It seems reasonable to
5499       do an implied RSET when STARTTLS is received. */
5500
5501       incomplete_transaction_log(US"STARTTLS");
5502       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5503       smtp_reset(reset_point);
5504       toomany = FALSE;
5505       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5506
5507       /* There's an attack where more data is read in past the STARTTLS command
5508       before TLS is negotiated, then assumed to be part of the secure session
5509       when used afterwards; we use segregated input buffers, so are not
5510       vulnerable, but we want to note when it happens and, for sheer paranoia,
5511       ensure that the buffer is "wiped".
5512       Pipelining sync checks will normally have protected us too, unless disabled
5513       by configuration. */
5514
5515       if (receive_smtp_buffered())
5516         {
5517         DEBUG(D_any)
5518           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5519         if (tls_in.active.sock < 0)
5520           smtp_inend = smtp_inptr = smtp_inbuffer;
5521         /* and if TLS is already active, tls_server_start() should fail */
5522         }
5523
5524       /* There is nothing we value in the input buffer and if TLS is successfully
5525       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5526       fresh content into it.  The buffer contains arbitrary content from an
5527       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5528       It seems safest to just wipe away the content rather than leave it as a
5529       target to jump to. */
5530
5531       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5532
5533       /* Attempt to start up a TLS session, and if successful, discard all
5534       knowledge that was obtained previously. At least, that's what the RFC says,
5535       and that's what happens by default. However, in order to work round YAEB,
5536       there is an option to remember the esmtp state. Sigh.
5537
5538       We must allow for an extra EHLO command and an extra AUTH command after
5539       STARTTLS that don't add to the nonmail command count. */
5540
5541       s = NULL;
5542       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5543         {
5544         if (!tls_remember_esmtp)
5545           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5546         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5547         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5548         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5549         if (sender_helo_name)
5550           {
5551           store_free(sender_helo_name);
5552           sender_helo_name = NULL;
5553           host_build_sender_fullhost();  /* Rebuild */
5554           set_process_info("handling incoming TLS connection from %s",
5555             host_and_ident(FALSE));
5556           }
5557         received_protocol =
5558           (sender_host_address ? protocols : protocols_local)
5559             [ (fl.esmtp
5560               ? pextend + (sender_host_authenticated ? pauthed : 0)
5561               : pnormal)
5562             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5563             ];
5564
5565         sender_host_auth_pubname = sender_host_authenticated = NULL;
5566         authenticated_id = NULL;
5567         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5568         DEBUG(D_tls) debug_printf("TLS active\n");
5569         break;     /* Successful STARTTLS */
5570         }
5571       else
5572         (void) smtp_log_tls_fail(s);
5573
5574       /* Some local configuration problem was discovered before actually trying
5575       to do a TLS handshake; give a temporary error. */
5576
5577       if (rc == DEFER)
5578         {
5579         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5580         break;
5581         }
5582
5583       /* Hard failure. Reject everything except QUIT or closed connection. One
5584       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5585       set, but we must still reject all incoming commands.  Another is a handshake
5586       failure - and there may some encrypted data still in the pipe to us, which we
5587       see as garbage commands. */
5588
5589       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5590       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5591         {
5592         case EOF_CMD:
5593           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5594             smtp_get_connection_info());
5595           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5596           done = 2;
5597           break;
5598
5599         /* It is perhaps arguable as to which exit ACL should be called here,
5600         but as it is probably a situation that almost never arises, it
5601         probably doesn't matter. We choose to call the real QUIT ACL, which in
5602         some sense is perhaps "right". */
5603
5604         case QUIT_CMD:
5605           user_msg = NULL;
5606           if (  acl_smtp_quit
5607              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5608                                 &log_msg)) == ERROR))
5609               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5610                 log_msg);
5611           if (user_msg)
5612             smtp_respond(US"221", 3, TRUE, user_msg);
5613           else
5614             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5615           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5616             smtp_get_connection_info());
5617           done = 2;
5618           break;
5619
5620         default:
5621           smtp_printf("554 Security failure\r\n", FALSE);
5622           break;
5623         }
5624       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5625       break;
5626     #endif
5627
5628
5629     /* The ACL for QUIT is provided for gathering statistical information or
5630     similar; it does not affect the response code, but it can supply a custom
5631     message. */
5632
5633     case QUIT_CMD:
5634       smtp_quit_handler(&user_msg, &log_msg);
5635       done = 2;
5636       break;
5637
5638
5639     case RSET_CMD:
5640       smtp_rset_handler();
5641       cancel_cutthrough_connection(TRUE, US"RSET received");
5642       smtp_reset(reset_point);
5643       toomany = FALSE;
5644       break;
5645
5646
5647     case NOOP_CMD:
5648       HAD(SCH_NOOP);
5649       smtp_printf("250 OK\r\n", FALSE);
5650       break;
5651
5652
5653     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5654     used, a check will be done for permitted hosts. Show STARTTLS only if not
5655     already in a TLS session and if it would be advertised in the EHLO
5656     response. */
5657
5658     case HELP_CMD:
5659       HAD(SCH_HELP);
5660       smtp_printf("214-Commands supported:\r\n", TRUE);
5661         {
5662         uschar buffer[256];
5663         buffer[0] = 0;
5664         Ustrcat(buffer, " AUTH");
5665         #ifdef SUPPORT_TLS
5666         if (tls_in.active.sock < 0 &&
5667             verify_check_host(&tls_advertise_hosts) != FAIL)
5668           Ustrcat(buffer, " STARTTLS");
5669         #endif
5670         Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5671         Ustrcat(buffer, " NOOP QUIT RSET HELP");
5672         if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5673         if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5674         if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5675         smtp_printf("214%s\r\n", FALSE, buffer);
5676         }
5677       break;
5678
5679
5680     case EOF_CMD:
5681       incomplete_transaction_log(US"connection lost");
5682       smtp_notquit_exit(US"connection-lost", US"421",
5683         US"%s lost input connection", smtp_active_hostname);
5684
5685       /* Don't log by default unless in the middle of a message, as some mailers
5686       just drop the call rather than sending QUIT, and it clutters up the logs.
5687       */
5688
5689       if (sender_address || recipients_count > 0)
5690         log_write(L_lost_incoming_connection, LOG_MAIN,
5691           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5692           f.sender_host_unknown ? "EOF" : "disconnection",
5693           f.tcp_in_fastopen_logged
5694           ? US""
5695           : f.tcp_in_fastopen
5696           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5697           : US"",
5698           host_and_ident(FALSE), smtp_read_error,
5699           string_timesince(&smtp_connection_start)
5700           );
5701
5702       else
5703         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5704           smtp_get_connection_info(),
5705           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5706           smtp_read_error,
5707           string_timesince(&smtp_connection_start)
5708           );
5709
5710       done = 1;
5711       break;
5712
5713
5714     case ETRN_CMD:
5715       HAD(SCH_ETRN);
5716       if (sender_address)
5717         {
5718         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5719           US"ETRN is not permitted inside a transaction");
5720         break;
5721         }
5722
5723       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5724         host_and_ident(FALSE));
5725
5726       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5727                   &user_msg, &log_msg)) != OK)
5728         {
5729         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5730         break;
5731         }
5732
5733       /* Compute the serialization key for this command. */
5734
5735       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5736
5737       /* If a command has been specified for running as a result of ETRN, we
5738       permit any argument to ETRN. If not, only the # standard form is permitted,
5739       since that is strictly the only kind of ETRN that can be implemented
5740       according to the RFC. */
5741
5742       if (smtp_etrn_command)
5743         {
5744         uschar *error;
5745         BOOL rc;
5746         etrn_command = smtp_etrn_command;
5747         deliver_domain = smtp_cmd_data;
5748         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5749           US"ETRN processing", &error);
5750         deliver_domain = NULL;
5751         if (!rc)
5752           {
5753           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5754             error);
5755           smtp_printf("458 Internal failure\r\n", FALSE);
5756           break;
5757           }
5758         }
5759
5760       /* Else set up to call Exim with the -R option. */
5761
5762       else
5763         {
5764         if (*smtp_cmd_data++ != '#')
5765           {
5766           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5767             US"argument must begin with #");
5768           break;
5769           }
5770         etrn_command = US"exim -R";
5771         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5772           *queue_name ? 4 : 2,
5773           US"-R", smtp_cmd_data,
5774           US"-MCG", queue_name);
5775         }
5776
5777       /* If we are host-testing, don't actually do anything. */
5778
5779       if (host_checking)
5780         {
5781         HDEBUG(D_any)
5782           {
5783           debug_printf("ETRN command is: %s\n", etrn_command);
5784           debug_printf("ETRN command execution skipped\n");
5785           }
5786         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5787           else smtp_user_msg(US"250", user_msg);
5788         break;
5789         }
5790
5791
5792       /* If ETRN queue runs are to be serialized, check the database to
5793       ensure one isn't already running. */
5794
5795       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5796         {
5797         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5798         break;
5799         }
5800
5801       /* Fork a child process and run the command. We don't want to have to
5802       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5803       forking. It should be set that way anyway for external incoming SMTP,
5804       but we save and restore to be tidy. If serialization is required, we
5805       actually run the command in yet another process, so we can wait for it
5806       to complete and then remove the serialization lock. */
5807
5808       oldsignal = signal(SIGCHLD, SIG_IGN);
5809
5810       if ((pid = fork()) == 0)
5811         {
5812         smtp_input = FALSE;       /* This process is not associated with the */
5813         (void)fclose(smtp_in);    /* SMTP call any more. */
5814         (void)fclose(smtp_out);
5815
5816         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5817
5818         /* If not serializing, do the exec right away. Otherwise, fork down
5819         into another process. */
5820
5821         if (!smtp_etrn_serialize || (pid = fork()) == 0)
5822           {
5823           DEBUG(D_exec) debug_print_argv(argv);
5824           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5825           execv(CS argv[0], (char *const *)argv);
5826           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5827             etrn_command, strerror(errno));
5828           _exit(EXIT_FAILURE);         /* paranoia */
5829           }
5830
5831         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5832         is, we are in the first subprocess, after forking again. All we can do
5833         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5834         complete, before removing the serialization. */
5835
5836         if (pid < 0)
5837           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5838             "failed: %s", strerror(errno));
5839         else
5840           {
5841           int status;
5842           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5843             (int)pid);
5844           (void)wait(&status);
5845           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5846             (int)pid);
5847           }
5848
5849         enq_end(etrn_serialize_key);
5850         _exit(EXIT_SUCCESS);
5851         }
5852
5853       /* Back in the top level SMTP process. Check that we started a subprocess
5854       and restore the signal state. */
5855
5856       if (pid < 0)
5857         {
5858         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5859           strerror(errno));
5860         smtp_printf("458 Unable to fork process\r\n", FALSE);
5861         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5862         }
5863       else
5864         {
5865         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5866           else smtp_user_msg(US"250", user_msg);
5867         }
5868
5869       signal(SIGCHLD, oldsignal);
5870       break;
5871
5872
5873     case BADARG_CMD:
5874       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5875         US"unexpected argument data");
5876       break;
5877
5878
5879     /* This currently happens only for NULLs, but could be extended. */
5880
5881     case BADCHAR_CMD:
5882       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5883         US"NUL character(s) present (shown as '?')");
5884       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5885                   FALSE);
5886       break;
5887
5888
5889     case BADSYN_CMD:
5890     SYNC_FAILURE:
5891       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5892         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5893       c = smtp_inend - smtp_inptr;
5894       if (c > 150) c = 150;     /* limit logged amount */
5895       smtp_inptr[c] = 0;
5896       incomplete_transaction_log(US"sync failure");
5897       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5898         "(next input sent too soon: pipelining was%s advertised): "
5899         "rejected \"%s\" %s next input=\"%s\"",
5900         f.smtp_in_pipelining_advertised ? "" : " not",
5901         smtp_cmd_buffer, host_and_ident(TRUE),
5902         string_printing(smtp_inptr));
5903       smtp_notquit_exit(US"synchronization-error", US"554",
5904         US"SMTP synchronization error");
5905       done = 1;   /* Pretend eof - drops connection */
5906       break;
5907
5908
5909     case TOO_MANY_NONMAIL_CMD:
5910       s = smtp_cmd_buffer;
5911       while (*s != 0 && !isspace(*s)) s++;
5912       incomplete_transaction_log(US"too many non-mail commands");
5913       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5914         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5915         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5916       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5917       done = 1;   /* Pretend eof - drops connection */
5918       break;
5919
5920 #ifdef SUPPORT_PROXY
5921     case PROXY_FAIL_IGNORE_CMD:
5922       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5923       break;
5924 #endif
5925
5926     default:
5927       if (unknown_command_count++ >= smtp_max_unknown_commands)
5928         {
5929         log_write(L_smtp_syntax_error, LOG_MAIN,
5930           "SMTP syntax error in \"%s\" %s %s",
5931           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5932           US"unrecognized command");
5933         incomplete_transaction_log(US"unrecognized command");
5934         smtp_notquit_exit(US"bad-commands", US"500",
5935           US"Too many unrecognized commands");
5936         done = 2;
5937         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5938           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5939           string_printing(smtp_cmd_buffer));
5940         }
5941       else
5942         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5943           US"unrecognized command");
5944       break;
5945     }
5946
5947   /* This label is used by goto's inside loops that want to break out to
5948   the end of the command-processing loop. */
5949
5950   COMMAND_LOOP:
5951   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5952   last_was_rcpt = was_rcpt;             /* protocol error handling */
5953   continue;
5954   }
5955
5956 return done - 2;  /* Convert yield values */
5957 }
5958
5959
5960
5961 gstring *
5962 authres_smtpauth(gstring * g)
5963 {
5964 if (!sender_host_authenticated)
5965   return g;
5966
5967 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5968
5969 if (Ustrcmp(sender_host_auth_pubname, "tls") != 0)
5970   g = string_append(g, 2, US") smtp.auth=", authenticated_id);
5971 else if (authenticated_id)
5972   g = string_append(g, 2, US") x509.auth=", authenticated_id);
5973 else
5974   g = string_catn(g, US") reason=x509.auth", 17);
5975
5976 if (authenticated_sender)
5977   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
5978 return g;
5979 }
5980
5981
5982
5983 /* vi: aw ai sw=2
5984 */
5985 /* End of smtp_in.c */