2e3c9b9ecb8baa85920981980c97f7f0739be335
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static struct {
135   BOOL auth_advertised                  :1;
136 #ifdef SUPPORT_TLS
137   BOOL tls_advertised                   :1;
138 # ifdef EXPERIMENTAL_REQUIRETLS
139   BOOL requiretls_advertised            :1;
140 # endif
141 #endif
142   BOOL dsn_advertised                   :1;
143   BOOL esmtp                            :1;
144   BOOL helo_required                    :1;
145   BOOL helo_verify                      :1;
146   BOOL helo_seen                        :1;
147   BOOL helo_accept_junk                 :1;
148 #ifdef EXPERIMENTAL_PIPE_CONNECT
149   BOOL pipe_connect_acceptable          :1;
150 #endif
151   BOOL rcpt_smtp_response_same          :1;
152   BOOL rcpt_in_progress                 :1;
153   BOOL smtp_exit_function_called        :1;
154 #ifdef SUPPORT_I18N
155   BOOL smtputf8_advertised              :1;
156 #endif
157 } fl = {
158   .helo_required = FALSE,
159   .helo_verify = FALSE,
160   .smtp_exit_function_called = FALSE,
161 };
162
163 static auth_instance *authenticated_by;
164 static int  count_nonmail;
165 static int  nonmail_command_count;
166 static int  synprot_error_count;
167 static int  unknown_command_count;
168 static int  sync_cmd_limit;
169 static int  smtp_write_error = 0;
170
171 static uschar *rcpt_smtp_response;
172 static uschar *smtp_data_buffer;
173 static uschar *smtp_cmd_data;
174
175 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
176 final fields of all except AUTH are forced TRUE at the start of a new message
177 setup, to allow one of each between messages that is not counted as a nonmail
178 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
179 allow a new EHLO after starting up TLS.
180
181 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
182 counted. However, the flag is changed when AUTH is received, so that multiple
183 failing AUTHs will eventually hit the limit. After a successful AUTH, another
184 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
185 forced TRUE, to allow for the re-authentication that can happen at that point.
186
187 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
188 count of non-mail commands and possibly provoke an error.
189
190 tls_auth is a pseudo-command, never expected in input.  It is activated
191 on TLS startup and looks for a tls authenticator. */
192
193 static smtp_cmd_list cmd_list[] = {
194   /* name         len                     cmd     has_arg is_mail_cmd */
195
196   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
197   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
198   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
199   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
200 #ifdef SUPPORT_TLS
201   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
202   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
203 #endif
204
205 /* If you change anything above here, also fix the definitions below. */
206
207   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
208   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
209   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
210   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
211   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
212   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
213   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
214   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
215   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
216   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
217 };
218
219 static smtp_cmd_list *cmd_list_end =
220   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
221
222 #define CMD_LIST_RSET      0
223 #define CMD_LIST_HELO      1
224 #define CMD_LIST_EHLO      2
225 #define CMD_LIST_AUTH      3
226 #define CMD_LIST_STARTTLS  4
227 #define CMD_LIST_TLS_AUTH  5
228
229 /* This list of names is used for performing the smtp_no_mail logging action.
230 It must be kept in step with the SCH_xxx enumerations. */
231
232 static uschar *smtp_names[] =
233   {
234   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
235   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
236   US"STARTTLS", US"VRFY" };
237
238 static uschar *protocols_local[] = {
239   US"local-smtp",        /* HELO */
240   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
241   US"local-esmtp",       /* EHLO */
242   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
243   US"local-esmtpa",      /* EHLO->AUTH */
244   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
245   };
246 static uschar *protocols[] = {
247   US"smtp",              /* HELO */
248   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
249   US"esmtp",             /* EHLO */
250   US"esmtps",            /* EHLO->STARTTLS->EHLO */
251   US"esmtpa",            /* EHLO->AUTH */
252   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
253   };
254
255 #define pnormal  0
256 #define pextend  2
257 #define pcrpted  1  /* added to pextend or pnormal */
258 #define pauthed  2  /* added to pextend */
259
260 /* Sanity check and validate optional args to MAIL FROM: envelope */
261 enum {
262   ENV_MAIL_OPT_NULL,
263   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
264 #ifndef DISABLE_PRDR
265   ENV_MAIL_OPT_PRDR,
266 #endif
267   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
268 #ifdef SUPPORT_I18N
269   ENV_MAIL_OPT_UTF8,
270 #endif
271 #ifdef EXPERIMENTAL_REQUIRETLS
272   ENV_MAIL_OPT_REQTLS,
273 #endif
274   };
275 typedef struct {
276   uschar *   name;  /* option requested during MAIL cmd */
277   int       value;  /* enum type */
278   BOOL need_value;  /* TRUE requires value (name=value pair format)
279                        FALSE is a singleton */
280   } env_mail_type_t;
281 static env_mail_type_t env_mail_type_list[] = {
282     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
283     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
284     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
285 #ifndef DISABLE_PRDR
286     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
287 #endif
288     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
289     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
290 #ifdef SUPPORT_I18N
291     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
292 #endif
293 #ifdef EXPERIMENTAL_REQUIRETLS
294     /* https://tools.ietf.org/html/draft-ietf-uta-smtp-require-tls-03 */
295     { US"REQUIRETLS",ENV_MAIL_OPT_REQTLS,  FALSE },
296 #endif
297     /* keep this the last entry */
298     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
299   };
300
301 /* When reading SMTP from a remote host, we have to use our own versions of the
302 C input-reading functions, in order to be able to flush the SMTP output only
303 when about to read more data from the socket. This is the only way to get
304 optimal performance when the client is using pipelining. Flushing for every
305 command causes a separate packet and reply packet each time; saving all the
306 responses up (when pipelining) combines them into one packet and one response.
307
308 For simplicity, these functions are used for *all* SMTP input, not only when
309 receiving over a socket. However, after setting up a secure socket (SSL), input
310 is read via the OpenSSL library, and another set of functions is used instead
311 (see tls.c).
312
313 These functions are set in the receive_getc etc. variables and called with the
314 same interface as the C functions. However, since there can only ever be
315 one incoming SMTP call, we just use a single buffer and flags. There is no need
316 to implement a complicated private FILE-like structure.*/
317
318 static uschar *smtp_inbuffer;
319 static uschar *smtp_inptr;
320 static uschar *smtp_inend;
321 static int     smtp_had_eof;
322 static int     smtp_had_error;
323
324
325 /* forward declarations */
326 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
327 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
328 static void smtp_quit_handler(uschar **, uschar **);
329 static void smtp_rset_handler(void);
330
331 /*************************************************
332 *          Recheck synchronization               *
333 *************************************************/
334
335 /* Synchronization checks can never be perfect because a packet may be on its
336 way but not arrived when the check is done.  Normally, the checks happen when
337 commands are read: Exim ensures that there is no more input in the input buffer.
338 In normal cases, the response to the command will be fast, and there is no
339 further check.
340
341 However, for some commands an ACL is run, and that can include delays. In those
342 cases, it is useful to do another check on the input just before sending the
343 response. This also applies at the start of a connection. This function does
344 that check by means of the select() function, as long as the facility is not
345 disabled or inappropriate. A failure of select() is ignored.
346
347 When there is unwanted input, we read it so that it appears in the log of the
348 error.
349
350 Arguments: none
351 Returns:   TRUE if all is well; FALSE if there is input pending
352 */
353
354 static BOOL
355 wouldblock_reading(void)
356 {
357 int fd, rc;
358 fd_set fds;
359 struct timeval tzero;
360
361 #ifdef SUPPORT_TLS
362 if (tls_in.active.sock >= 0)
363  return !tls_could_read();
364 #endif
365
366 if (smtp_inptr < smtp_inend)
367   return FALSE;
368
369 fd = fileno(smtp_in);
370 FD_ZERO(&fds);
371 FD_SET(fd, &fds);
372 tzero.tv_sec = 0;
373 tzero.tv_usec = 0;
374 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
375
376 if (rc <= 0) return TRUE;     /* Not ready to read */
377 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
378 if (rc < 0) return TRUE;      /* End of file or error */
379
380 smtp_ungetc(rc);
381 return FALSE;
382 }
383
384 static BOOL
385 check_sync(void)
386 {
387 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
388   return TRUE;
389
390 return wouldblock_reading();
391 }
392
393
394 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
395 a reponse with the one following. */
396
397 static BOOL
398 pipeline_response(void)
399 {
400 if (  !smtp_enforce_sync || !sender_host_address
401    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
402   return FALSE;
403
404 if (wouldblock_reading()) return FALSE;
405 f.smtp_in_pipelining_used = TRUE;
406 return TRUE;
407 }
408
409
410 #ifdef EXPERIMENTAL_PIPE_CONNECT
411 static BOOL
412 pipeline_connect_sends(void)
413 {
414 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
415   return FALSE;
416
417 if (wouldblock_reading()) return FALSE;
418 f.smtp_in_early_pipe_used = TRUE;
419 return TRUE;
420 }
421 #endif
422
423 /*************************************************
424 *          Log incomplete transactions           *
425 *************************************************/
426
427 /* This function is called after a transaction has been aborted by RSET, QUIT,
428 connection drops or other errors. It logs the envelope information received
429 so far in order to preserve address verification attempts.
430
431 Argument:   string to indicate what aborted the transaction
432 Returns:    nothing
433 */
434
435 static void
436 incomplete_transaction_log(uschar *what)
437 {
438 if (sender_address == NULL ||                 /* No transaction in progress */
439     !LOGGING(smtp_incomplete_transaction))
440   return;
441
442 /* Build list of recipients for logging */
443
444 if (recipients_count > 0)
445   {
446   int i;
447   raw_recipients = store_get(recipients_count * sizeof(uschar *));
448   for (i = 0; i < recipients_count; i++)
449     raw_recipients[i] = recipients_list[i].address;
450   raw_recipients_count = recipients_count;
451   }
452
453 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
454   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
455 }
456
457
458
459
460 void
461 smtp_command_timeout_exit(void)
462 {
463 log_write(L_lost_incoming_connection,
464           LOG_MAIN, "SMTP command timeout on%s connection from %s",
465           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
468 smtp_notquit_exit(US"command-timeout", US"421",
469   US"%s: SMTP command timeout - closing connection",
470   smtp_active_hostname);
471 exim_exit(EXIT_FAILURE, US"receiving");
472 }
473
474 void
475 smtp_command_sigterm_exit(void)
476 {
477 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
478 if (smtp_batched_input)
479   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
480 smtp_notquit_exit(US"signal-exit", US"421",
481   US"%s: Service not available - closing connection", smtp_active_hostname);
482 exim_exit(EXIT_FAILURE, US"receiving");
483 }
484
485 void
486 smtp_data_timeout_exit(void)
487 {
488 log_write(L_lost_incoming_connection,
489   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
490   sender_fullhost ? sender_fullhost : US"local process", sender_address);
491 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
492 /* Does not return */
493 }
494
495 void
496 smtp_data_sigint_exit(void)
497 {
498 log_write(0, LOG_MAIN, "%s closed after %s",
499   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
500 receive_bomb_out(US"signal-exit",
501   US"Service not available - SIGTERM or SIGINT received");
502 /* Does not return */
503 }
504
505
506
507 /* Refill the buffer, and notify DKIM verification code.
508 Return false for error or EOF.
509 */
510
511 static BOOL
512 smtp_refill(unsigned lim)
513 {
514 int rc, save_errno;
515 if (!smtp_out) return FALSE;
516 fflush(smtp_out);
517 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
518
519 /* Limit amount read, so non-message data is not fed to DKIM.
520 Take care to not touch the safety NUL at the end of the buffer. */
521
522 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
523 save_errno = errno;
524 if (smtp_receive_timeout > 0) ALARM_CLR(0);
525 if (rc <= 0)
526   {
527   /* Must put the error text in fixed store, because this might be during
528   header reading, where it releases unused store above the header. */
529   if (rc < 0)
530     {
531     if (had_command_timeout)            /* set by signal handler */
532       smtp_command_timeout_exit();      /* does not return */
533     if (had_command_sigterm)
534       smtp_command_sigterm_exit();
535     if (had_data_timeout)
536       smtp_data_timeout_exit();
537     if (had_data_sigint)
538       smtp_data_sigint_exit();
539
540     smtp_had_error = save_errno;
541     smtp_read_error = string_copy_malloc(
542       string_sprintf(" (error: %s)", strerror(save_errno)));
543     }
544   else
545     smtp_had_eof = 1;
546   return FALSE;
547   }
548 #ifndef DISABLE_DKIM
549 dkim_exim_verify_feed(smtp_inbuffer, rc);
550 #endif
551 smtp_inend = smtp_inbuffer + rc;
552 smtp_inptr = smtp_inbuffer;
553 return TRUE;
554 }
555
556 /*************************************************
557 *          SMTP version of getc()                *
558 *************************************************/
559
560 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
561 it flushes the output, and refills the buffer, with a timeout. The signal
562 handler is set appropriately by the calling function. This function is not used
563 after a connection has negotiated itself into an TLS/SSL state.
564
565 Arguments:  lim         Maximum amount to read/buffer
566 Returns:    the next character or EOF
567 */
568
569 int
570 smtp_getc(unsigned lim)
571 {
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(lim))
574     return EOF;
575 return *smtp_inptr++;
576 }
577
578 uschar *
579 smtp_getbuf(unsigned * len)
580 {
581 unsigned size;
582 uschar * buf;
583
584 if (smtp_inptr >= smtp_inend)
585   if (!smtp_refill(*len))
586     { *len = 0; return NULL; }
587
588 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
589 buf = smtp_inptr;
590 smtp_inptr += size;
591 *len = size;
592 return buf;
593 }
594
595 void
596 smtp_get_cache(void)
597 {
598 #ifndef DISABLE_DKIM
599 int n = smtp_inend - smtp_inptr;
600 if (n > 0)
601   dkim_exim_verify_feed(smtp_inptr, n);
602 #endif
603 }
604
605
606 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
607 previous BDAT chunk and getting new ones when we run out.  Uses the
608 underlying smtp_getc or tls_getc both for that and for getting the
609 (buffered) data byte.  EOD signals (an expected) no further data.
610 ERR signals a protocol error, and EOF a closed input stream.
611
612 Called from read_bdat_smtp() in receive.c for the message body, but also
613 by the headers read loop in receive_msg(); manipulates chunking_state
614 to handle the BDAT command/response.
615 Placed here due to the correlation with the above smtp_getc(), which it wraps,
616 and also by the need to do smtp command/response handling.
617
618 Arguments:  lim         (ignored)
619 Returns:    the next character or ERR, EOD or EOF
620 */
621
622 int
623 bdat_getc(unsigned lim)
624 {
625 uschar * user_msg = NULL;
626 uschar * log_msg;
627
628 for(;;)
629   {
630 #ifndef DISABLE_DKIM
631   unsigned dkim_save;
632 #endif
633
634   if (chunking_data_left > 0)
635     return lwr_receive_getc(chunking_data_left--);
636
637   receive_getc = lwr_receive_getc;
638   receive_getbuf = lwr_receive_getbuf;
639   receive_ungetc = lwr_receive_ungetc;
640 #ifndef DISABLE_DKIM
641   dkim_save = dkim_collect_input;
642   dkim_collect_input = 0;
643 #endif
644
645   /* Unless PIPELINING was offered, there should be no next command
646   until after we ack that chunk */
647
648   if (!f.smtp_in_pipelining_advertised && !check_sync())
649     {
650     unsigned n = smtp_inend - smtp_inptr;
651     if (n > 32) n = 32;
652
653     incomplete_transaction_log(US"sync failure");
654     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
655       "(next input sent too soon: pipelining was not advertised): "
656       "rejected \"%s\" %s next input=\"%s\"%s",
657       smtp_cmd_buffer, host_and_ident(TRUE),
658       string_printing(string_copyn(smtp_inptr, n)),
659       smtp_inend - smtp_inptr > n ? "..." : "");
660     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
661       US"SMTP synchronization error");
662     goto repeat_until_rset;
663     }
664
665   /* If not the last, ack the received chunk.  The last response is delayed
666   until after the data ACL decides on it */
667
668   if (chunking_state == CHUNKING_LAST)
669     {
670 #ifndef DISABLE_DKIM
671     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
672 #endif
673     return EOD;
674     }
675
676   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
677   chunking_state = CHUNKING_OFFERED;
678   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
679
680   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
681   QUIT, RSET or NOOP but handling them seems obvious */
682
683 next_cmd:
684   switch(smtp_read_command(TRUE, 1))
685     {
686     default:
687       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
688         US"only BDAT permissible after non-LAST BDAT");
689
690   repeat_until_rset:
691       switch(smtp_read_command(TRUE, 1))
692         {
693         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
694         case EOF_CMD:   return EOF;
695         case RSET_CMD:  smtp_rset_handler(); return ERR;
696         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
697                                           US"only RSET accepted now") > 0)
698                           return EOF;
699                         goto repeat_until_rset;
700         }
701
702     case QUIT_CMD:
703       smtp_quit_handler(&user_msg, &log_msg);
704       /*FALLTHROUGH*/
705     case EOF_CMD:
706       return EOF;
707
708     case RSET_CMD:
709       smtp_rset_handler();
710       return ERR;
711
712     case NOOP_CMD:
713       HAD(SCH_NOOP);
714       smtp_printf("250 OK\r\n", FALSE);
715       goto next_cmd;
716
717     case BDAT_CMD:
718       {
719       int n;
720
721       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
722         {
723         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
724           US"missing size for BDAT command");
725         return ERR;
726         }
727       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
728         ? CHUNKING_LAST : CHUNKING_ACTIVE;
729       chunking_data_left = chunking_datasize;
730       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
731                                     (int)chunking_state, chunking_data_left);
732
733       if (chunking_datasize == 0)
734         if (chunking_state == CHUNKING_LAST)
735           return EOD;
736         else
737           {
738           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
739             US"zero size for BDAT command");
740           goto repeat_until_rset;
741           }
742
743       receive_getc = bdat_getc;
744       receive_getbuf = bdat_getbuf;     /* r~getbuf is never actually used */
745       receive_ungetc = bdat_ungetc;
746 #ifndef DISABLE_DKIM
747       dkim_collect_input = dkim_save;
748 #endif
749       break;    /* to top of main loop */
750       }
751     }
752   }
753 }
754
755 uschar *
756 bdat_getbuf(unsigned * len)
757 {
758 uschar * buf;
759
760 if (chunking_data_left <= 0)
761   { *len = 0; return NULL; }
762
763 if (*len > chunking_data_left) *len = chunking_data_left;
764 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
765 chunking_data_left -= *len;
766 return buf;
767 }
768
769 void
770 bdat_flush_data(void)
771 {
772 while (chunking_data_left)
773   {
774   unsigned n = chunking_data_left;
775   if (!bdat_getbuf(&n)) break;
776   }
777
778 receive_getc = lwr_receive_getc;
779 receive_getbuf = lwr_receive_getbuf;
780 receive_ungetc = lwr_receive_ungetc;
781
782 if (chunking_state != CHUNKING_LAST)
783   {
784   chunking_state = CHUNKING_OFFERED;
785   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
786   }
787 }
788
789
790
791
792 /*************************************************
793 *          SMTP version of ungetc()              *
794 *************************************************/
795
796 /* Puts a character back in the input buffer. Only ever
797 called once.
798
799 Arguments:
800   ch           the character
801
802 Returns:       the character
803 */
804
805 int
806 smtp_ungetc(int ch)
807 {
808 *--smtp_inptr = ch;
809 return ch;
810 }
811
812
813 int
814 bdat_ungetc(int ch)
815 {
816 chunking_data_left++;
817 return lwr_receive_ungetc(ch);
818 }
819
820
821
822 /*************************************************
823 *          SMTP version of feof()                *
824 *************************************************/
825
826 /* Tests for a previous EOF
827
828 Arguments:     none
829 Returns:       non-zero if the eof flag is set
830 */
831
832 int
833 smtp_feof(void)
834 {
835 return smtp_had_eof;
836 }
837
838
839
840
841 /*************************************************
842 *          SMTP version of ferror()              *
843 *************************************************/
844
845 /* Tests for a previous read error, and returns with errno
846 restored to what it was when the error was detected.
847
848 Arguments:     none
849 Returns:       non-zero if the error flag is set
850 */
851
852 int
853 smtp_ferror(void)
854 {
855 errno = smtp_had_error;
856 return smtp_had_error;
857 }
858
859
860
861 /*************************************************
862 *      Test for characters in the SMTP buffer    *
863 *************************************************/
864
865 /* Used at the end of a message
866
867 Arguments:     none
868 Returns:       TRUE/FALSE
869 */
870
871 BOOL
872 smtp_buffered(void)
873 {
874 return smtp_inptr < smtp_inend;
875 }
876
877
878
879 /*************************************************
880 *     Write formatted string to SMTP channel     *
881 *************************************************/
882
883 /* This is a separate function so that we don't have to repeat everything for
884 TLS support or debugging. It is global so that the daemon and the
885 authentication functions can use it. It does not return any error indication,
886 because major problems such as dropped connections won't show up till an output
887 flush for non-TLS connections. The smtp_fflush() function is available for
888 checking that: for convenience, TLS output errors are remembered here so that
889 they are also picked up later by smtp_fflush().
890
891 Arguments:
892   format      format string
893   more        further data expected
894   ...         optional arguments
895
896 Returns:      nothing
897 */
898
899 void
900 smtp_printf(const char *format, BOOL more, ...)
901 {
902 va_list ap;
903
904 va_start(ap, more);
905 smtp_vprintf(format, more, ap);
906 va_end(ap);
907 }
908
909 /* This is split off so that verify.c:respond_printf() can, in effect, call
910 smtp_printf(), bearing in mind that in C a vararg function can't directly
911 call another vararg function, only a function which accepts a va_list. */
912
913 void
914 smtp_vprintf(const char *format, BOOL more, va_list ap)
915 {
916 BOOL yield;
917
918 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
919
920 DEBUG(D_receive)
921   {
922   void *reset_point = store_get(0);
923   uschar *msg_copy, *cr, *end;
924   msg_copy = string_copy(big_buffer);
925   end = msg_copy + Ustrlen(msg_copy);
926   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
927   memmove(cr, cr + 1, (end--) - cr);
928   debug_printf("SMTP>> %s", msg_copy);
929   store_reset(reset_point);
930   }
931
932 if (!yield)
933   {
934   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
935   smtp_closedown(US"Unexpected error");
936   exim_exit(EXIT_FAILURE, NULL);
937   }
938
939 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
940 have had the same. Note: this code is also present in smtp_respond(). It would
941 be tidier to have it only in one place, but when it was added, it was easier to
942 do it that way, so as not to have to mess with the code for the RCPT command,
943 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
944
945 if (fl.rcpt_in_progress)
946   {
947   if (rcpt_smtp_response == NULL)
948     rcpt_smtp_response = string_copy(big_buffer);
949   else if (fl.rcpt_smtp_response_same &&
950            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
951     fl.rcpt_smtp_response_same = FALSE;
952   fl.rcpt_in_progress = FALSE;
953   }
954
955 /* Now write the string */
956
957 #ifdef SUPPORT_TLS
958 if (tls_in.active.sock >= 0)
959   {
960   if (tls_write(NULL, big_buffer, Ustrlen(big_buffer), more) < 0)
961     smtp_write_error = -1;
962   }
963 else
964 #endif
965
966 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
967 }
968
969
970
971 /*************************************************
972 *        Flush SMTP out and check for error      *
973 *************************************************/
974
975 /* This function isn't currently used within Exim (it detects errors when it
976 tries to read the next SMTP input), but is available for use in local_scan().
977 For non-TLS connections, it flushes the output and checks for errors. For
978 TLS-connections, it checks for a previously-detected TLS write error.
979
980 Arguments:  none
981 Returns:    0 for no error; -1 after an error
982 */
983
984 int
985 smtp_fflush(void)
986 {
987 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
988 return smtp_write_error;
989 }
990
991
992
993 /*************************************************
994 *          SMTP command read timeout             *
995 *************************************************/
996
997 /* Signal handler for timing out incoming SMTP commands. This attempts to
998 finish off tidily.
999
1000 Argument: signal number (SIGALRM)
1001 Returns:  nothing
1002 */
1003
1004 static void
1005 command_timeout_handler(int sig)
1006 {
1007 had_command_timeout = sig;
1008 }
1009
1010
1011
1012 /*************************************************
1013 *               SIGTERM received                 *
1014 *************************************************/
1015
1016 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1017
1018 Argument: signal number (SIGTERM)
1019 Returns:  nothing
1020 */
1021
1022 static void
1023 command_sigterm_handler(int sig)
1024 {
1025 had_command_sigterm = sig;
1026 }
1027
1028
1029
1030
1031 #ifdef SUPPORT_PROXY
1032 /*************************************************
1033 *     Restore socket timeout to previous value   *
1034 *************************************************/
1035 /* If the previous value was successfully retrieved, restore
1036 it before returning control to the non-proxy routines
1037
1038 Arguments: fd     - File descriptor for input
1039            get_ok - Successfully retrieved previous values
1040            tvtmp  - Time struct with previous values
1041            vslen  - Length of time struct
1042 Returns:   none
1043 */
1044 static void
1045 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1046 {
1047 if (get_ok == 0)
1048   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1049 }
1050
1051 /*************************************************
1052 *       Check if host is required proxy host     *
1053 *************************************************/
1054 /* The function determines if inbound host will be a regular smtp host
1055 or if it is configured that it must use Proxy Protocol.  A local
1056 connection cannot.
1057
1058 Arguments: none
1059 Returns:   bool
1060 */
1061
1062 static BOOL
1063 check_proxy_protocol_host()
1064 {
1065 int rc;
1066
1067 if (  sender_host_address
1068    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1069                            sender_host_address, NULL)) == OK)
1070   {
1071   DEBUG(D_receive)
1072     debug_printf("Detected proxy protocol configured host\n");
1073   proxy_session = TRUE;
1074   }
1075 return proxy_session;
1076 }
1077
1078
1079 /*************************************************
1080 *    Read data until newline or end of buffer    *
1081 *************************************************/
1082 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1083 read an entire buffer and assume there will be nothing past a proxy protocol
1084 header.  Our approach normally is to use stdio, but again that relies upon
1085 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1086 reading _nothing_ before client TLS handshake.  So we don't want to use the
1087 usual buffering reads which may read enough to block TLS starting.
1088
1089 So unfortunately we're down to "read one byte at a time, with a syscall each,
1090 and expect a little overhead", for all proxy-opened connections which are v1,
1091 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1092 underlying fd, we can't assume that we can feed them any already-read content.
1093
1094 We need to know where to read to, the max capacity, and we'll read until we
1095 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1096
1097 Return the amount read.
1098 */
1099
1100 static int
1101 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1102 {
1103 uschar *to = base + already;
1104 uschar *cr;
1105 int have = 0;
1106 int ret;
1107 int last = 0;
1108
1109 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1110 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1111
1112 cr = memchr(base, '\r', already);
1113 if (cr != NULL)
1114   {
1115   if ((cr - base) < already - 1)
1116     {
1117     /* \r and presumed \n already within what we have; probably not
1118     actually proxy protocol, but abort cleanly. */
1119     return 0;
1120     }
1121   /* \r is last character read, just need one more. */
1122   last = 1;
1123   }
1124
1125 while (capacity > 0)
1126   {
1127   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1128   if (ret == -1)
1129     return -1;
1130   have++;
1131   if (last)
1132     return have;
1133   if (*to == '\r')
1134     last = 1;
1135   capacity--;
1136   to++;
1137   }
1138
1139 /* reached end without having room for a final newline, abort */
1140 errno = EOVERFLOW;
1141 return -1;
1142 }
1143
1144 /*************************************************
1145 *         Setup host for proxy protocol          *
1146 *************************************************/
1147 /* The function configures the connection based on a header from the
1148 inbound host to use Proxy Protocol. The specification is very exact
1149 so exit with an error if do not find the exact required pieces. This
1150 includes an incorrect number of spaces separating args.
1151
1152 Arguments: none
1153 Returns:   Boolean success
1154 */
1155
1156 static void
1157 setup_proxy_protocol_host()
1158 {
1159 union {
1160   struct {
1161     uschar line[108];
1162   } v1;
1163   struct {
1164     uschar sig[12];
1165     uint8_t ver_cmd;
1166     uint8_t fam;
1167     uint16_t len;
1168     union {
1169       struct { /* TCP/UDP over IPv4, len = 12 */
1170         uint32_t src_addr;
1171         uint32_t dst_addr;
1172         uint16_t src_port;
1173         uint16_t dst_port;
1174       } ip4;
1175       struct { /* TCP/UDP over IPv6, len = 36 */
1176         uint8_t  src_addr[16];
1177         uint8_t  dst_addr[16];
1178         uint16_t src_port;
1179         uint16_t dst_port;
1180       } ip6;
1181       struct { /* AF_UNIX sockets, len = 216 */
1182         uschar   src_addr[108];
1183         uschar   dst_addr[108];
1184       } unx;
1185     } addr;
1186   } v2;
1187 } hdr;
1188
1189 /* Temp variables used in PPv2 address:port parsing */
1190 uint16_t tmpport;
1191 char tmpip[INET_ADDRSTRLEN];
1192 struct sockaddr_in tmpaddr;
1193 char tmpip6[INET6_ADDRSTRLEN];
1194 struct sockaddr_in6 tmpaddr6;
1195
1196 /* We can't read "all data until end" because while SMTP is
1197 server-speaks-first, the TLS handshake is client-speaks-first, so for
1198 TLS-on-connect ports the proxy protocol header will usually be immediately
1199 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1200 reinject data for reading by those.  So instead we first read "enough to be
1201 safely read within the header, and figure out how much more to read".
1202 For v1 we will later read to the end-of-line, for v2 we will read based upon
1203 the stated length.
1204
1205 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1206 data is needed total.  For v1, where the line looks like:
1207 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1208
1209 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1210 We seem to support that.  So, if we read 14 octets then we can tell if we're
1211 v2 or v1.  If we're v1, we can continue reading as normal.
1212
1213 If we're v2, we can't slurp up the entire header.  We need the length in the
1214 15th & 16th octets, then to read everything after that.
1215
1216 So to safely handle v1 and v2, with client-sent-first supported correctly,
1217 we have to do a minimum of 3 read calls, not 1.  Eww.
1218 */
1219
1220 #define PROXY_INITIAL_READ 14
1221 #define PROXY_V2_HEADER_SIZE 16
1222 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1223 # error Code bug in sizes of data to read for proxy usage
1224 #endif
1225
1226 int get_ok = 0;
1227 int size, ret;
1228 int fd = fileno(smtp_in);
1229 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1230 uschar * iptype;  /* To display debug info */
1231 struct timeval tv;
1232 struct timeval tvtmp;
1233 socklen_t vslen = sizeof(struct timeval);
1234 BOOL yield = FALSE;
1235
1236 /* Save current socket timeout values */
1237 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1238
1239 /* Proxy Protocol host must send header within a short time
1240 (default 3 seconds) or it's considered invalid */
1241 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1242 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1243 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1244   goto bad;
1245
1246 do
1247   {
1248   /* The inbound host was declared to be a Proxy Protocol host, so
1249   don't do a PEEK into the data, actually slurp up enough to be
1250   "safe". Can't take it all because TLS-on-connect clients follow
1251   immediately with TLS handshake. */
1252   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1253   }
1254   while (ret == -1 && errno == EINTR);
1255
1256 if (ret == -1)
1257   goto proxyfail;
1258
1259 /* For v2, handle reading the length, and then the rest. */
1260 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1261   {
1262   int retmore;
1263   uint8_t ver;
1264
1265   /* First get the length fields. */
1266   do
1267     {
1268     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1269     } while (retmore == -1 && errno == EINTR);
1270   if (retmore == -1)
1271     goto proxyfail;
1272   ret += retmore;
1273
1274   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1275
1276   /* May 2014: haproxy combined the version and command into one byte to
1277   allow two full bytes for the length field in order to proxy SSL
1278   connections.  SSL Proxy is not supported in this version of Exim, but
1279   must still separate values here. */
1280
1281   if (ver != 0x02)
1282     {
1283     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1284     goto proxyfail;
1285     }
1286
1287   /* The v2 header will always be 16 bytes per the spec. */
1288   size = 16 + ntohs(hdr.v2.len);
1289   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1290       size, (int)sizeof(hdr));
1291
1292   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1293   amount that we need.  Double-check that the size is not unreasonable, then
1294   get the rest. */
1295   if (size > sizeof(hdr))
1296     {
1297     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1298     goto proxyfail;
1299     }
1300
1301   do
1302     {
1303     do
1304       {
1305       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1306       } while (retmore == -1 && errno == EINTR);
1307     if (retmore == -1)
1308       goto proxyfail;
1309     ret += retmore;
1310     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1311     } while (ret < size);
1312
1313   } /* end scope for getting rest of data for v2 */
1314
1315 /* At this point: if PROXYv2, we've read the exact size required for all data;
1316 if PROXYv1 then we've read "less than required for any valid line" and should
1317 read the rest". */
1318
1319 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1320   {
1321   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1322
1323   switch (cmd)
1324     {
1325     case 0x01: /* PROXY command */
1326       switch (hdr.v2.fam)
1327         {
1328         case 0x11:  /* TCPv4 address type */
1329           iptype = US"IPv4";
1330           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1331           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1332           if (!string_is_ip_address(US tmpip, NULL))
1333             {
1334             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1335             goto proxyfail;
1336             }
1337           proxy_local_address = sender_host_address;
1338           sender_host_address = string_copy(US tmpip);
1339           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1340           proxy_local_port    = sender_host_port;
1341           sender_host_port    = tmpport;
1342           /* Save dest ip/port */
1343           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1344           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1345           if (!string_is_ip_address(US tmpip, NULL))
1346             {
1347             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1348             goto proxyfail;
1349             }
1350           proxy_external_address = string_copy(US tmpip);
1351           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1352           proxy_external_port  = tmpport;
1353           goto done;
1354         case 0x21:  /* TCPv6 address type */
1355           iptype = US"IPv6";
1356           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1357           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1358           if (!string_is_ip_address(US tmpip6, NULL))
1359             {
1360             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1361             goto proxyfail;
1362             }
1363           proxy_local_address = sender_host_address;
1364           sender_host_address = string_copy(US tmpip6);
1365           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1366           proxy_local_port    = sender_host_port;
1367           sender_host_port    = tmpport;
1368           /* Save dest ip/port */
1369           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1370           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1371           if (!string_is_ip_address(US tmpip6, NULL))
1372             {
1373             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1374             goto proxyfail;
1375             }
1376           proxy_external_address = string_copy(US tmpip6);
1377           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1378           proxy_external_port  = tmpport;
1379           goto done;
1380         default:
1381           DEBUG(D_receive)
1382             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1383                          hdr.v2.fam);
1384           goto proxyfail;
1385         }
1386       /* Unsupported protocol, keep local connection address */
1387       break;
1388     case 0x00: /* LOCAL command */
1389       /* Keep local connection address for LOCAL */
1390       iptype = US"local";
1391       break;
1392     default:
1393       DEBUG(D_receive)
1394         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1395       goto proxyfail;
1396     }
1397   }
1398 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1399   {
1400   uschar *p;
1401   uschar *end;
1402   uschar *sp;     /* Utility variables follow */
1403   int     tmp_port;
1404   int     r2;
1405   char   *endc;
1406
1407   /* get the rest of the line */
1408   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1409   if (r2 == -1)
1410     goto proxyfail;
1411   ret += r2;
1412
1413   p = string_copy(hdr.v1.line);
1414   end = memchr(p, '\r', ret - 1);
1415
1416   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1417     {
1418     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1419     goto proxyfail;
1420     }
1421   *end = '\0'; /* Terminate the string */
1422   size = end + 2 - p; /* Skip header + CRLF */
1423   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1424   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1425   /* Step through the string looking for the required fields. Ensure
1426   strict adherence to required formatting, exit for any error. */
1427   p += 5;
1428   if (!isspace(*(p++)))
1429     {
1430     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1431     goto proxyfail;
1432     }
1433   if (!Ustrncmp(p, CCS"TCP4", 4))
1434     iptype = US"IPv4";
1435   else if (!Ustrncmp(p,CCS"TCP6", 4))
1436     iptype = US"IPv6";
1437   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1438     {
1439     iptype = US"Unknown";
1440     goto done;
1441     }
1442   else
1443     {
1444     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1445     goto proxyfail;
1446     }
1447
1448   p += Ustrlen(iptype);
1449   if (!isspace(*(p++)))
1450     {
1451     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1452     goto proxyfail;
1453     }
1454   /* Find the end of the arg */
1455   if ((sp = Ustrchr(p, ' ')) == NULL)
1456     {
1457     DEBUG(D_receive)
1458       debug_printf("Did not find proxied src %s\n", iptype);
1459     goto proxyfail;
1460     }
1461   *sp = '\0';
1462   if(!string_is_ip_address(p, NULL))
1463     {
1464     DEBUG(D_receive)
1465       debug_printf("Proxied src arg is not an %s address\n", iptype);
1466     goto proxyfail;
1467     }
1468   proxy_local_address = sender_host_address;
1469   sender_host_address = p;
1470   p = sp + 1;
1471   if ((sp = Ustrchr(p, ' ')) == NULL)
1472     {
1473     DEBUG(D_receive)
1474       debug_printf("Did not find proxy dest %s\n", iptype);
1475     goto proxyfail;
1476     }
1477   *sp = '\0';
1478   if(!string_is_ip_address(p, NULL))
1479     {
1480     DEBUG(D_receive)
1481       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1482     goto proxyfail;
1483     }
1484   proxy_external_address = p;
1485   p = sp + 1;
1486   if ((sp = Ustrchr(p, ' ')) == NULL)
1487     {
1488     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1489     goto proxyfail;
1490     }
1491   *sp = '\0';
1492   tmp_port = strtol(CCS p, &endc, 10);
1493   if (*endc || tmp_port == 0)
1494     {
1495     DEBUG(D_receive)
1496       debug_printf("Proxied src port '%s' not an integer\n", p);
1497     goto proxyfail;
1498     }
1499   proxy_local_port = sender_host_port;
1500   sender_host_port = tmp_port;
1501   p = sp + 1;
1502   if ((sp = Ustrchr(p, '\0')) == NULL)
1503     {
1504     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1505     goto proxyfail;
1506     }
1507   tmp_port = strtol(CCS p, &endc, 10);
1508   if (*endc || tmp_port == 0)
1509     {
1510     DEBUG(D_receive)
1511       debug_printf("Proxy dest port '%s' not an integer\n", p);
1512     goto proxyfail;
1513     }
1514   proxy_external_port = tmp_port;
1515   /* Already checked for /r /n above. Good V1 header received. */
1516   }
1517 else
1518   {
1519   /* Wrong protocol */
1520   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1521   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1522   goto proxyfail;
1523   }
1524
1525 done:
1526   DEBUG(D_receive)
1527     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1528   yield = proxy_session;
1529
1530 /* Don't flush any potential buffer contents. Any input on proxyfail
1531 should cause a synchronization failure */
1532
1533 proxyfail:
1534   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1535
1536 bad:
1537   if (yield)
1538     {
1539     sender_host_name = NULL;
1540     (void) host_name_lookup();
1541     host_build_sender_fullhost();
1542     }
1543   else
1544     {
1545     f.proxy_session_failed = TRUE;
1546     DEBUG(D_receive)
1547       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1548     }
1549
1550 return;
1551 }
1552 #endif
1553
1554 /*************************************************
1555 *           Read one command line                *
1556 *************************************************/
1557
1558 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1559 There are sites that don't do this, and in any case internal SMTP probably
1560 should check only for LF. Consequently, we check here for LF only. The line
1561 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1562 an unknown command. The command is read into the global smtp_cmd_buffer so that
1563 it is available via $smtp_command.
1564
1565 The character reading routine sets up a timeout for each block actually read
1566 from the input (which may contain more than one command). We set up a special
1567 signal handler that closes down the session on a timeout. Control does not
1568 return when it runs.
1569
1570 Arguments:
1571   check_sync    if TRUE, check synchronization rules if global option is TRUE
1572   buffer_lim    maximum to buffer in lower layer
1573
1574 Returns:       a code identifying the command (enumerated above)
1575 */
1576
1577 static int
1578 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1579 {
1580 int c;
1581 int ptr = 0;
1582 smtp_cmd_list *p;
1583 BOOL hadnull = FALSE;
1584
1585 had_command_timeout = 0;
1586 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1587
1588 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1589   {
1590   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1591     {
1592     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1593     return OTHER_CMD;
1594     }
1595   if (c == 0)
1596     {
1597     hadnull = TRUE;
1598     c = '?';
1599     }
1600   smtp_cmd_buffer[ptr++] = c;
1601   }
1602
1603 receive_linecount++;    /* For BSMTP errors */
1604 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1605
1606 /* If hit end of file, return pseudo EOF command. Whether we have a
1607 part-line already read doesn't matter, since this is an error state. */
1608
1609 if (c == EOF) return EOF_CMD;
1610
1611 /* Remove any CR and white space at the end of the line, and terminate the
1612 string. */
1613
1614 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1615 smtp_cmd_buffer[ptr] = 0;
1616
1617 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1618
1619 /* NULLs are not allowed in SMTP commands */
1620
1621 if (hadnull) return BADCHAR_CMD;
1622
1623 /* Scan command list and return identity, having set the data pointer
1624 to the start of the actual data characters. Check for SMTP synchronization
1625 if required. */
1626
1627 for (p = cmd_list; p < cmd_list_end; p++)
1628   {
1629 #ifdef SUPPORT_PROXY
1630   /* Only allow QUIT command if Proxy Protocol parsing failed */
1631   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1632     continue;
1633 #endif
1634   if (  p->len
1635      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1636      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1637         || smtp_cmd_buffer[p->len] == 0
1638         || smtp_cmd_buffer[p->len] == ' '
1639      )  )
1640     {
1641     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1642         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1643         check_sync &&                                  /* Local flag set */
1644         smtp_enforce_sync &&                           /* Global flag set */
1645         sender_host_address != NULL &&                 /* Not local input */
1646         !f.sender_host_notsocket)                        /* Really is a socket */
1647       return BADSYN_CMD;
1648
1649     /* The variables $smtp_command and $smtp_command_argument point into the
1650     unmodified input buffer. A copy of the latter is taken for actual
1651     processing, so that it can be chopped up into separate parts if necessary,
1652     for example, when processing a MAIL command options such as SIZE that can
1653     follow the sender address. */
1654
1655     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1656     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1657     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1658     smtp_cmd_data = smtp_data_buffer;
1659
1660     /* Count non-mail commands from those hosts that are controlled in this
1661     way. The default is all hosts. We don't waste effort checking the list
1662     until we get a non-mail command, but then cache the result to save checking
1663     again. If there's a DEFER while checking the host, assume it's in the list.
1664
1665     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1666     start of each incoming message by fiddling with the value in the table. */
1667
1668     if (!p->is_mail_cmd)
1669       {
1670       if (count_nonmail == TRUE_UNSET) count_nonmail =
1671         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1672       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1673         return TOO_MANY_NONMAIL_CMD;
1674       }
1675
1676     /* If there is data for a command that does not expect it, generate the
1677     error here. */
1678
1679     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1680     }
1681   }
1682
1683 #ifdef SUPPORT_PROXY
1684 /* Only allow QUIT command if Proxy Protocol parsing failed */
1685 if (proxy_session && f.proxy_session_failed)
1686   return PROXY_FAIL_IGNORE_CMD;
1687 #endif
1688
1689 /* Enforce synchronization for unknown commands */
1690
1691 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1692    && check_sync                        /* Local flag set */
1693    && smtp_enforce_sync                 /* Global flag set */
1694    && sender_host_address               /* Not local input */
1695    && !f.sender_host_notsocket)         /* Really is a socket */
1696   return BADSYN_CMD;
1697
1698 return OTHER_CMD;
1699 }
1700
1701
1702
1703 /*************************************************
1704 *          Forced closedown of call              *
1705 *************************************************/
1706
1707 /* This function is called from log.c when Exim is dying because of a serious
1708 disaster, and also from some other places. If an incoming non-batched SMTP
1709 channel is open, it swallows the rest of the incoming message if in the DATA
1710 phase, sends the reply string, and gives an error to all subsequent commands
1711 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1712 smtp_in.
1713
1714 Arguments:
1715   message   SMTP reply string to send, excluding the code
1716
1717 Returns:    nothing
1718 */
1719
1720 void
1721 smtp_closedown(uschar *message)
1722 {
1723 if (!smtp_in || smtp_batched_input) return;
1724 receive_swallow_smtp();
1725 smtp_printf("421 %s\r\n", FALSE, message);
1726
1727 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1728   {
1729   case EOF_CMD:
1730     return;
1731
1732   case QUIT_CMD:
1733     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1734     mac_smtp_fflush();
1735     return;
1736
1737   case RSET_CMD:
1738     smtp_printf("250 Reset OK\r\n", FALSE);
1739     break;
1740
1741   default:
1742     smtp_printf("421 %s\r\n", FALSE, message);
1743     break;
1744   }
1745 }
1746
1747
1748
1749
1750 /*************************************************
1751 *        Set up connection info for logging      *
1752 *************************************************/
1753
1754 /* This function is called when logging information about an SMTP connection.
1755 It sets up appropriate source information, depending on the type of connection.
1756 If sender_fullhost is NULL, we are at a very early stage of the connection;
1757 just use the IP address.
1758
1759 Argument:    none
1760 Returns:     a string describing the connection
1761 */
1762
1763 uschar *
1764 smtp_get_connection_info(void)
1765 {
1766 const uschar * hostname = sender_fullhost
1767   ? sender_fullhost : sender_host_address;
1768
1769 if (host_checking)
1770   return string_sprintf("SMTP connection from %s", hostname);
1771
1772 if (f.sender_host_unknown || f.sender_host_notsocket)
1773   return string_sprintf("SMTP connection from %s", sender_ident);
1774
1775 if (f.is_inetd)
1776   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1777
1778 if (LOGGING(incoming_interface) && interface_address != NULL)
1779   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1780     interface_address, interface_port);
1781
1782 return string_sprintf("SMTP connection from %s", hostname);
1783 }
1784
1785
1786
1787 #ifdef SUPPORT_TLS
1788 /* Append TLS-related information to a log line
1789
1790 Arguments:
1791   g             String under construction: allocated string to extend, or NULL
1792
1793 Returns:        Allocated string or NULL
1794 */
1795 static gstring *
1796 s_tlslog(gstring * g)
1797 {
1798 if (LOGGING(tls_cipher) && tls_in.cipher)
1799   g = string_append(g, 2, US" X=", tls_in.cipher);
1800 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1801   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1802 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1803   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1804 if (LOGGING(tls_sni) && tls_in.sni)
1805   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1806 return g;
1807 }
1808 #endif
1809
1810 /*************************************************
1811 *      Log lack of MAIL if so configured         *
1812 *************************************************/
1813
1814 /* This function is called when an SMTP session ends. If the log selector
1815 smtp_no_mail is set, write a log line giving some details of what has happened
1816 in the SMTP session.
1817
1818 Arguments:   none
1819 Returns:     nothing
1820 */
1821
1822 void
1823 smtp_log_no_mail(void)
1824 {
1825 int i;
1826 uschar * sep, * s;
1827 gstring * g = NULL;
1828
1829 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1830   return;
1831
1832 if (sender_host_authenticated)
1833   {
1834   g = string_append(g, 2, US" A=", sender_host_authenticated);
1835   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1836   }
1837
1838 #ifdef SUPPORT_TLS
1839 g = s_tlslog(g);
1840 #endif
1841
1842 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1843
1844 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1845   if (smtp_connection_had[i] != SCH_NONE)
1846     {
1847     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1848     sep = US",";
1849     }
1850
1851 for (i = 0; i < smtp_ch_index; i++)
1852   {
1853   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1854   sep = US",";
1855   }
1856
1857 if (!(s = string_from_gstring(g))) s = US"";
1858
1859 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1860   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1861   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1862 }
1863
1864
1865 /* Return list of recent smtp commands */
1866
1867 uschar *
1868 smtp_cmd_hist(void)
1869 {
1870 int  i;
1871 gstring * list = NULL;
1872 uschar * s;
1873
1874 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1875   if (smtp_connection_had[i] != SCH_NONE)
1876     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1877
1878 for (i = 0; i < smtp_ch_index; i++)
1879   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1880
1881 s = string_from_gstring(list);
1882 return s ? s : US"";
1883 }
1884
1885
1886
1887
1888 /*************************************************
1889 *   Check HELO line and set sender_helo_name     *
1890 *************************************************/
1891
1892 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1893 the domain name of the sending host, or an ip literal in square brackets. The
1894 argument is placed in sender_helo_name, which is in malloc store, because it
1895 must persist over multiple incoming messages. If helo_accept_junk is set, this
1896 host is permitted to send any old junk (needed for some broken hosts).
1897 Otherwise, helo_allow_chars can be used for rogue characters in general
1898 (typically people want to let in underscores).
1899
1900 Argument:
1901   s       the data portion of the line (already past any white space)
1902
1903 Returns:  TRUE or FALSE
1904 */
1905
1906 static BOOL
1907 check_helo(uschar *s)
1908 {
1909 uschar *start = s;
1910 uschar *end = s + Ustrlen(s);
1911 BOOL yield = fl.helo_accept_junk;
1912
1913 /* Discard any previous helo name */
1914
1915 if (sender_helo_name)
1916   {
1917   store_free(sender_helo_name);
1918   sender_helo_name = NULL;
1919   }
1920
1921 /* Skip tests if junk is permitted. */
1922
1923 if (!yield)
1924
1925   /* Allow the new standard form for IPv6 address literals, namely,
1926   [IPv6:....], and because someone is bound to use it, allow an equivalent
1927   IPv4 form. Allow plain addresses as well. */
1928
1929   if (*s == '[')
1930     {
1931     if (end[-1] == ']')
1932       {
1933       end[-1] = 0;
1934       if (strncmpic(s, US"[IPv6:", 6) == 0)
1935         yield = (string_is_ip_address(s+6, NULL) == 6);
1936       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1937         yield = (string_is_ip_address(s+6, NULL) == 4);
1938       else
1939         yield = (string_is_ip_address(s+1, NULL) != 0);
1940       end[-1] = ']';
1941       }
1942     }
1943
1944   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1945   that have been configured (usually underscore - sigh). */
1946
1947   else if (*s)
1948     for (yield = TRUE; *s; s++)
1949       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1950           Ustrchr(helo_allow_chars, *s) == NULL)
1951         {
1952         yield = FALSE;
1953         break;
1954         }
1955
1956 /* Save argument if OK */
1957
1958 if (yield) sender_helo_name = string_copy_malloc(start);
1959 return yield;
1960 }
1961
1962
1963
1964
1965
1966 /*************************************************
1967 *         Extract SMTP command option            *
1968 *************************************************/
1969
1970 /* This function picks the next option setting off the end of smtp_cmd_data. It
1971 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1972 things that can appear there.
1973
1974 Arguments:
1975    name           point this at the name
1976    value          point this at the data string
1977
1978 Returns:          TRUE if found an option
1979 */
1980
1981 static BOOL
1982 extract_option(uschar **name, uschar **value)
1983 {
1984 uschar *n;
1985 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1986 while (isspace(*v)) v--;
1987 v[1] = 0;
1988 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1989   {
1990   /* Take care to not stop at a space embedded in a quoted local-part */
1991
1992   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1993   v--;
1994   }
1995
1996 n = v;
1997 if (*v == '=')
1998   {
1999   while(isalpha(n[-1])) n--;
2000   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2001   if (!isspace(n[-1])) return FALSE;
2002   n[-1] = 0;
2003   }
2004 else
2005   {
2006   n++;
2007   if (v == smtp_cmd_data) return FALSE;
2008   }
2009 *v++ = 0;
2010 *name = n;
2011 *value = v;
2012 return TRUE;
2013 }
2014
2015
2016
2017
2018
2019 /*************************************************
2020 *         Reset for new message                  *
2021 *************************************************/
2022
2023 /* This function is called whenever the SMTP session is reset from
2024 within either of the setup functions; also from the daemon loop.
2025
2026 Argument:   the stacking pool storage reset point
2027 Returns:    nothing
2028 */
2029
2030 void
2031 smtp_reset(void *reset_point)
2032 {
2033 recipients_list = NULL;
2034 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2035   raw_recipients_count = recipients_count = recipients_list_max = 0;
2036 message_linecount = 0;
2037 message_size = -1;
2038 acl_added_headers = NULL;
2039 acl_removed_headers = NULL;
2040 f.queue_only_policy = FALSE;
2041 rcpt_smtp_response = NULL;
2042 fl.rcpt_smtp_response_same = TRUE;
2043 fl.rcpt_in_progress = FALSE;
2044 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2045 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2046 fake_response = OK;                                  /* Can be set by ACL */
2047 #ifdef WITH_CONTENT_SCAN
2048 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2049 #endif
2050 f.submission_mode = FALSE;                             /* Can be set by ACL */
2051 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2052 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2053 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2054 sending_ip_address = NULL;
2055 return_path = sender_address = NULL;
2056 sender_data = NULL;                                  /* Can be set by ACL */
2057 deliver_localpart_parent = deliver_localpart_orig = NULL;
2058 deliver_domain_parent = deliver_domain_orig = NULL;
2059 callout_address = NULL;
2060 submission_name = NULL;                              /* Can be set by ACL */
2061 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2062 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2063 sender_verified_list = NULL;        /* No senders verified */
2064 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2065 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2066
2067 authenticated_sender = NULL;
2068 #ifdef EXPERIMENTAL_BRIGHTMAIL
2069 bmi_run = 0;
2070 bmi_verdicts = NULL;
2071 #endif
2072 dnslist_domain = dnslist_matched = NULL;
2073 #ifdef SUPPORT_SPF
2074 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2075 spf_result_guessed = FALSE;
2076 #endif
2077 #ifndef DISABLE_DKIM
2078 dkim_cur_signer = dkim_signers =
2079 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2080 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2081 f.dkim_disable_verify = FALSE;
2082 dkim_collect_input = 0;
2083 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2084 dkim_key_length = 0;
2085 dkim_verify_signers = US"$dkim_signers";
2086 #endif
2087 #ifdef EXPERIMENTAL_DMARC
2088 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2089 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2090 dmarc_used_domain = NULL;
2091 #endif
2092 #ifdef EXPERIMENTAL_ARC
2093 arc_state = arc_state_reason = NULL;
2094 #endif
2095 dsn_ret = 0;
2096 dsn_envid = NULL;
2097 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2098 #ifndef DISABLE_PRDR
2099 prdr_requested = FALSE;
2100 #endif
2101 #ifdef SUPPORT_I18N
2102 message_smtputf8 = FALSE;
2103 #endif
2104 body_linecount = body_zerocount = 0;
2105
2106 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2107 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2108                    /* Note that ratelimiters_conn persists across resets. */
2109
2110 /* Reset message ACL variables */
2111
2112 acl_var_m = NULL;
2113
2114 /* The message body variables use malloc store. They may be set if this is
2115 not the first message in an SMTP session and the previous message caused them
2116 to be referenced in an ACL. */
2117
2118 if (message_body)
2119   {
2120   store_free(message_body);
2121   message_body = NULL;
2122   }
2123
2124 if (message_body_end)
2125   {
2126   store_free(message_body_end);
2127   message_body_end = NULL;
2128   }
2129
2130 /* Warning log messages are also saved in malloc store. They are saved to avoid
2131 repetition in the same message, but it seems right to repeat them for different
2132 messages. */
2133
2134 while (acl_warn_logged)
2135   {
2136   string_item *this = acl_warn_logged;
2137   acl_warn_logged = acl_warn_logged->next;
2138   store_free(this);
2139   }
2140 store_reset(reset_point);
2141 }
2142
2143
2144
2145
2146
2147 /*************************************************
2148 *  Initialize for incoming batched SMTP message  *
2149 *************************************************/
2150
2151 /* This function is called from smtp_setup_msg() in the case when
2152 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2153 of messages in one file with SMTP commands between them. All errors must be
2154 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2155 relevant. After an error on a sender, or an invalid recipient, the remainder
2156 of the message is skipped. The value of received_protocol is already set.
2157
2158 Argument: none
2159 Returns:  > 0 message successfully started (reached DATA)
2160           = 0 QUIT read or end of file reached
2161           < 0 should not occur
2162 */
2163
2164 static int
2165 smtp_setup_batch_msg(void)
2166 {
2167 int done = 0;
2168 void *reset_point = store_get(0);
2169
2170 /* Save the line count at the start of each transaction - single commands
2171 like HELO and RSET count as whole transactions. */
2172
2173 bsmtp_transaction_linecount = receive_linecount;
2174
2175 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2176
2177 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2178 smtp_reset(reset_point);                /* Reset for start of message */
2179
2180 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2181 value. The values are 2 larger than the required yield of the function. */
2182
2183 while (done <= 0)
2184   {
2185   uschar *errmess;
2186   uschar *recipient = NULL;
2187   int start, end, sender_domain, recipient_domain;
2188
2189   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2190     {
2191     /* The HELO/EHLO commands set sender_address_helo if they have
2192     valid data; otherwise they are ignored, except that they do
2193     a reset of the state. */
2194
2195     case HELO_CMD:
2196     case EHLO_CMD:
2197
2198       check_helo(smtp_cmd_data);
2199       /* Fall through */
2200
2201     case RSET_CMD:
2202       cancel_cutthrough_connection(TRUE, US"RSET received");
2203       smtp_reset(reset_point);
2204       bsmtp_transaction_linecount = receive_linecount;
2205       break;
2206
2207
2208     /* The MAIL FROM command requires an address as an operand. All we
2209     do here is to parse it for syntactic correctness. The form "<>" is
2210     a special case which converts into an empty string. The start/end
2211     pointers in the original are not used further for this address, as
2212     it is the canonical extracted address which is all that is kept. */
2213
2214     case MAIL_CMD:
2215       smtp_mailcmd_count++;              /* Count for no-mail log */
2216       if (sender_address != NULL)
2217         /* The function moan_smtp_batch() does not return. */
2218         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2219
2220       if (smtp_cmd_data[0] == 0)
2221         /* The function moan_smtp_batch() does not return. */
2222         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2223
2224       /* Reset to start of message */
2225
2226       cancel_cutthrough_connection(TRUE, US"MAIL received");
2227       smtp_reset(reset_point);
2228
2229       /* Apply SMTP rewrite */
2230
2231       raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2232         rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2233           US"", global_rewrite_rules) : smtp_cmd_data;
2234
2235       /* Extract the address; the TRUE flag allows <> as valid */
2236
2237       raw_sender =
2238         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2239           TRUE);
2240
2241       if (!raw_sender)
2242         /* The function moan_smtp_batch() does not return. */
2243         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2244
2245       sender_address = string_copy(raw_sender);
2246
2247       /* Qualify unqualified sender addresses if permitted to do so. */
2248
2249       if (  !sender_domain
2250          && sender_address[0] != 0 && sender_address[0] != '@')
2251         if (f.allow_unqualified_sender)
2252           {
2253           sender_address = rewrite_address_qualify(sender_address, FALSE);
2254           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2255             "and rewritten\n", raw_sender);
2256           }
2257         /* The function moan_smtp_batch() does not return. */
2258         else
2259           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2260             "a domain");
2261       break;
2262
2263
2264     /* The RCPT TO command requires an address as an operand. All we do
2265     here is to parse it for syntactic correctness. There may be any number
2266     of RCPT TO commands, specifying multiple senders. We build them all into
2267     a data structure that is in argc/argv format. The start/end values
2268     given by parse_extract_address are not used, as we keep only the
2269     extracted address. */
2270
2271     case RCPT_CMD:
2272       if (!sender_address)
2273         /* The function moan_smtp_batch() does not return. */
2274         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2275
2276       if (smtp_cmd_data[0] == 0)
2277         /* The function moan_smtp_batch() does not return. */
2278         moan_smtp_batch(smtp_cmd_buffer,
2279           "501 RCPT TO must have an address operand");
2280
2281       /* Check maximum number allowed */
2282
2283       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2284         /* The function moan_smtp_batch() does not return. */
2285         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2286           recipients_max_reject? "552": "452");
2287
2288       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2289       recipient address */
2290
2291       recipient = rewrite_existflags & rewrite_smtp
2292         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2293                       global_rewrite_rules)
2294         : smtp_cmd_data;
2295
2296       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2297         &recipient_domain, FALSE);
2298
2299       if (!recipient)
2300         /* The function moan_smtp_batch() does not return. */
2301         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2302
2303       /* If the recipient address is unqualified, qualify it if permitted. Then
2304       add it to the list of recipients. */
2305
2306       if (!recipient_domain)
2307         if (f.allow_unqualified_recipient)
2308           {
2309           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2310             recipient);
2311           recipient = rewrite_address_qualify(recipient, TRUE);
2312           }
2313         /* The function moan_smtp_batch() does not return. */
2314         else
2315           moan_smtp_batch(smtp_cmd_buffer,
2316             "501 recipient address must contain a domain");
2317
2318       receive_add_recipient(recipient, -1);
2319       break;
2320
2321
2322     /* The DATA command is legal only if it follows successful MAIL FROM
2323     and RCPT TO commands. This function is complete when a valid DATA
2324     command is encountered. */
2325
2326     case DATA_CMD:
2327       if (!sender_address || recipients_count <= 0)
2328         /* The function moan_smtp_batch() does not return. */
2329         if (!sender_address)
2330           moan_smtp_batch(smtp_cmd_buffer,
2331             "503 MAIL FROM:<sender> command must precede DATA");
2332         else
2333           moan_smtp_batch(smtp_cmd_buffer,
2334             "503 RCPT TO:<recipient> must precede DATA");
2335       else
2336         {
2337         done = 3;                      /* DATA successfully achieved */
2338         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2339         }
2340       break;
2341
2342
2343     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2344
2345     case VRFY_CMD:
2346     case EXPN_CMD:
2347     case HELP_CMD:
2348     case NOOP_CMD:
2349     case ETRN_CMD:
2350       bsmtp_transaction_linecount = receive_linecount;
2351       break;
2352
2353
2354     case EOF_CMD:
2355     case QUIT_CMD:
2356       done = 2;
2357       break;
2358
2359
2360     case BADARG_CMD:
2361       /* The function moan_smtp_batch() does not return. */
2362       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2363       break;
2364
2365
2366     case BADCHAR_CMD:
2367       /* The function moan_smtp_batch() does not return. */
2368       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2369       break;
2370
2371
2372     default:
2373       /* The function moan_smtp_batch() does not return. */
2374       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2375       break;
2376     }
2377   }
2378
2379 return done - 2;  /* Convert yield values */
2380 }
2381
2382
2383
2384
2385 #ifdef SUPPORT_TLS
2386 static BOOL
2387 smtp_log_tls_fail(uschar * errstr)
2388 {
2389 uschar * conn_info = smtp_get_connection_info();
2390
2391 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2392 /* I'd like to get separated H= here, but too hard for now */
2393
2394 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2395 return FALSE;
2396 }
2397 #endif
2398
2399
2400
2401
2402 #ifdef TCP_FASTOPEN
2403 static void
2404 tfo_in_check(void)
2405 {
2406 # ifdef TCP_INFO
2407 struct tcp_info tinfo;
2408 socklen_t len = sizeof(tinfo);
2409
2410 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2411 #ifdef TCPI_OPT_SYN_DATA        /* FreeBSD 11 does not seem to have this yet */
2412   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2413     {
2414     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (ACKd data-on-SYN)\n");
2415     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2416     }
2417   else
2418 #endif
2419     if (tinfo.tcpi_state == TCP_SYN_RECV)
2420     {
2421     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (state TCP_SYN_RECV)\n");
2422     f.tcp_in_fastopen = TRUE;
2423     }
2424 # endif
2425 }
2426 #endif
2427
2428
2429 /*************************************************
2430 *          Start an SMTP session                 *
2431 *************************************************/
2432
2433 /* This function is called at the start of an SMTP session. Thereafter,
2434 smtp_setup_msg() is called to initiate each separate message. This
2435 function does host-specific testing, and outputs the banner line.
2436
2437 Arguments:     none
2438 Returns:       FALSE if the session can not continue; something has
2439                gone wrong, or the connection to the host is blocked
2440 */
2441
2442 BOOL
2443 smtp_start_session(void)
2444 {
2445 int esclen;
2446 uschar *user_msg, *log_msg;
2447 uschar *code, *esc;
2448 uschar *p, *s;
2449 gstring * ss;
2450
2451 gettimeofday(&smtp_connection_start, NULL);
2452 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2453   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2454 smtp_ch_index = 0;
2455
2456 /* Default values for certain variables */
2457
2458 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2459 smtp_mailcmd_count = 0;
2460 count_nonmail = TRUE_UNSET;
2461 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2462 smtp_delay_mail = smtp_rlm_base;
2463 fl.auth_advertised = FALSE;
2464 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2465 f.pipelining_enable = TRUE;
2466 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2467 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2468
2469 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2470 authentication settings from -oMaa to remain in force. */
2471
2472 if (!host_checking && !f.sender_host_notsocket)
2473   sender_host_auth_pubname = sender_host_authenticated = NULL;
2474 authenticated_by = NULL;
2475
2476 #ifdef SUPPORT_TLS
2477 tls_in.cipher = tls_in.peerdn = NULL;
2478 tls_in.ourcert = tls_in.peercert = NULL;
2479 tls_in.sni = NULL;
2480 tls_in.ocsp = OCSP_NOT_REQ;
2481 fl.tls_advertised = FALSE;
2482 # ifdef EXPERIMENTAL_REQUIRETLS
2483 fl.requiretls_advertised = FALSE;
2484 # endif
2485 #endif
2486 fl.dsn_advertised = FALSE;
2487 #ifdef SUPPORT_I18N
2488 fl.smtputf8_advertised = FALSE;
2489 #endif
2490
2491 /* Reset ACL connection variables */
2492
2493 acl_var_c = NULL;
2494
2495 /* Allow for trailing 0 in the command and data buffers. */
2496
2497 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2498   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2499     "malloc() failed for SMTP command buffer");
2500
2501 smtp_cmd_buffer[0] = 0;
2502 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2503
2504 /* For batched input, the protocol setting can be overridden from the
2505 command line by a trusted caller. */
2506
2507 if (smtp_batched_input)
2508   {
2509   if (!received_protocol) received_protocol = US"local-bsmtp";
2510   }
2511
2512 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2513 reset later if any of EHLO/AUTH/STARTTLS are received. */
2514
2515 else
2516   received_protocol =
2517     (sender_host_address ? protocols : protocols_local) [pnormal];
2518
2519 /* Set up the buffer for inputting using direct read() calls, and arrange to
2520 call the local functions instead of the standard C ones.  Place a NUL at the
2521 end of the buffer to safety-stop C-string reads from it. */
2522
2523 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2524   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2525 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2526
2527 receive_getc = smtp_getc;
2528 receive_getbuf = smtp_getbuf;
2529 receive_get_cache = smtp_get_cache;
2530 receive_ungetc = smtp_ungetc;
2531 receive_feof = smtp_feof;
2532 receive_ferror = smtp_ferror;
2533 receive_smtp_buffered = smtp_buffered;
2534 smtp_inptr = smtp_inend = smtp_inbuffer;
2535 smtp_had_eof = smtp_had_error = 0;
2536
2537 /* Set up the message size limit; this may be host-specific */
2538
2539 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2540 if (expand_string_message)
2541   {
2542   if (thismessage_size_limit == -1)
2543     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2544       "%s", expand_string_message);
2545   else
2546     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2547       "%s", expand_string_message);
2548   smtp_closedown(US"Temporary local problem - please try later");
2549   return FALSE;
2550   }
2551
2552 /* When a message is input locally via the -bs or -bS options, sender_host_
2553 unknown is set unless -oMa was used to force an IP address, in which case it
2554 is checked like a real remote connection. When -bs is used from inetd, this
2555 flag is not set, causing the sending host to be checked. The code that deals
2556 with IP source routing (if configured) is never required for -bs or -bS and
2557 the flag sender_host_notsocket is used to suppress it.
2558
2559 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2560 reserve for certain hosts and/or networks. */
2561
2562 if (!f.sender_host_unknown)
2563   {
2564   int rc;
2565   BOOL reserved_host = FALSE;
2566
2567   /* Look up IP options (source routing info) on the socket if this is not an
2568   -oMa "host", and if any are found, log them and drop the connection.
2569
2570   Linux (and others now, see below) is different to everyone else, so there
2571   has to be some conditional compilation here. Versions of Linux before 2.1.15
2572   used a structure whose name was "options". Somebody finally realized that
2573   this name was silly, and it got changed to "ip_options". I use the
2574   newer name here, but there is a fudge in the script that sets up os.h
2575   to define a macro in older Linux systems.
2576
2577   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2578   glibc 2, which has chosen ip_opts for the structure name. This is now
2579   really a glibc thing rather than a Linux thing, so the condition name
2580   has been changed to reflect this. It is relevant also to GNU/Hurd.
2581
2582   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2583   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2584   a special macro defined in the os.h file.
2585
2586   Some DGUX versions on older hardware appear not to support IP options at
2587   all, so there is now a general macro which can be set to cut out this
2588   support altogether.
2589
2590   How to do this properly in IPv6 is not yet known. */
2591
2592 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2593
2594   #ifdef GLIBC_IP_OPTIONS
2595     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2596     #define OPTSTYLE 1
2597     #else
2598     #define OPTSTYLE 2
2599     #endif
2600   #elif defined DARWIN_IP_OPTIONS
2601     #define OPTSTYLE 2
2602   #else
2603     #define OPTSTYLE 3
2604   #endif
2605
2606   if (!host_checking && !f.sender_host_notsocket)
2607     {
2608     #if OPTSTYLE == 1
2609     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2610     struct ip_options *ipopt = store_get(optlen);
2611     #elif OPTSTYLE == 2
2612     struct ip_opts ipoptblock;
2613     struct ip_opts *ipopt = &ipoptblock;
2614     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2615     #else
2616     struct ipoption ipoptblock;
2617     struct ipoption *ipopt = &ipoptblock;
2618     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2619     #endif
2620
2621     /* Occasional genuine failures of getsockopt() have been seen - for
2622     example, "reset by peer". Therefore, just log and give up on this
2623     call, unless the error is ENOPROTOOPT. This error is given by systems
2624     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2625     of writing. So for that error, carry on - we just can't do an IP options
2626     check. */
2627
2628     DEBUG(D_receive) debug_printf("checking for IP options\n");
2629
2630     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2631           &optlen) < 0)
2632       {
2633       if (errno != ENOPROTOOPT)
2634         {
2635         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2636           host_and_ident(FALSE), strerror(errno));
2637         smtp_printf("451 SMTP service not available\r\n", FALSE);
2638         return FALSE;
2639         }
2640       }
2641
2642     /* Deal with any IP options that are set. On the systems I have looked at,
2643     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2644     more logging data than will fit in big_buffer. Nevertheless, after somebody
2645     questioned this code, I've added in some paranoid checking. */
2646
2647     else if (optlen > 0)
2648       {
2649       uschar *p = big_buffer;
2650       uschar *pend = big_buffer + big_buffer_size;
2651       uschar *opt, *adptr;
2652       int optcount;
2653       struct in_addr addr;
2654
2655       #if OPTSTYLE == 1
2656       uschar *optstart = US (ipopt->__data);
2657       #elif OPTSTYLE == 2
2658       uschar *optstart = US (ipopt->ip_opts);
2659       #else
2660       uschar *optstart = US (ipopt->ipopt_list);
2661       #endif
2662
2663       DEBUG(D_receive) debug_printf("IP options exist\n");
2664
2665       Ustrcpy(p, "IP options on incoming call:");
2666       p += Ustrlen(p);
2667
2668       for (opt = optstart; opt != NULL &&
2669            opt < US (ipopt) + optlen;)
2670         {
2671         switch (*opt)
2672           {
2673           case IPOPT_EOL:
2674           opt = NULL;
2675           break;
2676
2677           case IPOPT_NOP:
2678           opt++;
2679           break;
2680
2681           case IPOPT_SSRR:
2682           case IPOPT_LSRR:
2683           if (!string_format(p, pend-p, " %s [@%s",
2684                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2685                #if OPTSTYLE == 1
2686                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2687                #elif OPTSTYLE == 2
2688                inet_ntoa(ipopt->ip_dst)))
2689                #else
2690                inet_ntoa(ipopt->ipopt_dst)))
2691                #endif
2692             {
2693             opt = NULL;
2694             break;
2695             }
2696
2697           p += Ustrlen(p);
2698           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2699           adptr = opt + 3;
2700           while (optcount-- > 0)
2701             {
2702             memcpy(&addr, adptr, sizeof(addr));
2703             if (!string_format(p, pend - p - 1, "%s%s",
2704                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2705               {
2706               opt = NULL;
2707               break;
2708               }
2709             p += Ustrlen(p);
2710             adptr += sizeof(struct in_addr);
2711             }
2712           *p++ = ']';
2713           opt += opt[1];
2714           break;
2715
2716           default:
2717             {
2718             int i;
2719             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2720             Ustrcat(p, "[ ");
2721             p += 2;
2722             for (i = 0; i < opt[1]; i++)
2723               p += sprintf(CS p, "%2.2x ", opt[i]);
2724             *p++ = ']';
2725             }
2726           opt += opt[1];
2727           break;
2728           }
2729         }
2730
2731       *p = 0;
2732       log_write(0, LOG_MAIN, "%s", big_buffer);
2733
2734       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2735
2736       log_write(0, LOG_MAIN|LOG_REJECT,
2737         "connection from %s refused (IP options)", host_and_ident(FALSE));
2738
2739       smtp_printf("554 SMTP service not available\r\n", FALSE);
2740       return FALSE;
2741       }
2742
2743     /* Length of options = 0 => there are no options */
2744
2745     else DEBUG(D_receive) debug_printf("no IP options found\n");
2746     }
2747 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2748
2749   /* Set keep-alive in socket options. The option is on by default. This
2750   setting is an attempt to get rid of some hanging connections that stick in
2751   read() when the remote end (usually a dialup) goes away. */
2752
2753   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2754     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2755
2756   /* If the current host matches host_lookup, set the name by doing a
2757   reverse lookup. On failure, sender_host_name will be NULL and
2758   host_lookup_failed will be TRUE. This may or may not be serious - optional
2759   checks later. */
2760
2761   if (verify_check_host(&host_lookup) == OK)
2762     {
2763     (void)host_name_lookup();
2764     host_build_sender_fullhost();
2765     }
2766
2767   /* Delay this until we have the full name, if it is looked up. */
2768
2769   set_process_info("handling incoming connection from %s",
2770     host_and_ident(FALSE));
2771
2772   /* Expand smtp_receive_timeout, if needed */
2773
2774   if (smtp_receive_timeout_s)
2775     {
2776     uschar * exp;
2777     if (  !(exp = expand_string(smtp_receive_timeout_s))
2778        || !(*exp)
2779        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2780        )
2781       log_write(0, LOG_MAIN|LOG_PANIC,
2782         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2783     }
2784
2785   /* Test for explicit connection rejection */
2786
2787   if (verify_check_host(&host_reject_connection) == OK)
2788     {
2789     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2790       "from %s (host_reject_connection)", host_and_ident(FALSE));
2791     smtp_printf("554 SMTP service not available\r\n", FALSE);
2792     return FALSE;
2793     }
2794
2795   /* Test with TCP Wrappers if so configured. There is a problem in that
2796   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2797   such as disks dying. In these cases, it is desirable to reject with a 4xx
2798   error instead of a 5xx error. There isn't a "right" way to detect such
2799   problems. The following kludge is used: errno is zeroed before calling
2800   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2801   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2802   not exist). */
2803
2804 #ifdef USE_TCP_WRAPPERS
2805   errno = 0;
2806   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2807     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2808       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2809         expand_string_message);
2810
2811   if (!hosts_ctl(tcp_wrappers_name,
2812          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2813          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2814          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2815     {
2816     if (errno == 0 || errno == ENOENT)
2817       {
2818       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2819       log_write(L_connection_reject,
2820                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2821                 "(tcp wrappers)", host_and_ident(FALSE));
2822       smtp_printf("554 SMTP service not available\r\n", FALSE);
2823       }
2824     else
2825       {
2826       int save_errno = errno;
2827       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2828         "errno value %d\n", save_errno);
2829       log_write(L_connection_reject,
2830                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2831                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2832       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2833       }
2834     return FALSE;
2835     }
2836 #endif
2837
2838   /* Check for reserved slots. The value of smtp_accept_count has already been
2839   incremented to include this process. */
2840
2841   if (smtp_accept_max > 0 &&
2842       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2843     {
2844     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2845       {
2846       log_write(L_connection_reject,
2847         LOG_MAIN, "temporarily refused connection from %s: not in "
2848         "reserve list: connected=%d max=%d reserve=%d%s",
2849         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2850         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2851       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2852         "please try again later\r\n", FALSE, smtp_active_hostname);
2853       return FALSE;
2854       }
2855     reserved_host = TRUE;
2856     }
2857
2858   /* If a load level above which only messages from reserved hosts are
2859   accepted is set, check the load. For incoming calls via the daemon, the
2860   check is done in the superior process if there are no reserved hosts, to
2861   save a fork. In all cases, the load average will already be available
2862   in a global variable at this point. */
2863
2864   if (smtp_load_reserve >= 0 &&
2865        load_average > smtp_load_reserve &&
2866        !reserved_host &&
2867        verify_check_host(&smtp_reserve_hosts) != OK)
2868     {
2869     log_write(L_connection_reject,
2870       LOG_MAIN, "temporarily refused connection from %s: not in "
2871       "reserve list and load average = %.2f", host_and_ident(FALSE),
2872       (double)load_average/1000.0);
2873     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2874       smtp_active_hostname);
2875     return FALSE;
2876     }
2877
2878   /* Determine whether unqualified senders or recipients are permitted
2879   for this host. Unfortunately, we have to do this every time, in order to
2880   set the flags so that they can be inspected when considering qualifying
2881   addresses in the headers. For a site that permits no qualification, this
2882   won't take long, however. */
2883
2884   f.allow_unqualified_sender =
2885     verify_check_host(&sender_unqualified_hosts) == OK;
2886
2887   f.allow_unqualified_recipient =
2888     verify_check_host(&recipient_unqualified_hosts) == OK;
2889
2890   /* Determine whether HELO/EHLO is required for this host. The requirement
2891   can be hard or soft. */
2892
2893   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2894   if (!fl.helo_required)
2895     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2896
2897   /* Determine whether this hosts is permitted to send syntactic junk
2898   after a HELO or EHLO command. */
2899
2900   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2901   }
2902
2903 /* For batch SMTP input we are now done. */
2904
2905 if (smtp_batched_input) return TRUE;
2906
2907 /* If valid Proxy Protocol source is connecting, set up session.
2908  * Failure will not allow any SMTP function other than QUIT. */
2909
2910 #ifdef SUPPORT_PROXY
2911 proxy_session = FALSE;
2912 f.proxy_session_failed = FALSE;
2913 if (check_proxy_protocol_host())
2914   setup_proxy_protocol_host();
2915 #endif
2916
2917   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2918   smtps port for use with older style SSL MTAs. */
2919
2920 #ifdef SUPPORT_TLS
2921   if (tls_in.on_connect)
2922     {
2923     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2924       return smtp_log_tls_fail(user_msg);
2925     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2926     }
2927 #endif
2928
2929 /* Run the connect ACL if it exists */
2930
2931 user_msg = NULL;
2932 if (acl_smtp_connect)
2933   {
2934   int rc;
2935   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2936                       &log_msg)) != OK)
2937     {
2938     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2939     return FALSE;
2940     }
2941   }
2942
2943 /* Output the initial message for a two-way SMTP connection. It may contain
2944 newlines, which then cause a multi-line response to be given. */
2945
2946 code = US"220";   /* Default status code */
2947 esc = US"";       /* Default extended status code */
2948 esclen = 0;       /* Length of esc */
2949
2950 if (!user_msg)
2951   {
2952   if (!(s = expand_string(smtp_banner)))
2953     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2954       "failed: %s", smtp_banner, expand_string_message);
2955   }
2956 else
2957   {
2958   int codelen = 3;
2959   s = user_msg;
2960   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2961   if (codelen > 4)
2962     {
2963     esc = code + 4;
2964     esclen = codelen - 4;
2965     }
2966   }
2967
2968 /* Remove any terminating newlines; might as well remove trailing space too */
2969
2970 p = s + Ustrlen(s);
2971 while (p > s && isspace(p[-1])) p--;
2972 *p = 0;
2973
2974 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2975 is all contained in a single IP packet. The original code wrote out the
2976 greeting using several calls to fprint/fputc, and on busy servers this could
2977 cause it to be split over more than one packet - which caused CC:Mail to fall
2978 over when it got the second part of the greeting after sending its first
2979 command. Sigh. To try to avoid this, build the complete greeting message
2980 first, and output it in one fell swoop. This gives a better chance of it
2981 ending up as a single packet. */
2982
2983 ss = string_get(256);
2984
2985 p = s;
2986 do       /* At least once, in case we have an empty string */
2987   {
2988   int len;
2989   uschar *linebreak = Ustrchr(p, '\n');
2990   ss = string_catn(ss, code, 3);
2991   if (!linebreak)
2992     {
2993     len = Ustrlen(p);
2994     ss = string_catn(ss, US" ", 1);
2995     }
2996   else
2997     {
2998     len = linebreak - p;
2999     ss = string_catn(ss, US"-", 1);
3000     }
3001   ss = string_catn(ss, esc, esclen);
3002   ss = string_catn(ss, p, len);
3003   ss = string_catn(ss, US"\r\n", 2);
3004   p += len;
3005   if (linebreak) p++;
3006   }
3007 while (*p);
3008
3009 /* Before we write the banner, check that there is no input pending, unless
3010 this synchronisation check is disabled. */
3011
3012 #ifdef EXPERIMENTAL_PIPE_CONNECT
3013 fl.pipe_connect_acceptable =
3014   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3015
3016 if (!check_sync())
3017   if (fl.pipe_connect_acceptable)
3018     f.smtp_in_early_pipe_used = TRUE;
3019   else
3020 #else
3021 if (!check_sync())
3022 #endif
3023     {
3024     unsigned n = smtp_inend - smtp_inptr;
3025     if (n > 32) n = 32;
3026
3027     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3028       "synchronization error (input sent without waiting for greeting): "
3029       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3030       string_printing(string_copyn(smtp_inptr, n)));
3031     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3032     return FALSE;
3033     }
3034
3035 /* Now output the banner */
3036 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3037
3038 smtp_printf("%s",
3039 #ifdef EXPERIMENTAL_PIPE_CONNECT
3040   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3041 #else
3042   FALSE,
3043 #endif
3044   string_from_gstring(ss));
3045
3046 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3047 handshake arrived.  If so we must have managed a TFO. */
3048
3049 #ifdef TCP_FASTOPEN
3050 tfo_in_check();
3051 #endif
3052
3053 return TRUE;
3054 }
3055
3056
3057
3058
3059
3060 /*************************************************
3061 *     Handle SMTP syntax and protocol errors     *
3062 *************************************************/
3063
3064 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3065 to do so. Then transmit the error response. The return value depends on the
3066 number of syntax and protocol errors in this SMTP session.
3067
3068 Arguments:
3069   type      error type, given as a log flag bit
3070   code      response code; <= 0 means don't send a response
3071   data      data to reflect in the response (can be NULL)
3072   errmess   the error message
3073
3074 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3075             +1   limit of syntax/protocol errors IS exceeded
3076
3077 These values fit in with the values of the "done" variable in the main
3078 processing loop in smtp_setup_msg(). */
3079
3080 static int
3081 synprot_error(int type, int code, uschar *data, uschar *errmess)
3082 {
3083 int yield = -1;
3084
3085 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3086   (type == L_smtp_syntax_error)? "syntax" : "protocol",
3087   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3088
3089 if (++synprot_error_count > smtp_max_synprot_errors)
3090   {
3091   yield = 1;
3092   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3093     "syntax or protocol errors (last command was \"%s\")",
3094     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3095   }
3096
3097 if (code > 0)
3098   {
3099   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3100     data ? data : US"", data ? US": " : US"", errmess);
3101   if (yield == 1)
3102     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3103   }
3104
3105 return yield;
3106 }
3107
3108
3109
3110
3111 /*************************************************
3112 *    Send SMTP response, possibly multiline      *
3113 *************************************************/
3114
3115 /* There are, it seems, broken clients out there that cannot handle multiline
3116 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3117 output nothing for non-final calls, and only the first line for anything else.
3118
3119 Arguments:
3120   code          SMTP code, may involve extended status codes
3121   codelen       length of smtp code; if > 4 there's an ESC
3122   final         FALSE if the last line isn't the final line
3123   msg           message text, possibly containing newlines
3124
3125 Returns:        nothing
3126 */
3127
3128 void
3129 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3130 {
3131 int esclen = 0;
3132 uschar *esc = US"";
3133
3134 if (!final && f.no_multiline_responses) return;
3135
3136 if (codelen > 4)
3137   {
3138   esc = code + 4;
3139   esclen = codelen - 4;
3140   }
3141
3142 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3143 have had the same. Note: this code is also present in smtp_printf(). It would
3144 be tidier to have it only in one place, but when it was added, it was easier to
3145 do it that way, so as not to have to mess with the code for the RCPT command,
3146 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3147
3148 if (fl.rcpt_in_progress)
3149   {
3150   if (rcpt_smtp_response == NULL)
3151     rcpt_smtp_response = string_copy(msg);
3152   else if (fl.rcpt_smtp_response_same &&
3153            Ustrcmp(rcpt_smtp_response, msg) != 0)
3154     fl.rcpt_smtp_response_same = FALSE;
3155   fl.rcpt_in_progress = FALSE;
3156   }
3157
3158 /* Now output the message, splitting it up into multiple lines if necessary.
3159 We only handle pipelining these responses as far as nonfinal/final groups,
3160 not the whole MAIL/RCPT/DATA response set. */
3161
3162 for (;;)
3163   {
3164   uschar *nl = Ustrchr(msg, '\n');
3165   if (nl == NULL)
3166     {
3167     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3168     return;
3169     }
3170   else if (nl[1] == 0 || f.no_multiline_responses)
3171     {
3172     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3173       (int)(nl - msg), msg);
3174     return;
3175     }
3176   else
3177     {
3178     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3179     msg = nl + 1;
3180     while (isspace(*msg)) msg++;
3181     }
3182   }
3183 }
3184
3185
3186
3187
3188 /*************************************************
3189 *            Parse user SMTP message             *
3190 *************************************************/
3191
3192 /* This function allows for user messages overriding the response code details
3193 by providing a suitable response code string at the start of the message
3194 user_msg. Check the message for starting with a response code and optionally an
3195 extended status code. If found, check that the first digit is valid, and if so,
3196 change the code pointer and length to use the replacement. An invalid code
3197 causes a panic log; in this case, if the log messages is the same as the user
3198 message, we must also adjust the value of the log message to show the code that
3199 is actually going to be used (the original one).
3200
3201 This function is global because it is called from receive.c as well as within
3202 this module.
3203
3204 Note that the code length returned includes the terminating whitespace
3205 character, which is always included in the regex match.
3206
3207 Arguments:
3208   code          SMTP code, may involve extended status codes
3209   codelen       length of smtp code; if > 4 there's an ESC
3210   msg           message text
3211   log_msg       optional log message, to be adjusted with the new SMTP code
3212   check_valid   if true, verify the response code
3213
3214 Returns:        nothing
3215 */
3216
3217 void
3218 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3219   BOOL check_valid)
3220 {
3221 int n;
3222 int ovector[3];
3223
3224 if (!msg || !*msg) return;
3225
3226 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3227   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3228
3229 if (check_valid && (*msg)[0] != (*code)[0])
3230   {
3231   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3232     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3233   if (log_msg != NULL && *log_msg == *msg)
3234     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3235   }
3236 else
3237   {
3238   *code = *msg;
3239   *codelen = ovector[1];    /* Includes final space */
3240   }
3241 *msg += ovector[1];         /* Chop the code off the message */
3242 return;
3243 }
3244
3245
3246
3247
3248 /*************************************************
3249 *           Handle an ACL failure                *
3250 *************************************************/
3251
3252 /* This function is called when acl_check() fails. As well as calls from within
3253 this module, it is called from receive.c for an ACL after DATA. It sorts out
3254 logging the incident, and sends the error response. A message containing
3255 newlines is turned into a multiline SMTP response, but for logging, only the
3256 first line is used.
3257
3258 There's a table of default permanent failure response codes to use in
3259 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3260 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3261 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3262 state, because there are broken clients that try VRFY before RCPT. A 5xx
3263 response should be given only when the address is positively known to be
3264 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3265 no explicit code, but if there is one we let it know best.
3266 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3267
3268 From Exim 4.63, it is possible to override the response code details by
3269 providing a suitable response code string at the start of the message provided
3270 in user_msg. The code's first digit is checked for validity.
3271
3272 Arguments:
3273   where        where the ACL was called from
3274   rc           the failure code
3275   user_msg     a message that can be included in an SMTP response
3276   log_msg      a message for logging
3277
3278 Returns:     0 in most cases
3279              2 if the failure code was FAIL_DROP, in which case the
3280                SMTP connection should be dropped (this value fits with the
3281                "done" variable in smtp_setup_msg() below)
3282 */
3283
3284 int
3285 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3286 {
3287 BOOL drop = rc == FAIL_DROP;
3288 int codelen = 3;
3289 uschar *smtp_code;
3290 uschar *lognl;
3291 uschar *sender_info = US"";
3292 uschar *what =
3293 #ifdef WITH_CONTENT_SCAN
3294   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3295 #endif
3296   where == ACL_WHERE_PREDATA ? US"DATA" :
3297   where == ACL_WHERE_DATA ? US"after DATA" :
3298 #ifndef DISABLE_PRDR
3299   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3300 #endif
3301   smtp_cmd_data ?
3302     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3303     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3304
3305 if (drop) rc = FAIL;
3306
3307 /* Set the default SMTP code, and allow a user message to change it. */
3308
3309 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3310 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3311   where != ACL_WHERE_VRFY);
3312
3313 /* We used to have sender_address here; however, there was a bug that was not
3314 updating sender_address after a rewrite during a verify. When this bug was
3315 fixed, sender_address at this point became the rewritten address. I'm not sure
3316 this is what should be logged, so I've changed to logging the unrewritten
3317 address to retain backward compatibility. */
3318
3319 #ifndef WITH_CONTENT_SCAN
3320 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3321 #else
3322 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3323 #endif
3324   {
3325   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3326     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3327     sender_host_authenticated ? US" A="                                    : US"",
3328     sender_host_authenticated ? sender_host_authenticated                  : US"",
3329     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3330     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3331     );
3332   }
3333
3334 /* If there's been a sender verification failure with a specific message, and
3335 we have not sent a response about it yet, do so now, as a preliminary line for
3336 failures, but not defers. However, always log it for defer, and log it for fail
3337 unless the sender_verify_fail log selector has been turned off. */
3338
3339 if (sender_verified_failed &&
3340     !testflag(sender_verified_failed, af_sverify_told))
3341   {
3342   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3343   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3344
3345   setflag(sender_verified_failed, af_sverify_told);
3346
3347   if (rc != FAIL || LOGGING(sender_verify_fail))
3348     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3349       host_and_ident(TRUE),
3350       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3351       sender_verified_failed->address,
3352       (sender_verified_failed->message == NULL)? US"" :
3353       string_sprintf(": %s", sender_verified_failed->message));
3354
3355   if (rc == FAIL && sender_verified_failed->user_message)
3356     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3357         testflag(sender_verified_failed, af_verify_pmfail)?
3358           "Postmaster verification failed while checking <%s>\n%s\n"
3359           "Several RFCs state that you are required to have a postmaster\n"
3360           "mailbox for each mail domain. This host does not accept mail\n"
3361           "from domains whose servers reject the postmaster address."
3362           :
3363         testflag(sender_verified_failed, af_verify_nsfail)?
3364           "Callback setup failed while verifying <%s>\n%s\n"
3365           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3366           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3367           "RFC requirements, and stops you from receiving standard bounce\n"
3368           "messages. This host does not accept mail from domains whose servers\n"
3369           "refuse bounces."
3370           :
3371           "Verification failed for <%s>\n%s",
3372         sender_verified_failed->address,
3373         sender_verified_failed->user_message));
3374
3375   fl.rcpt_in_progress = save_rcpt_in_progress;
3376   }
3377
3378 /* Sort out text for logging */
3379
3380 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3381 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3382
3383 /* Send permanent failure response to the command, but the code used isn't
3384 always a 5xx one - see comments at the start of this function. If the original
3385 rc was FAIL_DROP we drop the connection and yield 2. */
3386
3387 if (rc == FAIL)
3388   smtp_respond(smtp_code, codelen, TRUE,
3389     user_msg ? user_msg : US"Administrative prohibition");
3390
3391 /* Send temporary failure response to the command. Don't give any details,
3392 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3393 verb, and for a header verify when smtp_return_error_details is set.
3394
3395 This conditional logic is all somewhat of a mess because of the odd
3396 interactions between temp_details and return_error_details. One day it should
3397 be re-implemented in a tidier fashion. */
3398
3399 else
3400   if (f.acl_temp_details && user_msg)
3401     {
3402     if (  smtp_return_error_details
3403        && sender_verified_failed
3404        && sender_verified_failed->message
3405        )
3406       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3407
3408     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3409     }
3410   else
3411     smtp_respond(smtp_code, codelen, TRUE,
3412       US"Temporary local problem - please try later");
3413
3414 /* Log the incident to the logs that are specified by log_reject_target
3415 (default main, reject). This can be empty to suppress logging of rejections. If
3416 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3417 is closing if required and return 2.  */
3418
3419 if (log_reject_target != 0)
3420   {
3421 #ifdef SUPPORT_TLS
3422   gstring * g = s_tlslog(NULL);
3423   uschar * tls = string_from_gstring(g);
3424   if (!tls) tls = US"";
3425 #else
3426   uschar * tls = US"";
3427 #endif
3428   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3429     log_reject_target, "%s%s%s %s%srejected %s%s",
3430     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3431     host_and_ident(TRUE),
3432     tls,
3433     sender_info,
3434     rc == FAIL ? US"" : US"temporarily ",
3435     what, log_msg);
3436   }
3437
3438 if (!drop) return 0;
3439
3440 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3441   smtp_get_connection_info());
3442
3443 /* Run the not-quit ACL, but without any custom messages. This should not be a
3444 problem, because we get here only if some other ACL has issued "drop", and
3445 in that case, *its* custom messages will have been used above. */
3446
3447 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3448 return 2;
3449 }
3450
3451
3452
3453
3454 /*************************************************
3455 *     Handle SMTP exit when QUIT is not given    *
3456 *************************************************/
3457
3458 /* This function provides a logging/statistics hook for when an SMTP connection
3459 is dropped on the floor or the other end goes away. It's a global function
3460 because it's called from receive.c as well as this module. As well as running
3461 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3462 response, either with a custom message from the ACL, or using a default. There
3463 is one case, however, when no message is output - after "drop". In that case,
3464 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3465 passed to this function.
3466
3467 In case things go wrong while processing this function, causing an error that
3468 may re-enter this function, there is a recursion check.
3469
3470 Arguments:
3471   reason          What $smtp_notquit_reason will be set to in the ACL;
3472                     if NULL, the ACL is not run
3473   code            The error code to return as part of the response
3474   defaultrespond  The default message if there's no user_msg
3475
3476 Returns:          Nothing
3477 */
3478
3479 void
3480 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3481 {
3482 int rc;
3483 uschar *user_msg = NULL;
3484 uschar *log_msg = NULL;
3485
3486 /* Check for recursive acll */
3487
3488 if (fl.smtp_exit_function_called)
3489   {
3490   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3491     reason);
3492   return;
3493   }
3494 fl.smtp_exit_function_called = TRUE;
3495
3496 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3497
3498 if (acl_smtp_notquit && reason)
3499   {
3500   smtp_notquit_reason = reason;
3501   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3502                       &log_msg)) == ERROR)
3503     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3504       log_msg);
3505   }
3506
3507 /* If the connection was dropped, we certainly are no longer talking TLS */
3508 tls_in.active.sock = -1;
3509
3510 /* Write an SMTP response if we are expected to give one. As the default
3511 responses are all internal, they should always fit in the buffer, but code a
3512 warning, just in case. Note that string_vformat() still leaves a complete
3513 string, even if it is incomplete. */
3514
3515 if (code && defaultrespond)
3516   {
3517   if (user_msg)
3518     smtp_respond(code, 3, TRUE, user_msg);
3519   else
3520     {
3521     uschar buffer[128];
3522     va_list ap;
3523     va_start(ap, defaultrespond);
3524     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3525       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3526     smtp_printf("%s %s\r\n", FALSE, code, buffer);
3527     va_end(ap);
3528     }
3529   mac_smtp_fflush();
3530   }
3531 }
3532
3533
3534
3535
3536 /*************************************************
3537 *             Verify HELO argument               *
3538 *************************************************/
3539
3540 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3541 matched. It is also called from ACL processing if verify = helo is used and
3542 verification was not previously tried (i.e. helo_try_verify_hosts was not
3543 matched). The result of its processing is to set helo_verified and
3544 helo_verify_failed. These variables should both be FALSE for this function to
3545 be called.
3546
3547 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3548 for IPv6 ::ffff: literals.
3549
3550 Argument:   none
3551 Returns:    TRUE if testing was completed;
3552             FALSE on a temporary failure
3553 */
3554
3555 BOOL
3556 smtp_verify_helo(void)
3557 {
3558 BOOL yield = TRUE;
3559
3560 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3561   sender_helo_name);
3562
3563 if (sender_helo_name == NULL)
3564   {
3565   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3566   }
3567
3568 /* Deal with the case of -bs without an IP address */
3569
3570 else if (sender_host_address == NULL)
3571   {
3572   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3573   f.helo_verified = TRUE;
3574   }
3575
3576 /* Deal with the more common case when there is a sending IP address */
3577
3578 else if (sender_helo_name[0] == '[')
3579   {
3580   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3581     Ustrlen(sender_host_address)) == 0;
3582
3583 #if HAVE_IPV6
3584   if (!f.helo_verified)
3585     {
3586     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3587       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3588         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3589     }
3590 #endif
3591
3592   HDEBUG(D_receive)
3593     { if (f.helo_verified) debug_printf("matched host address\n"); }
3594   }
3595
3596 /* Do a reverse lookup if one hasn't already given a positive or negative
3597 response. If that fails, or the name doesn't match, try checking with a forward
3598 lookup. */
3599
3600 else
3601   {
3602   if (sender_host_name == NULL && !host_lookup_failed)
3603     yield = host_name_lookup() != DEFER;
3604
3605   /* If a host name is known, check it and all its aliases. */
3606
3607   if (sender_host_name)
3608     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3609       {
3610       sender_helo_dnssec = sender_host_dnssec;
3611       HDEBUG(D_receive) debug_printf("matched host name\n");
3612       }
3613     else
3614       {
3615       uschar **aliases = sender_host_aliases;
3616       while (*aliases)
3617         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3618           {
3619           sender_helo_dnssec = sender_host_dnssec;
3620           break;
3621           }
3622
3623       HDEBUG(D_receive) if (f.helo_verified)
3624           debug_printf("matched alias %s\n", *(--aliases));
3625       }
3626
3627   /* Final attempt: try a forward lookup of the helo name */
3628
3629   if (!f.helo_verified)
3630     {
3631     int rc;
3632     host_item h;
3633     dnssec_domains d;
3634     host_item *hh;
3635
3636     h.name = sender_helo_name;
3637     h.address = NULL;
3638     h.mx = MX_NONE;
3639     h.next = NULL;
3640     d.request = US"*";
3641     d.require = US"";
3642
3643     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3644       sender_helo_name);
3645     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3646                           NULL, NULL, NULL, &d, NULL, NULL);
3647     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3648       for (hh = &h; hh; hh = hh->next)
3649         if (Ustrcmp(hh->address, sender_host_address) == 0)
3650           {
3651           f.helo_verified = TRUE;
3652           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3653           HDEBUG(D_receive)
3654             {
3655             debug_printf("IP address for %s matches calling address\n"
3656               "Forward DNS security status: %sverified\n",
3657               sender_helo_name, sender_helo_dnssec ? "" : "un");
3658             }
3659           break;
3660           }
3661     }
3662   }
3663
3664 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3665 return yield;
3666 }
3667
3668
3669
3670
3671 /*************************************************
3672 *        Send user response message              *
3673 *************************************************/
3674
3675 /* This function is passed a default response code and a user message. It calls
3676 smtp_message_code() to check and possibly modify the response code, and then
3677 calls smtp_respond() to transmit the response. I put this into a function
3678 just to avoid a lot of repetition.
3679
3680 Arguments:
3681   code         the response code
3682   user_msg     the user message
3683
3684 Returns:       nothing
3685 */
3686
3687 static void
3688 smtp_user_msg(uschar *code, uschar *user_msg)
3689 {
3690 int len = 3;
3691 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3692 smtp_respond(code, len, TRUE, user_msg);
3693 }
3694
3695
3696
3697 static int
3698 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3699 {
3700 const uschar *set_id = NULL;
3701 int rc, i;
3702
3703 /* Run the checking code, passing the remainder of the command line as
3704 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3705 it as the only set numerical variable. The authenticator may set $auth<n>
3706 and also set other numeric variables. The $auth<n> variables are preferred
3707 nowadays; the numerical variables remain for backwards compatibility.
3708
3709 Afterwards, have a go at expanding the set_id string, even if
3710 authentication failed - for bad passwords it can be useful to log the
3711 userid. On success, require set_id to expand and exist, and put it in
3712 authenticated_id. Save this in permanent store, as the working store gets
3713 reset at HELO, RSET, etc. */
3714
3715 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3716 expand_nmax = 0;
3717 expand_nlength[0] = 0;   /* $0 contains nothing */
3718
3719 rc = (au->info->servercode)(au, smtp_cmd_data);
3720 if (au->set_id) set_id = expand_string(au->set_id);
3721 expand_nmax = -1;        /* Reset numeric variables */
3722 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3723
3724 /* The value of authenticated_id is stored in the spool file and printed in
3725 log lines. It must not contain binary zeros or newline characters. In
3726 normal use, it never will, but when playing around or testing, this error
3727 can (did) happen. To guard against this, ensure that the id contains only
3728 printing characters. */
3729
3730 if (set_id) set_id = string_printing(set_id);
3731
3732 /* For the non-OK cases, set up additional logging data if set_id
3733 is not empty. */
3734
3735 if (rc != OK)
3736   set_id = set_id && *set_id
3737     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3738
3739 /* Switch on the result */
3740
3741 switch(rc)
3742   {
3743   case OK:
3744   if (!au->set_id || set_id)    /* Complete success */
3745     {
3746     if (set_id) authenticated_id = string_copy_malloc(set_id);
3747     sender_host_authenticated = au->name;
3748     sender_host_auth_pubname  = au->public_name;
3749     authentication_failed = FALSE;
3750     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3751
3752     received_protocol =
3753       (sender_host_address ? protocols : protocols_local)
3754         [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3755     *s = *ss = US"235 Authentication succeeded";
3756     authenticated_by = au;
3757     break;
3758     }
3759
3760   /* Authentication succeeded, but we failed to expand the set_id string.
3761   Treat this as a temporary error. */
3762
3763   auth_defer_msg = expand_string_message;
3764   /* Fall through */
3765
3766   case DEFER:
3767   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3768   *s = string_sprintf("435 Unable to authenticate at present%s",
3769     auth_defer_user_msg);
3770   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3771     set_id, auth_defer_msg);
3772   break;
3773
3774   case BAD64:
3775   *s = *ss = US"501 Invalid base64 data";
3776   break;
3777
3778   case CANCELLED:
3779   *s = *ss = US"501 Authentication cancelled";
3780   break;
3781
3782   case UNEXPECTED:
3783   *s = *ss = US"553 Initial data not expected";
3784   break;
3785
3786   case FAIL:
3787   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3788   *s = US"535 Incorrect authentication data";
3789   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3790   break;
3791
3792   default:
3793   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3794   *s = US"435 Internal error";
3795   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3796     "check", set_id, rc);
3797   break;
3798   }
3799
3800 return rc;
3801 }
3802
3803
3804
3805
3806
3807 static int
3808 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3809 {
3810 int rd;
3811 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3812   {
3813   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3814     *recipient);
3815   rd = Ustrlen(recipient) + 1;
3816   *recipient = rewrite_address_qualify(*recipient, TRUE);
3817   return rd;
3818   }
3819 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3820   smtp_cmd_data);
3821 log_write(L_smtp_syntax_error,
3822   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3823   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3824 return 0;
3825 }
3826
3827
3828
3829
3830 static void
3831 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3832 {
3833 HAD(SCH_QUIT);
3834 incomplete_transaction_log(US"QUIT");
3835 if (acl_smtp_quit)
3836   {
3837   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3838   if (rc == ERROR)
3839     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3840       *log_msgp);
3841   }
3842 if (*user_msgp)
3843   smtp_respond(US"221", 3, TRUE, *user_msgp);
3844 else
3845   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3846
3847 #ifdef SUPPORT_TLS
3848 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3849 #endif
3850
3851 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3852   smtp_get_connection_info());
3853 }
3854
3855
3856 static void
3857 smtp_rset_handler(void)
3858 {
3859 HAD(SCH_RSET);
3860 incomplete_transaction_log(US"RSET");
3861 smtp_printf("250 Reset OK\r\n", FALSE);
3862 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3863 }
3864
3865
3866
3867 /*************************************************
3868 *       Initialize for SMTP incoming message     *
3869 *************************************************/
3870
3871 /* This function conducts the initial dialogue at the start of an incoming SMTP
3872 message, and builds a list of recipients. However, if the incoming message
3873 is part of a batch (-bS option) a separate function is called since it would
3874 be messy having tests splattered about all over this function. This function
3875 therefore handles the case where interaction is occurring. The input and output
3876 files are set up in smtp_in and smtp_out.
3877
3878 The global recipients_list is set to point to a vector of recipient_item
3879 blocks, whose number is given by recipients_count. This is extended by the
3880 receive_add_recipient() function. The global variable sender_address is set to
3881 the sender's address. The yield is +1 if a message has been successfully
3882 started, 0 if a QUIT command was encountered or the connection was refused from
3883 the particular host, or -1 if the connection was lost.
3884
3885 Argument: none
3886
3887 Returns:  > 0 message successfully started (reached DATA)
3888           = 0 QUIT read or end of file reached or call refused
3889           < 0 lost connection
3890 */
3891
3892 int
3893 smtp_setup_msg(void)
3894 {
3895 int done = 0;
3896 BOOL toomany = FALSE;
3897 BOOL discarded = FALSE;
3898 BOOL last_was_rej_mail = FALSE;
3899 BOOL last_was_rcpt = FALSE;
3900 void *reset_point = store_get(0);
3901
3902 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3903
3904 /* Reset for start of new message. We allow one RSET not to be counted as a
3905 nonmail command, for those MTAs that insist on sending it between every
3906 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3907 TLS between messages (an Exim client may do this if it has messages queued up
3908 for the host). Note: we do NOT reset AUTH at this point. */
3909
3910 smtp_reset(reset_point);
3911 message_ended = END_NOTSTARTED;
3912
3913 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3914
3915 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3916 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3917 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3918 #ifdef SUPPORT_TLS
3919 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3920 #endif
3921
3922 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3923
3924 had_command_sigterm = 0;
3925 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3926
3927 /* Batched SMTP is handled in a different function. */
3928
3929 if (smtp_batched_input) return smtp_setup_batch_msg();
3930
3931 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3932 value. The values are 2 larger than the required yield of the function. */
3933
3934 while (done <= 0)
3935   {
3936   const uschar **argv;
3937   uschar *etrn_command;
3938   uschar *etrn_serialize_key;
3939   uschar *errmess;
3940   uschar *log_msg, *smtp_code;
3941   uschar *user_msg = NULL;
3942   uschar *recipient = NULL;
3943   uschar *hello = NULL;
3944   uschar *s, *ss;
3945   BOOL was_rej_mail = FALSE;
3946   BOOL was_rcpt = FALSE;
3947   void (*oldsignal)(int);
3948   pid_t pid;
3949   int start, end, sender_domain, recipient_domain;
3950   int rc;
3951   int c;
3952   auth_instance *au;
3953   uschar *orcpt = NULL;
3954   int dsn_flags;
3955   gstring * g;
3956
3957 #ifdef AUTH_TLS
3958   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3959   if (  tls_in.active.sock >= 0
3960      && tls_in.peercert
3961      && tls_in.certificate_verified
3962      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3963      )
3964     {
3965     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3966
3967     for (au = auths; au; au = au->next)
3968       if (strcmpic(US"tls", au->driver_name) == 0)
3969         {
3970         if (  acl_smtp_auth
3971            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3972                       &user_msg, &log_msg)) != OK
3973            )
3974           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3975         else
3976           {
3977           smtp_cmd_data = NULL;
3978
3979           if (smtp_in_auth(au, &s, &ss) == OK)
3980             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3981           else
3982             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3983           }
3984         break;
3985         }
3986     }
3987 #endif
3988
3989 #ifdef TCP_QUICKACK
3990   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3991     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3992             US &off, sizeof(off));
3993 #endif
3994
3995   switch(smtp_read_command(
3996 #ifdef EXPERIMENTAL_PIPE_CONNECT
3997           !fl.pipe_connect_acceptable,
3998 #else
3999           TRUE,
4000 #endif
4001           GETC_BUFFER_UNLIMITED))
4002     {
4003     /* The AUTH command is not permitted to occur inside a transaction, and may
4004     occur successfully only once per connection. Actually, that isn't quite
4005     true. When TLS is started, all previous information about a connection must
4006     be discarded, so a new AUTH is permitted at that time.
4007
4008     AUTH may only be used when it has been advertised. However, it seems that
4009     there are clients that send AUTH when it hasn't been advertised, some of
4010     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4011     So there's a get-out that allows this to happen.
4012
4013     AUTH is initially labelled as a "nonmail command" so that one occurrence
4014     doesn't get counted. We change the label here so that multiple failing
4015     AUTHS will eventually hit the nonmail threshold. */
4016
4017     case AUTH_CMD:
4018       HAD(SCH_AUTH);
4019       authentication_failed = TRUE;
4020       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4021
4022       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4023         {
4024         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4025           US"AUTH command used when not advertised");
4026         break;
4027         }
4028       if (sender_host_authenticated)
4029         {
4030         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4031           US"already authenticated");
4032         break;
4033         }
4034       if (sender_address)
4035         {
4036         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4037           US"not permitted in mail transaction");
4038         break;
4039         }
4040
4041       /* Check the ACL */
4042
4043       if (  acl_smtp_auth
4044          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4045                     &user_msg, &log_msg)) != OK
4046          )
4047         {
4048         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4049         break;
4050         }
4051
4052       /* Find the name of the requested authentication mechanism. */
4053
4054       s = smtp_cmd_data;
4055       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4056         {
4057         if (!isalnum(c) && c != '-' && c != '_')
4058           {
4059           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4060             US"invalid character in authentication mechanism name");
4061           goto COMMAND_LOOP;
4062           }
4063         smtp_cmd_data++;
4064         }
4065
4066       /* If not at the end of the line, we must be at white space. Terminate the
4067       name and move the pointer on to any data that may be present. */
4068
4069       if (*smtp_cmd_data != 0)
4070         {
4071         *smtp_cmd_data++ = 0;
4072         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4073         }
4074
4075       /* Search for an authentication mechanism which is configured for use
4076       as a server and which has been advertised (unless, sigh, allow_auth_
4077       unadvertised is set). */
4078
4079       for (au = auths; au; au = au->next)
4080         if (strcmpic(s, au->public_name) == 0 && au->server &&
4081             (au->advertised || f.allow_auth_unadvertised))
4082           break;
4083
4084       if (au)
4085         {
4086         c = smtp_in_auth(au, &s, &ss);
4087
4088         smtp_printf("%s\r\n", FALSE, s);
4089         if (c != OK)
4090           log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4091             au->name, host_and_ident(FALSE), ss);
4092         }
4093       else
4094         done = synprot_error(L_smtp_protocol_error, 504, NULL,
4095           string_sprintf("%s authentication mechanism not supported", s));
4096
4097       break;  /* AUTH_CMD */
4098
4099     /* The HELO/EHLO commands are permitted to appear in the middle of a
4100     session as well as at the beginning. They have the effect of a reset in
4101     addition to their other functions. Their absence at the start cannot be
4102     taken to be an error.
4103
4104     RFC 2821 says:
4105
4106       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4107       or 502 failure replies MUST be returned as appropriate.  The SMTP
4108       server MUST stay in the same state after transmitting these replies
4109       that it was in before the EHLO was received.
4110
4111     Therefore, we do not do the reset until after checking the command for
4112     acceptability. This change was made for Exim release 4.11. Previously
4113     it did the reset first. */
4114
4115     case HELO_CMD:
4116       HAD(SCH_HELO);
4117       hello = US"HELO";
4118       fl.esmtp = FALSE;
4119       goto HELO_EHLO;
4120
4121     case EHLO_CMD:
4122       HAD(SCH_EHLO);
4123       hello = US"EHLO";
4124       fl.esmtp = TRUE;
4125
4126     HELO_EHLO:      /* Common code for HELO and EHLO */
4127       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4128       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4129
4130       /* Reject the HELO if its argument was invalid or non-existent. A
4131       successful check causes the argument to be saved in malloc store. */
4132
4133       if (!check_helo(smtp_cmd_data))
4134         {
4135         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4136
4137         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4138           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4139           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4140                              string_printing(smtp_cmd_argument));
4141
4142         if (++synprot_error_count > smtp_max_synprot_errors)
4143           {
4144           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4145             "syntax or protocol errors (last command was \"%s\")",
4146             host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4147           done = 1;
4148           }
4149
4150         break;
4151         }
4152
4153       /* If sender_host_unknown is true, we have got here via the -bs interface,
4154       not called from inetd. Otherwise, we are running an IP connection and the
4155       host address will be set. If the helo name is the primary name of this
4156       host and we haven't done a reverse lookup, force one now. If helo_required
4157       is set, ensure that the HELO name matches the actual host. If helo_verify
4158       is set, do the same check, but softly. */
4159
4160       if (!f.sender_host_unknown)
4161         {
4162         BOOL old_helo_verified = f.helo_verified;
4163         uschar *p = smtp_cmd_data;
4164
4165         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4166         *p = 0;
4167
4168         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4169         because otherwise the log can be confusing. */
4170
4171         if (  !sender_host_name
4172            && (deliver_domain = sender_helo_name,  /* set $domain */
4173                match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4174                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
4175           (void)host_name_lookup();
4176
4177         /* Rebuild the fullhost info to include the HELO name (and the real name
4178         if it was looked up.) */
4179
4180         host_build_sender_fullhost();  /* Rebuild */
4181         set_process_info("handling%s incoming connection from %s",
4182           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4183
4184         /* Verify if configured. This doesn't give much security, but it does
4185         make some people happy to be able to do it. If helo_required is set,
4186         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4187         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4188         now obsolescent, since the verification can now be requested selectively
4189         at ACL time. */
4190
4191         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4192         if (fl.helo_required || fl.helo_verify)
4193           {
4194           BOOL tempfail = !smtp_verify_helo();
4195           if (!f.helo_verified)
4196             {
4197             if (fl.helo_required)
4198               {
4199               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4200                 tempfail? 451 : 550, hello);
4201               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4202                 tempfail? "temporarily " : "",
4203                 hello, sender_helo_name, host_and_ident(FALSE));
4204               f.helo_verified = old_helo_verified;
4205               break;                   /* End of HELO/EHLO processing */
4206               }
4207             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4208               "helo_try_verify_hosts\n", hello);
4209             }
4210           }
4211         }
4212
4213 #ifdef SUPPORT_SPF
4214       /* set up SPF context */
4215       spf_init(sender_helo_name, sender_host_address);
4216 #endif
4217
4218       /* Apply an ACL check if one is defined; afterwards, recheck
4219       synchronization in case the client started sending in a delay. */
4220
4221       if (acl_smtp_helo)
4222         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4223                   &user_msg, &log_msg)) != OK)
4224           {
4225           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4226           if (sender_helo_name)
4227             {
4228             store_free(sender_helo_name);
4229             sender_helo_name = NULL;
4230             }
4231           host_build_sender_fullhost();  /* Rebuild */
4232           break;
4233           }
4234 #ifdef EXPERIMENTAL_PIPE_CONNECT
4235         else if (!fl.pipe_connect_acceptable && !check_sync())
4236 #else
4237         else if (!check_sync())
4238 #endif
4239           goto SYNC_FAILURE;
4240
4241       /* Generate an OK reply. The default string includes the ident if present,
4242       and also the IP address if present. Reflecting back the ident is intended
4243       as a deterrent to mail forgers. For maximum efficiency, and also because
4244       some broken systems expect each response to be in a single packet, arrange
4245       that the entire reply is sent in one write(). */
4246
4247       fl.auth_advertised = FALSE;
4248       f.smtp_in_pipelining_advertised = FALSE;
4249 #ifdef SUPPORT_TLS
4250       fl.tls_advertised = FALSE;
4251 # ifdef EXPERIMENTAL_REQUIRETLS
4252       fl.requiretls_advertised = FALSE;
4253 # endif
4254 #endif
4255       fl.dsn_advertised = FALSE;
4256 #ifdef SUPPORT_I18N
4257       fl.smtputf8_advertised = FALSE;
4258 #endif
4259
4260       smtp_code = US"250 ";        /* Default response code plus space*/
4261       if (!user_msg)
4262         {
4263         s = string_sprintf("%.3s %s Hello %s%s%s",
4264           smtp_code,
4265           smtp_active_hostname,
4266           sender_ident ? sender_ident : US"",
4267           sender_ident ? US" at " : US"",
4268           sender_host_name ? sender_host_name : sender_helo_name);
4269         g = string_cat(NULL, s);
4270
4271         if (sender_host_address)
4272           {
4273           g = string_catn(g, US" [", 2);
4274           g = string_cat (g, sender_host_address);
4275           g = string_catn(g, US"]", 1);
4276           }
4277         }
4278
4279       /* A user-supplied EHLO greeting may not contain more than one line. Note
4280       that the code returned by smtp_message_code() includes the terminating
4281       whitespace character. */
4282
4283       else
4284         {
4285         char *ss;
4286         int codelen = 4;
4287         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4288         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4289         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4290           {
4291           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4292             "newlines: message truncated: %s", string_printing(s));
4293           *ss = 0;
4294           }
4295         g = string_cat(NULL, s);
4296         }
4297
4298       g = string_catn(g, US"\r\n", 2);
4299
4300       /* If we received EHLO, we must create a multiline response which includes
4301       the functions supported. */
4302
4303       if (fl.esmtp)
4304         {
4305         g->s[3] = '-';
4306
4307         /* I'm not entirely happy with this, as an MTA is supposed to check
4308         that it has enough room to accept a message of maximum size before
4309         it sends this. However, there seems little point in not sending it.
4310         The actual size check happens later at MAIL FROM time. By postponing it
4311         till then, VRFY and EXPN can be used after EHLO when space is short. */
4312
4313         if (thismessage_size_limit > 0)
4314           {
4315           sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
4316             thismessage_size_limit);
4317           g = string_cat(g, big_buffer);
4318           }
4319         else
4320           {
4321           g = string_catn(g, smtp_code, 3);
4322           g = string_catn(g, US"-SIZE\r\n", 7);
4323           }
4324
4325         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4326         clean; if it has an 8-bit character in its hand, it just sends it. It
4327         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4328         However, some users want this option simply in order to stop MUAs
4329         mangling messages that contain top-bit-set characters. It is therefore
4330         provided as an option. */
4331
4332         if (accept_8bitmime)
4333           {
4334           g = string_catn(g, smtp_code, 3);
4335           g = string_catn(g, US"-8BITMIME\r\n", 11);
4336           }
4337
4338         /* Advertise DSN support if configured to do so. */
4339         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4340           {
4341           g = string_catn(g, smtp_code, 3);
4342           g = string_catn(g, US"-DSN\r\n", 6);
4343           fl.dsn_advertised = TRUE;
4344           }
4345
4346         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4347         permitted to issue them; a check is made when any host actually tries. */
4348
4349         if (acl_smtp_etrn)
4350           {
4351           g = string_catn(g, smtp_code, 3);
4352           g = string_catn(g, US"-ETRN\r\n", 7);
4353           }
4354         if (acl_smtp_vrfy)
4355           {
4356           g = string_catn(g, smtp_code, 3);
4357           g = string_catn(g, US"-VRFY\r\n", 7);
4358           }
4359         if (acl_smtp_expn)
4360           {
4361           g = string_catn(g, smtp_code, 3);
4362           g = string_catn(g, US"-EXPN\r\n", 7);
4363           }
4364
4365         /* Exim is quite happy with pipelining, so let the other end know that
4366         it is safe to use it, unless advertising is disabled. */
4367
4368         if (  f.pipelining_enable
4369            && verify_check_host(&pipelining_advertise_hosts) == OK)
4370           {
4371           g = string_catn(g, smtp_code, 3);
4372           g = string_catn(g, US"-PIPELINING\r\n", 13);
4373           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4374           f.smtp_in_pipelining_advertised = TRUE;
4375
4376 #ifdef EXPERIMENTAL_PIPE_CONNECT
4377           if (fl.pipe_connect_acceptable)
4378             {
4379             f.smtp_in_early_pipe_advertised = TRUE;
4380             g = string_catn(g, smtp_code, 3);
4381             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4382             }
4383 #endif
4384           }
4385
4386
4387         /* If any server authentication mechanisms are configured, advertise
4388         them if the current host is in auth_advertise_hosts. The problem with
4389         advertising always is that some clients then require users to
4390         authenticate (and aren't configurable otherwise) even though it may not
4391         be necessary (e.g. if the host is in host_accept_relay).
4392
4393         RFC 2222 states that SASL mechanism names contain only upper case
4394         letters, so output the names in upper case, though we actually recognize
4395         them in either case in the AUTH command. */
4396
4397         if (  auths
4398 #ifdef AUTH_TLS
4399            && !sender_host_authenticated
4400 #endif
4401            && verify_check_host(&auth_advertise_hosts) == OK
4402            )
4403           {
4404           auth_instance *au;
4405           BOOL first = TRUE;
4406           for (au = auths; au; au = au->next)
4407             {
4408             au->advertised = FALSE;
4409             if (au->server)
4410               {
4411               DEBUG(D_auth+D_expand) debug_printf_indent(
4412                 "Evaluating advertise_condition for %s athenticator\n",
4413                 au->public_name);
4414               if (  !au->advertise_condition
4415                  || expand_check_condition(au->advertise_condition, au->name,
4416                         US"authenticator")
4417                  )
4418                 {
4419                 int saveptr;
4420                 if (first)
4421                   {
4422                   g = string_catn(g, smtp_code, 3);
4423                   g = string_catn(g, US"-AUTH", 5);
4424                   first = FALSE;
4425                   fl.auth_advertised = TRUE;
4426                   }
4427                 saveptr = g->ptr;
4428                 g = string_catn(g, US" ", 1);
4429                 g = string_cat (g, au->public_name);
4430                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4431                 au->advertised = TRUE;
4432                 }
4433               }
4434             }
4435
4436           if (!first) g = string_catn(g, US"\r\n", 2);
4437           }
4438
4439         /* RFC 3030 CHUNKING */
4440
4441         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4442           {
4443           g = string_catn(g, smtp_code, 3);
4444           g = string_catn(g, US"-CHUNKING\r\n", 11);
4445           f.chunking_offered = TRUE;
4446           chunking_state = CHUNKING_OFFERED;
4447           }
4448
4449         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4450         if it has been included in the binary, and the host matches
4451         tls_advertise_hosts. We must *not* advertise if we are already in a
4452         secure connection. */
4453
4454 #ifdef SUPPORT_TLS
4455         if (tls_in.active.sock < 0 &&
4456             verify_check_host(&tls_advertise_hosts) != FAIL)
4457           {
4458           g = string_catn(g, smtp_code, 3);
4459           g = string_catn(g, US"-STARTTLS\r\n", 11);
4460           fl.tls_advertised = TRUE;
4461           }
4462
4463 # ifdef EXPERIMENTAL_REQUIRETLS
4464         /* Advertise REQUIRETLS only once we are in a secure connection */
4465         if (  tls_in.active.sock >= 0
4466            && verify_check_host(&tls_advertise_requiretls) != FAIL)
4467           {
4468           g = string_catn(g, smtp_code, 3);
4469           g = string_catn(g, US"-REQUIRETLS\r\n", 13);
4470           fl.requiretls_advertised = TRUE;
4471           }
4472 # endif
4473 #endif
4474
4475 #ifndef DISABLE_PRDR
4476         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4477         if (prdr_enable)
4478           {
4479           g = string_catn(g, smtp_code, 3);
4480           g = string_catn(g, US"-PRDR\r\n", 7);
4481           }
4482 #endif
4483
4484 #ifdef SUPPORT_I18N
4485         if (  accept_8bitmime
4486            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4487           {
4488           g = string_catn(g, smtp_code, 3);
4489           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4490           fl.smtputf8_advertised = TRUE;
4491           }
4492 #endif
4493
4494         /* Finish off the multiline reply with one that is always available. */
4495
4496         g = string_catn(g, smtp_code, 3);
4497         g = string_catn(g, US" HELP\r\n", 7);
4498         }
4499
4500       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4501       has been seen. */
4502
4503 #ifdef SUPPORT_TLS
4504       if (tls_in.active.sock >= 0)
4505         (void)tls_write(NULL, g->s, g->ptr,
4506 # ifdef EXPERIMENTAL_PIPE_CONNECT
4507                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4508 # else
4509                         FALSE);
4510 # endif
4511       else
4512 #endif
4513
4514         {
4515         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4516         }
4517       DEBUG(D_receive)
4518         {
4519         uschar *cr;
4520
4521         (void) string_from_gstring(g);
4522         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4523           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4524         debug_printf("SMTP>> %s", g->s);
4525         }
4526       fl.helo_seen = TRUE;
4527
4528       /* Reset the protocol and the state, abandoning any previous message. */
4529       received_protocol =
4530         (sender_host_address ? protocols : protocols_local)
4531           [ (fl.esmtp
4532             ? pextend + (sender_host_authenticated ? pauthed : 0)
4533             : pnormal)
4534           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4535           ];
4536       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4537       smtp_reset(reset_point);
4538       toomany = FALSE;
4539       break;   /* HELO/EHLO */
4540
4541
4542     /* The MAIL command requires an address as an operand. All we do
4543     here is to parse it for syntactic correctness. The form "<>" is
4544     a special case which converts into an empty string. The start/end
4545     pointers in the original are not used further for this address, as
4546     it is the canonical extracted address which is all that is kept. */
4547
4548     case MAIL_CMD:
4549       HAD(SCH_MAIL);
4550       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4551       was_rej_mail = TRUE;               /* Reset if accepted */
4552       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4553
4554       if (fl.helo_required && !fl.helo_seen)
4555         {
4556         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4557         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4558           "HELO/EHLO given", host_and_ident(FALSE));
4559         break;
4560         }
4561
4562       if (sender_address)
4563         {
4564         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4565           US"sender already given");
4566         break;
4567         }
4568
4569       if (!*smtp_cmd_data)
4570         {
4571         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4572           US"MAIL must have an address operand");
4573         break;
4574         }
4575
4576       /* Check to see if the limit for messages per connection would be
4577       exceeded by accepting further messages. */
4578
4579       if (smtp_accept_max_per_connection > 0 &&
4580           smtp_mailcmd_count > smtp_accept_max_per_connection)
4581         {
4582         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4583         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4584           "messages in one connection", host_and_ident(TRUE));
4585         break;
4586         }
4587
4588       /* Reset for start of message - even if this is going to fail, we
4589       obviously need to throw away any previous data. */
4590
4591       cancel_cutthrough_connection(TRUE, US"MAIL received");
4592       smtp_reset(reset_point);
4593       toomany = FALSE;
4594       sender_data = recipient_data = NULL;
4595
4596       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4597
4598       if (fl.esmtp) for(;;)
4599         {
4600         uschar *name, *value, *end;
4601         unsigned long int size;
4602         BOOL arg_error = FALSE;
4603
4604         if (!extract_option(&name, &value)) break;
4605
4606         for (mail_args = env_mail_type_list;
4607              mail_args->value != ENV_MAIL_OPT_NULL;
4608              mail_args++
4609             )
4610           if (strcmpic(name, mail_args->name) == 0)
4611             break;
4612         if (mail_args->need_value && strcmpic(value, US"") == 0)
4613           break;
4614
4615         switch(mail_args->value)
4616           {
4617           /* Handle SIZE= by reading the value. We don't do the check till later,
4618           in order to be able to log the sender address on failure. */
4619           case ENV_MAIL_OPT_SIZE:
4620             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4621               {
4622               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4623                 size = INT_MAX;
4624               message_size = (int)size;
4625               }
4626             else
4627               arg_error = TRUE;
4628             break;
4629
4630           /* If this session was initiated with EHLO and accept_8bitmime is set,
4631           Exim will have indicated that it supports the BODY=8BITMIME option. In
4632           fact, it does not support this according to the RFCs, in that it does not
4633           take any special action for forwarding messages containing 8-bit
4634           characters. That is why accept_8bitmime is not the default setting, but
4635           some sites want the action that is provided. We recognize both "8BITMIME"
4636           and "7BIT" as body types, but take no action. */
4637           case ENV_MAIL_OPT_BODY:
4638             if (accept_8bitmime) {
4639               if (strcmpic(value, US"8BITMIME") == 0)
4640                 body_8bitmime = 8;
4641               else if (strcmpic(value, US"7BIT") == 0)
4642                 body_8bitmime = 7;
4643               else
4644                 {
4645                 body_8bitmime = 0;
4646                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4647                   US"invalid data for BODY");
4648                 goto COMMAND_LOOP;
4649                 }
4650               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4651               break;
4652             }
4653             arg_error = TRUE;
4654             break;
4655
4656           /* Handle the two DSN options, but only if configured to do so (which
4657           will have caused "DSN" to be given in the EHLO response). The code itself
4658           is included only if configured in at build time. */
4659
4660           case ENV_MAIL_OPT_RET:
4661             if (fl.dsn_advertised)
4662               {
4663               /* Check if RET has already been set */
4664               if (dsn_ret > 0)
4665                 {
4666                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4667                   US"RET can be specified once only");
4668                 goto COMMAND_LOOP;
4669                 }
4670               dsn_ret = strcmpic(value, US"HDRS") == 0
4671                 ? dsn_ret_hdrs
4672                 : strcmpic(value, US"FULL") == 0
4673                 ? dsn_ret_full
4674                 : 0;
4675               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4676               /* Check for invalid invalid value, and exit with error */
4677               if (dsn_ret == 0)
4678                 {
4679                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4680                   US"Value for RET is invalid");
4681                 goto COMMAND_LOOP;
4682                 }
4683               }
4684             break;
4685           case ENV_MAIL_OPT_ENVID:
4686             if (fl.dsn_advertised)
4687               {
4688               /* Check if the dsn envid has been already set */
4689               if (dsn_envid)
4690                 {
4691                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4692                   US"ENVID can be specified once only");
4693                 goto COMMAND_LOOP;
4694                 }
4695               dsn_envid = string_copy(value);
4696               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4697               }
4698             break;
4699
4700           /* Handle the AUTH extension. If the value given is not "<>" and either
4701           the ACL says "yes" or there is no ACL but the sending host is
4702           authenticated, we set it up as the authenticated sender. However, if the
4703           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4704           the condition is met. The value of AUTH is an xtext, which means that +,
4705           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4706           coding. */
4707           case ENV_MAIL_OPT_AUTH:
4708             if (Ustrcmp(value, "<>") != 0)
4709               {
4710               int rc;
4711               uschar *ignore_msg;
4712
4713               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4714                 {
4715                 /* Put back terminator overrides for error message */
4716                 value[-1] = '=';
4717                 name[-1] = ' ';
4718                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4719                   US"invalid data for AUTH");
4720                 goto COMMAND_LOOP;
4721                 }
4722               if (!acl_smtp_mailauth)
4723                 {
4724                 ignore_msg = US"client not authenticated";
4725                 rc = sender_host_authenticated ? OK : FAIL;
4726                 }
4727               else
4728                 {
4729                 ignore_msg = US"rejected by ACL";
4730                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4731                   &user_msg, &log_msg);
4732                 }
4733
4734               switch (rc)
4735                 {
4736                 case OK:
4737                   if (authenticated_by == NULL ||
4738                       authenticated_by->mail_auth_condition == NULL ||
4739                       expand_check_condition(authenticated_by->mail_auth_condition,
4740                           authenticated_by->name, US"authenticator"))
4741                     break;     /* Accept the AUTH */
4742
4743                   ignore_msg = US"server_mail_auth_condition failed";
4744                   if (authenticated_id != NULL)
4745                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4746                       ignore_msg, authenticated_id);
4747
4748                 /* Fall through */
4749
4750                 case FAIL:
4751                   authenticated_sender = NULL;
4752                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4753                     value, host_and_ident(TRUE), ignore_msg);
4754                   break;
4755
4756                 /* Should only get DEFER or ERROR here. Put back terminator
4757                 overrides for error message */
4758
4759                 default:
4760                   value[-1] = '=';
4761                   name[-1] = ' ';
4762                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4763                     log_msg);
4764                   goto COMMAND_LOOP;
4765                 }
4766               }
4767               break;
4768
4769 #ifndef DISABLE_PRDR
4770           case ENV_MAIL_OPT_PRDR:
4771             if (prdr_enable)
4772               prdr_requested = TRUE;
4773             break;
4774 #endif
4775
4776 #ifdef SUPPORT_I18N
4777           case ENV_MAIL_OPT_UTF8:
4778             if (!fl.smtputf8_advertised)
4779               {
4780               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4781                 US"SMTPUTF8 used when not advertised");
4782               goto COMMAND_LOOP;
4783               }
4784
4785             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4786             message_smtputf8 = allow_utf8_domains = TRUE;
4787             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4788               {
4789               int old_pool = store_pool;
4790               store_pool = POOL_PERM;
4791               received_protocol = string_sprintf("utf8%s", received_protocol);
4792               store_pool = old_pool;
4793               }
4794             break;
4795 #endif
4796
4797 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4798           case ENV_MAIL_OPT_REQTLS:
4799             {
4800             uschar * r, * t;
4801
4802             if (!fl.requiretls_advertised)
4803               {
4804               done = synprot_error(L_smtp_syntax_error, 555, NULL,
4805                 US"unadvertised MAIL option: REQUIRETLS");
4806               goto COMMAND_LOOP;
4807               }
4808
4809             DEBUG(D_receive) debug_printf("requiretls requested\n");
4810             tls_requiretls = REQUIRETLS_MSG;
4811
4812             r = string_copy_malloc(received_protocol);
4813             if ((t = Ustrrchr(r, 's'))) *t = 'S';
4814             received_protocol = r;
4815             }
4816             break;
4817 #endif
4818
4819           /* No valid option. Stick back the terminator characters and break
4820           the loop.  Do the name-terminator second as extract_option sets
4821           value==name when it found no equal-sign.
4822           An error for a malformed address will occur. */
4823           case ENV_MAIL_OPT_NULL:
4824             value[-1] = '=';
4825             name[-1] = ' ';
4826             arg_error = TRUE;
4827             break;
4828
4829           default:  assert(0);
4830           }
4831         /* Break out of for loop if switch() had bad argument or
4832            when start of the email address is reached */
4833         if (arg_error) break;
4834         }
4835
4836 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4837       if (tls_requiretls & REQUIRETLS_MSG)
4838         {
4839         /* Ensure headers-only bounces whether a RET option was given or not. */
4840
4841         DEBUG(D_receive) if (dsn_ret == dsn_ret_full)
4842           debug_printf("requiretls override: dsn_ret_full -> dsn_ret_hdrs\n");
4843         dsn_ret = dsn_ret_hdrs;
4844         }
4845 #endif
4846
4847       /* If we have passed the threshold for rate limiting, apply the current
4848       delay, and update it for next time, provided this is a limited host. */
4849
4850       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4851           verify_check_host(&smtp_ratelimit_hosts) == OK)
4852         {
4853         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4854           smtp_delay_mail/1000.0);
4855         millisleep((int)smtp_delay_mail);
4856         smtp_delay_mail *= smtp_rlm_factor;
4857         if (smtp_delay_mail > (double)smtp_rlm_limit)
4858           smtp_delay_mail = (double)smtp_rlm_limit;
4859         }
4860
4861       /* Now extract the address, first applying any SMTP-time rewriting. The
4862       TRUE flag allows "<>" as a sender address. */
4863
4864       raw_sender = rewrite_existflags & rewrite_smtp
4865         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4866                       global_rewrite_rules)
4867         : smtp_cmd_data;
4868
4869       raw_sender =
4870         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4871           TRUE);
4872
4873       if (!raw_sender)
4874         {
4875         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4876         break;
4877         }
4878
4879       sender_address = raw_sender;
4880
4881       /* If there is a configured size limit for mail, check that this message
4882       doesn't exceed it. The check is postponed to this point so that the sender
4883       can be logged. */
4884
4885       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4886         {
4887         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4888         log_write(L_size_reject,
4889             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4890             "message too big: size%s=%d max=%d",
4891             sender_address,
4892             host_and_ident(TRUE),
4893             (message_size == INT_MAX)? ">" : "",
4894             message_size,
4895             thismessage_size_limit);
4896         sender_address = NULL;
4897         break;
4898         }
4899
4900       /* Check there is enough space on the disk unless configured not to.
4901       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4902       plus the current message - i.e. we accept the message only if it won't
4903       reduce the space below the threshold. Add 5000 to the size to allow for
4904       overheads such as the Received: line and storing of recipients, etc.
4905       By putting the check here, even when SIZE is not given, it allow VRFY
4906       and EXPN etc. to be used when space is short. */
4907
4908       if (!receive_check_fs(
4909            (smtp_check_spool_space && message_size >= 0)?
4910               message_size + 5000 : 0))
4911         {
4912         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4913         sender_address = NULL;
4914         break;
4915         }
4916
4917       /* If sender_address is unqualified, reject it, unless this is a locally
4918       generated message, or the sending host or net is permitted to send
4919       unqualified addresses - typically local machines behaving as MUAs -
4920       in which case just qualify the address. The flag is set above at the start
4921       of the SMTP connection. */
4922
4923       if (!sender_domain && *sender_address)
4924         if (f.allow_unqualified_sender)
4925           {
4926           sender_domain = Ustrlen(sender_address) + 1;
4927           sender_address = rewrite_address_qualify(sender_address, FALSE);
4928           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4929             raw_sender);
4930           }
4931         else
4932           {
4933           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4934             smtp_cmd_data);
4935           log_write(L_smtp_syntax_error,
4936             LOG_MAIN|LOG_REJECT,
4937             "unqualified sender rejected: <%s> %s%s",
4938             raw_sender,
4939             host_and_ident(TRUE),
4940             host_lookup_msg);
4941           sender_address = NULL;
4942           break;
4943           }
4944
4945       /* Apply an ACL check if one is defined, before responding. Afterwards,
4946       when pipelining is not advertised, do another sync check in case the ACL
4947       delayed and the client started sending in the meantime. */
4948
4949       if (acl_smtp_mail)
4950         {
4951         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4952         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4953           goto SYNC_FAILURE;
4954         }
4955       else
4956         rc = OK;
4957
4958       if (rc == OK || rc == DISCARD)
4959         {
4960         BOOL more = pipeline_response();
4961
4962         if (!user_msg)
4963           smtp_printf("%s%s%s", more, US"250 OK",
4964                     #ifndef DISABLE_PRDR
4965                       prdr_requested ? US", PRDR Requested" : US"",
4966                     #else
4967                       US"",
4968                     #endif
4969                       US"\r\n");
4970         else
4971           {
4972         #ifndef DISABLE_PRDR
4973           if (prdr_requested)
4974              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4975         #endif
4976           smtp_user_msg(US"250", user_msg);
4977           }
4978         smtp_delay_rcpt = smtp_rlr_base;
4979         f.recipients_discarded = (rc == DISCARD);
4980         was_rej_mail = FALSE;
4981         }
4982       else
4983         {
4984         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4985         sender_address = NULL;
4986         }
4987       break;
4988
4989
4990     /* The RCPT command requires an address as an operand. There may be any
4991     number of RCPT commands, specifying multiple recipients. We build them all
4992     into a data structure. The start/end values given by parse_extract_address
4993     are not used, as we keep only the extracted address. */
4994
4995     case RCPT_CMD:
4996       HAD(SCH_RCPT);
4997       rcpt_count++;
4998       was_rcpt = fl.rcpt_in_progress = TRUE;
4999
5000       /* There must be a sender address; if the sender was rejected and
5001       pipelining was advertised, we assume the client was pipelining, and do not
5002       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5003       get the same treatment. */
5004
5005       if (sender_address == NULL)
5006         {
5007         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5008           {
5009           smtp_printf("503 sender not yet given\r\n", FALSE);
5010           was_rej_mail = TRUE;
5011           }
5012         else
5013           {
5014           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5015             US"sender not yet given");
5016           was_rcpt = FALSE;             /* Not a valid RCPT */
5017           }
5018         rcpt_fail_count++;
5019         break;
5020         }
5021
5022       /* Check for an operand */
5023
5024       if (smtp_cmd_data[0] == 0)
5025         {
5026         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5027           US"RCPT must have an address operand");
5028         rcpt_fail_count++;
5029         break;
5030         }
5031
5032       /* Set the DSN flags orcpt and dsn_flags from the session*/
5033       orcpt = NULL;
5034       dsn_flags = 0;
5035
5036       if (fl.esmtp) for(;;)
5037         {
5038         uschar *name, *value;
5039
5040         if (!extract_option(&name, &value))
5041           break;
5042
5043         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5044           {
5045           /* Check whether orcpt has been already set */
5046           if (orcpt)
5047             {
5048             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5049               US"ORCPT can be specified once only");
5050             goto COMMAND_LOOP;
5051             }
5052           orcpt = string_copy(value);
5053           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5054           }
5055
5056         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5057           {
5058           /* Check if the notify flags have been already set */
5059           if (dsn_flags > 0)
5060             {
5061             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5062                 US"NOTIFY can be specified once only");
5063             goto COMMAND_LOOP;
5064             }
5065           if (strcmpic(value, US"NEVER") == 0)
5066             dsn_flags |= rf_notify_never;
5067           else
5068             {
5069             uschar *p = value;
5070             while (*p != 0)
5071               {
5072               uschar *pp = p;
5073               while (*pp != 0 && *pp != ',') pp++;
5074               if (*pp == ',') *pp++ = 0;
5075               if (strcmpic(p, US"SUCCESS") == 0)
5076                 {
5077                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5078                 dsn_flags |= rf_notify_success;
5079                 }
5080               else if (strcmpic(p, US"FAILURE") == 0)
5081                 {
5082                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5083                 dsn_flags |= rf_notify_failure;
5084                 }
5085               else if (strcmpic(p, US"DELAY") == 0)
5086                 {
5087                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5088                 dsn_flags |= rf_notify_delay;
5089                 }
5090               else
5091                 {
5092                 /* Catch any strange values */
5093                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5094                   US"Invalid value for NOTIFY parameter");
5095                 goto COMMAND_LOOP;
5096                 }
5097               p = pp;
5098               }
5099               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5100             }
5101           }
5102
5103         /* Unknown option. Stick back the terminator characters and break
5104         the loop. An error for a malformed address will occur. */
5105
5106         else
5107           {
5108           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5109           name[-1] = ' ';
5110           value[-1] = '=';
5111           break;
5112           }
5113         }
5114
5115       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5116       as a recipient address */
5117
5118       recipient = rewrite_existflags & rewrite_smtp
5119         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5120             global_rewrite_rules)
5121         : smtp_cmd_data;
5122
5123       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5124         &recipient_domain, FALSE)))
5125         {
5126         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5127         rcpt_fail_count++;
5128         break;
5129         }
5130
5131       /* If the recipient address is unqualified, reject it, unless this is a
5132       locally generated message. However, unqualified addresses are permitted
5133       from a configured list of hosts and nets - typically when behaving as
5134       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5135       really. The flag is set at the start of the SMTP connection.
5136
5137       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5138       assumed this meant "reserved local part", but the revision of RFC 821 and
5139       friends now makes it absolutely clear that it means *mailbox*. Consequently
5140       we must always qualify this address, regardless. */
5141
5142       if (!recipient_domain)
5143         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5144                                     US"recipient")))
5145           {
5146           rcpt_fail_count++;
5147           break;
5148           }
5149
5150       /* Check maximum allowed */
5151
5152       if (rcpt_count > recipients_max && recipients_max > 0)
5153         {
5154         if (recipients_max_reject)
5155           {
5156           rcpt_fail_count++;
5157           smtp_printf("552 too many recipients\r\n", FALSE);
5158           if (!toomany)
5159             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5160               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5161           }
5162         else
5163           {
5164           rcpt_defer_count++;
5165           smtp_printf("452 too many recipients\r\n", FALSE);
5166           if (!toomany)
5167             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5168               "temporarily rejected: sender=<%s> %s", sender_address,
5169               host_and_ident(TRUE));
5170           }
5171
5172         toomany = TRUE;
5173         break;
5174         }
5175
5176       /* If we have passed the threshold for rate limiting, apply the current
5177       delay, and update it for next time, provided this is a limited host. */
5178
5179       if (rcpt_count > smtp_rlr_threshold &&
5180           verify_check_host(&smtp_ratelimit_hosts) == OK)
5181         {
5182         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5183           smtp_delay_rcpt/1000.0);
5184         millisleep((int)smtp_delay_rcpt);
5185         smtp_delay_rcpt *= smtp_rlr_factor;
5186         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5187           smtp_delay_rcpt = (double)smtp_rlr_limit;
5188         }
5189
5190       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5191       for them. Otherwise, check the access control list for this recipient. As
5192       there may be a delay in this, re-check for a synchronization error
5193       afterwards, unless pipelining was advertised. */
5194
5195       if (f.recipients_discarded)
5196         rc = DISCARD;
5197       else
5198         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5199                       &log_msg)) == OK
5200            && !f.smtp_in_pipelining_advertised && !check_sync())
5201           goto SYNC_FAILURE;
5202
5203       /* The ACL was happy */
5204
5205       if (rc == OK)
5206         {
5207         BOOL more = pipeline_response();
5208
5209         if (user_msg)
5210           smtp_user_msg(US"250", user_msg);
5211         else
5212           smtp_printf("250 Accepted\r\n", more);
5213         receive_add_recipient(recipient, -1);
5214
5215         /* Set the dsn flags in the recipients_list */
5216         recipients_list[recipients_count-1].orcpt = orcpt;
5217         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5218
5219         DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5220           recipients_list[recipients_count-1].orcpt,
5221           recipients_list[recipients_count-1].dsn_flags);
5222         }
5223
5224       /* The recipient was discarded */
5225
5226       else if (rc == DISCARD)
5227         {
5228         if (user_msg)
5229           smtp_user_msg(US"250", user_msg);
5230         else
5231           smtp_printf("250 Accepted\r\n", FALSE);
5232         rcpt_fail_count++;
5233         discarded = TRUE;
5234         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5235           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5236           sender_address_unrewritten? sender_address_unrewritten : sender_address,
5237           smtp_cmd_argument, f.recipients_discarded? "MAIL" : "RCPT",
5238           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5239         }
5240
5241       /* Either the ACL failed the address, or it was deferred. */
5242
5243       else
5244         {
5245         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5246         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5247         }
5248       break;
5249
5250
5251     /* The DATA command is legal only if it follows successful MAIL FROM
5252     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5253     not counted as a protocol error if it follows RCPT (which must have been
5254     rejected if there are no recipients.) This function is complete when a
5255     valid DATA command is encountered.
5256
5257     Note concerning the code used: RFC 2821 says this:
5258
5259      -  If there was no MAIL, or no RCPT, command, or all such commands
5260         were rejected, the server MAY return a "command out of sequence"
5261         (503) or "no valid recipients" (554) reply in response to the
5262         DATA command.
5263
5264     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5265     because it is the same whether pipelining is in use or not.
5266
5267     If all the RCPT commands that precede DATA provoked the same error message
5268     (often indicating some kind of system error), it is helpful to include it
5269     with the DATA rejection (an idea suggested by Tony Finch). */
5270
5271     case BDAT_CMD:
5272       {
5273       int n;
5274
5275       HAD(SCH_BDAT);
5276       if (chunking_state != CHUNKING_OFFERED)
5277         {
5278         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5279           US"BDAT command used when CHUNKING not advertised");
5280         break;
5281         }
5282
5283       /* grab size, endmarker */
5284
5285       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5286         {
5287         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5288           US"missing size for BDAT command");
5289         break;
5290         }
5291       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5292         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5293       chunking_data_left = chunking_datasize;
5294       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5295                                     (int)chunking_state, chunking_data_left);
5296
5297       /* push the current receive_* function on the "stack", and
5298       replace them by bdat_getc(), which in turn will use the lwr_receive_*
5299       functions to do the dirty work. */
5300       lwr_receive_getc = receive_getc;
5301       lwr_receive_getbuf = receive_getbuf;
5302       lwr_receive_ungetc = receive_ungetc;
5303
5304       receive_getc = bdat_getc;
5305       receive_ungetc = bdat_ungetc;
5306
5307       f.dot_ends = FALSE;
5308
5309       goto DATA_BDAT;
5310       }
5311
5312     case DATA_CMD:
5313       HAD(SCH_DATA);
5314       f.dot_ends = TRUE;
5315
5316     DATA_BDAT:          /* Common code for DATA and BDAT */
5317 #ifdef EXPERIMENTAL_PIPE_CONNECT
5318       fl.pipe_connect_acceptable = FALSE;
5319 #endif
5320       if (!discarded && recipients_count <= 0)
5321         {
5322         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5323           {
5324           uschar *code = US"503";
5325           int len = Ustrlen(rcpt_smtp_response);
5326           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5327             "this error:");
5328           /* Responses from smtp_printf() will have \r\n on the end */
5329           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5330             rcpt_smtp_response[len-2] = 0;
5331           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5332           }
5333         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5334           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5335             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5336         else
5337           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5338             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5339             ? US"valid RCPT command must precede DATA"
5340             : US"valid RCPT command must precede BDAT");
5341
5342         if (chunking_state > CHUNKING_OFFERED)
5343           bdat_flush_data();
5344         break;
5345         }
5346
5347       if (toomany && recipients_max_reject)
5348         {
5349         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5350         sender_address_unrewritten = NULL;
5351         smtp_printf("554 Too many recipients\r\n", FALSE);
5352         break;
5353         }
5354
5355       if (chunking_state > CHUNKING_OFFERED)
5356         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5357       else
5358         {
5359         /* If there is an ACL, re-check the synchronization afterwards, since the
5360         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5361         to get the DATA command sent. */
5362
5363         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5364           rc = OK;
5365         else
5366           {
5367           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5368           f.enable_dollar_recipients = TRUE;
5369           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5370             &log_msg);
5371           f.enable_dollar_recipients = FALSE;
5372           if (rc == OK && !check_sync())
5373             goto SYNC_FAILURE;
5374
5375           if (rc != OK)
5376             {   /* Either the ACL failed the address, or it was deferred. */
5377             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5378             break;
5379             }
5380           }
5381
5382         if (user_msg)
5383           smtp_user_msg(US"354", user_msg);
5384         else
5385           smtp_printf(
5386             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5387         }
5388
5389 #ifdef TCP_QUICKACK
5390       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5391         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5392                 US &on, sizeof(on));
5393 #endif
5394       done = 3;
5395       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5396
5397       break;
5398
5399
5400     case VRFY_CMD:
5401       {
5402       uschar * address;
5403
5404       HAD(SCH_VRFY);
5405
5406       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5407             &start, &end, &recipient_domain, FALSE)))
5408         {
5409         smtp_printf("501 %s\r\n", FALSE, errmess);
5410         break;
5411         }
5412
5413       if (!recipient_domain)
5414         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5415                                     US"verify")))
5416           break;
5417
5418       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5419                     &user_msg, &log_msg)) != OK)
5420         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5421       else
5422         {
5423         uschar * s = NULL;
5424         address_item * addr = deliver_make_addr(address, FALSE);
5425
5426         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5427                -1, -1, NULL, NULL, NULL))
5428           {
5429           case OK:
5430             s = string_sprintf("250 <%s> is deliverable", address);
5431             break;
5432
5433           case DEFER:
5434             s = (addr->user_message != NULL)?
5435               string_sprintf("451 <%s> %s", address, addr->user_message) :
5436               string_sprintf("451 Cannot resolve <%s> at this time", address);
5437             break;
5438
5439           case FAIL:
5440             s = (addr->user_message != NULL)?
5441               string_sprintf("550 <%s> %s", address, addr->user_message) :
5442               string_sprintf("550 <%s> is not deliverable", address);
5443             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5444               smtp_cmd_argument, host_and_ident(TRUE));
5445             break;
5446           }
5447
5448         smtp_printf("%s\r\n", FALSE, s);
5449         }
5450       break;
5451       }
5452
5453
5454     case EXPN_CMD:
5455       HAD(SCH_EXPN);
5456       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5457       if (rc != OK)
5458         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5459       else
5460         {
5461         BOOL save_log_testing_mode = f.log_testing_mode;
5462         f.address_test_mode = f.log_testing_mode = TRUE;
5463         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5464           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5465           NULL, NULL, NULL);
5466         f.address_test_mode = FALSE;
5467         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5468         }
5469       break;
5470
5471
5472     #ifdef SUPPORT_TLS
5473
5474     case STARTTLS_CMD:
5475       HAD(SCH_STARTTLS);
5476       if (!fl.tls_advertised)
5477         {
5478         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5479           US"STARTTLS command used when not advertised");
5480         break;
5481         }
5482
5483       /* Apply an ACL check if one is defined */
5484
5485       if (  acl_smtp_starttls
5486          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5487                     &user_msg, &log_msg)) != OK
5488          )
5489         {
5490         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5491         break;
5492         }
5493
5494       /* RFC 2487 is not clear on when this command may be sent, though it
5495       does state that all information previously obtained from the client
5496       must be discarded if a TLS session is started. It seems reasonable to
5497       do an implied RSET when STARTTLS is received. */
5498
5499       incomplete_transaction_log(US"STARTTLS");
5500       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5501       smtp_reset(reset_point);
5502       toomany = FALSE;
5503       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5504
5505       /* There's an attack where more data is read in past the STARTTLS command
5506       before TLS is negotiated, then assumed to be part of the secure session
5507       when used afterwards; we use segregated input buffers, so are not
5508       vulnerable, but we want to note when it happens and, for sheer paranoia,
5509       ensure that the buffer is "wiped".
5510       Pipelining sync checks will normally have protected us too, unless disabled
5511       by configuration. */
5512
5513       if (receive_smtp_buffered())
5514         {
5515         DEBUG(D_any)
5516           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5517         if (tls_in.active.sock < 0)
5518           smtp_inend = smtp_inptr = smtp_inbuffer;
5519         /* and if TLS is already active, tls_server_start() should fail */
5520         }
5521
5522       /* There is nothing we value in the input buffer and if TLS is successfully
5523       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5524       fresh content into it.  The buffer contains arbitrary content from an
5525       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5526       It seems safest to just wipe away the content rather than leave it as a
5527       target to jump to. */
5528
5529       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5530
5531       /* Attempt to start up a TLS session, and if successful, discard all
5532       knowledge that was obtained previously. At least, that's what the RFC says,
5533       and that's what happens by default. However, in order to work round YAEB,
5534       there is an option to remember the esmtp state. Sigh.
5535
5536       We must allow for an extra EHLO command and an extra AUTH command after
5537       STARTTLS that don't add to the nonmail command count. */
5538
5539       s = NULL;
5540       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5541         {
5542         if (!tls_remember_esmtp)
5543           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5544         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5545         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5546         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5547         if (sender_helo_name)
5548           {
5549           store_free(sender_helo_name);
5550           sender_helo_name = NULL;
5551           host_build_sender_fullhost();  /* Rebuild */
5552           set_process_info("handling incoming TLS connection from %s",
5553             host_and_ident(FALSE));
5554           }
5555         received_protocol =
5556           (sender_host_address ? protocols : protocols_local)
5557             [ (fl.esmtp
5558               ? pextend + (sender_host_authenticated ? pauthed : 0)
5559               : pnormal)
5560             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5561             ];
5562
5563         sender_host_auth_pubname = sender_host_authenticated = NULL;
5564         authenticated_id = NULL;
5565         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5566         DEBUG(D_tls) debug_printf("TLS active\n");
5567         break;     /* Successful STARTTLS */
5568         }
5569       else
5570         (void) smtp_log_tls_fail(s);
5571
5572       /* Some local configuration problem was discovered before actually trying
5573       to do a TLS handshake; give a temporary error. */
5574
5575       if (rc == DEFER)
5576         {
5577         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5578         break;
5579         }
5580
5581       /* Hard failure. Reject everything except QUIT or closed connection. One
5582       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5583       set, but we must still reject all incoming commands.  Another is a handshake
5584       failure - and there may some encrypted data still in the pipe to us, which we
5585       see as garbage commands. */
5586
5587       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5588       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5589         {
5590         case EOF_CMD:
5591           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5592             smtp_get_connection_info());
5593           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5594           done = 2;
5595           break;
5596
5597         /* It is perhaps arguable as to which exit ACL should be called here,
5598         but as it is probably a situation that almost never arises, it
5599         probably doesn't matter. We choose to call the real QUIT ACL, which in
5600         some sense is perhaps "right". */
5601
5602         case QUIT_CMD:
5603           user_msg = NULL;
5604           if (  acl_smtp_quit
5605              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5606                                 &log_msg)) == ERROR))
5607               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5608                 log_msg);
5609           if (user_msg)
5610             smtp_respond(US"221", 3, TRUE, user_msg);
5611           else
5612             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5613           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5614             smtp_get_connection_info());
5615           done = 2;
5616           break;
5617
5618         default:
5619           smtp_printf("554 Security failure\r\n", FALSE);
5620           break;
5621         }
5622       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5623       break;
5624     #endif
5625
5626
5627     /* The ACL for QUIT is provided for gathering statistical information or
5628     similar; it does not affect the response code, but it can supply a custom
5629     message. */
5630
5631     case QUIT_CMD:
5632       smtp_quit_handler(&user_msg, &log_msg);
5633       done = 2;
5634       break;
5635
5636
5637     case RSET_CMD:
5638       smtp_rset_handler();
5639       cancel_cutthrough_connection(TRUE, US"RSET received");
5640       smtp_reset(reset_point);
5641       toomany = FALSE;
5642       break;
5643
5644
5645     case NOOP_CMD:
5646       HAD(SCH_NOOP);
5647       smtp_printf("250 OK\r\n", FALSE);
5648       break;
5649
5650
5651     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5652     used, a check will be done for permitted hosts. Show STARTTLS only if not
5653     already in a TLS session and if it would be advertised in the EHLO
5654     response. */
5655
5656     case HELP_CMD:
5657       HAD(SCH_HELP);
5658       smtp_printf("214-Commands supported:\r\n", TRUE);
5659         {
5660         uschar buffer[256];
5661         buffer[0] = 0;
5662         Ustrcat(buffer, " AUTH");
5663         #ifdef SUPPORT_TLS
5664         if (tls_in.active.sock < 0 &&
5665             verify_check_host(&tls_advertise_hosts) != FAIL)
5666           Ustrcat(buffer, " STARTTLS");
5667         #endif
5668         Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5669         Ustrcat(buffer, " NOOP QUIT RSET HELP");
5670         if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5671         if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5672         if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5673         smtp_printf("214%s\r\n", FALSE, buffer);
5674         }
5675       break;
5676
5677
5678     case EOF_CMD:
5679       incomplete_transaction_log(US"connection lost");
5680       smtp_notquit_exit(US"connection-lost", US"421",
5681         US"%s lost input connection", smtp_active_hostname);
5682
5683       /* Don't log by default unless in the middle of a message, as some mailers
5684       just drop the call rather than sending QUIT, and it clutters up the logs.
5685       */
5686
5687       if (sender_address || recipients_count > 0)
5688         log_write(L_lost_incoming_connection, LOG_MAIN,
5689           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5690           f.sender_host_unknown ? "EOF" : "disconnection",
5691           f.tcp_in_fastopen_logged
5692           ? US""
5693           : f.tcp_in_fastopen
5694           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5695           : US"",
5696           host_and_ident(FALSE), smtp_read_error,
5697           string_timesince(&smtp_connection_start)
5698           );
5699
5700       else
5701         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5702           smtp_get_connection_info(),
5703           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5704           smtp_read_error,
5705           string_timesince(&smtp_connection_start)
5706           );
5707
5708       done = 1;
5709       break;
5710
5711
5712     case ETRN_CMD:
5713       HAD(SCH_ETRN);
5714       if (sender_address)
5715         {
5716         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5717           US"ETRN is not permitted inside a transaction");
5718         break;
5719         }
5720
5721       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5722         host_and_ident(FALSE));
5723
5724       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5725                   &user_msg, &log_msg)) != OK)
5726         {
5727         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5728         break;
5729         }
5730
5731       /* Compute the serialization key for this command. */
5732
5733       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5734
5735       /* If a command has been specified for running as a result of ETRN, we
5736       permit any argument to ETRN. If not, only the # standard form is permitted,
5737       since that is strictly the only kind of ETRN that can be implemented
5738       according to the RFC. */
5739
5740       if (smtp_etrn_command)
5741         {
5742         uschar *error;
5743         BOOL rc;
5744         etrn_command = smtp_etrn_command;
5745         deliver_domain = smtp_cmd_data;
5746         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5747           US"ETRN processing", &error);
5748         deliver_domain = NULL;
5749         if (!rc)
5750           {
5751           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5752             error);
5753           smtp_printf("458 Internal failure\r\n", FALSE);
5754           break;
5755           }
5756         }
5757
5758       /* Else set up to call Exim with the -R option. */
5759
5760       else
5761         {
5762         if (*smtp_cmd_data++ != '#')
5763           {
5764           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5765             US"argument must begin with #");
5766           break;
5767           }
5768         etrn_command = US"exim -R";
5769         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5770           *queue_name ? 4 : 2,
5771           US"-R", smtp_cmd_data,
5772           US"-MCG", queue_name);
5773         }
5774
5775       /* If we are host-testing, don't actually do anything. */
5776
5777       if (host_checking)
5778         {
5779         HDEBUG(D_any)
5780           {
5781           debug_printf("ETRN command is: %s\n", etrn_command);
5782           debug_printf("ETRN command execution skipped\n");
5783           }
5784         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5785           else smtp_user_msg(US"250", user_msg);
5786         break;
5787         }
5788
5789
5790       /* If ETRN queue runs are to be serialized, check the database to
5791       ensure one isn't already running. */
5792
5793       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5794         {
5795         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5796         break;
5797         }
5798
5799       /* Fork a child process and run the command. We don't want to have to
5800       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5801       forking. It should be set that way anyway for external incoming SMTP,
5802       but we save and restore to be tidy. If serialization is required, we
5803       actually run the command in yet another process, so we can wait for it
5804       to complete and then remove the serialization lock. */
5805
5806       oldsignal = signal(SIGCHLD, SIG_IGN);
5807
5808       if ((pid = fork()) == 0)
5809         {
5810         smtp_input = FALSE;       /* This process is not associated with the */
5811         (void)fclose(smtp_in);    /* SMTP call any more. */
5812         (void)fclose(smtp_out);
5813
5814         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5815
5816         /* If not serializing, do the exec right away. Otherwise, fork down
5817         into another process. */
5818
5819         if (!smtp_etrn_serialize || (pid = fork()) == 0)
5820           {
5821           DEBUG(D_exec) debug_print_argv(argv);
5822           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5823           execv(CS argv[0], (char *const *)argv);
5824           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5825             etrn_command, strerror(errno));
5826           _exit(EXIT_FAILURE);         /* paranoia */
5827           }
5828
5829         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5830         is, we are in the first subprocess, after forking again. All we can do
5831         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5832         complete, before removing the serialization. */
5833
5834         if (pid < 0)
5835           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5836             "failed: %s", strerror(errno));
5837         else
5838           {
5839           int status;
5840           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5841             (int)pid);
5842           (void)wait(&status);
5843           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5844             (int)pid);
5845           }
5846
5847         enq_end(etrn_serialize_key);
5848         _exit(EXIT_SUCCESS);
5849         }
5850
5851       /* Back in the top level SMTP process. Check that we started a subprocess
5852       and restore the signal state. */
5853
5854       if (pid < 0)
5855         {
5856         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5857           strerror(errno));
5858         smtp_printf("458 Unable to fork process\r\n", FALSE);
5859         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5860         }
5861       else
5862         {
5863         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5864           else smtp_user_msg(US"250", user_msg);
5865         }
5866
5867       signal(SIGCHLD, oldsignal);
5868       break;
5869
5870
5871     case BADARG_CMD:
5872       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5873         US"unexpected argument data");
5874       break;
5875
5876
5877     /* This currently happens only for NULLs, but could be extended. */
5878
5879     case BADCHAR_CMD:
5880       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5881         US"NUL character(s) present (shown as '?')");
5882       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5883                   FALSE);
5884       break;
5885
5886
5887     case BADSYN_CMD:
5888     SYNC_FAILURE:
5889       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5890         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5891       c = smtp_inend - smtp_inptr;
5892       if (c > 150) c = 150;     /* limit logged amount */
5893       smtp_inptr[c] = 0;
5894       incomplete_transaction_log(US"sync failure");
5895       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5896         "(next input sent too soon: pipelining was%s advertised): "
5897         "rejected \"%s\" %s next input=\"%s\"",
5898         f.smtp_in_pipelining_advertised ? "" : " not",
5899         smtp_cmd_buffer, host_and_ident(TRUE),
5900         string_printing(smtp_inptr));
5901       smtp_notquit_exit(US"synchronization-error", US"554",
5902         US"SMTP synchronization error");
5903       done = 1;   /* Pretend eof - drops connection */
5904       break;
5905
5906
5907     case TOO_MANY_NONMAIL_CMD:
5908       s = smtp_cmd_buffer;
5909       while (*s != 0 && !isspace(*s)) s++;
5910       incomplete_transaction_log(US"too many non-mail commands");
5911       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5912         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5913         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5914       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5915       done = 1;   /* Pretend eof - drops connection */
5916       break;
5917
5918 #ifdef SUPPORT_PROXY
5919     case PROXY_FAIL_IGNORE_CMD:
5920       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5921       break;
5922 #endif
5923
5924     default:
5925       if (unknown_command_count++ >= smtp_max_unknown_commands)
5926         {
5927         log_write(L_smtp_syntax_error, LOG_MAIN,
5928           "SMTP syntax error in \"%s\" %s %s",
5929           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5930           US"unrecognized command");
5931         incomplete_transaction_log(US"unrecognized command");
5932         smtp_notquit_exit(US"bad-commands", US"500",
5933           US"Too many unrecognized commands");
5934         done = 2;
5935         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5936           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5937           string_printing(smtp_cmd_buffer));
5938         }
5939       else
5940         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5941           US"unrecognized command");
5942       break;
5943     }
5944
5945   /* This label is used by goto's inside loops that want to break out to
5946   the end of the command-processing loop. */
5947
5948   COMMAND_LOOP:
5949   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5950   last_was_rcpt = was_rcpt;             /* protocol error handling */
5951   continue;
5952   }
5953
5954 return done - 2;  /* Convert yield values */
5955 }
5956
5957
5958
5959 gstring *
5960 authres_smtpauth(gstring * g)
5961 {
5962 if (!sender_host_authenticated)
5963   return g;
5964
5965 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5966
5967 if (Ustrcmp(sender_host_auth_pubname, "tls") != 0)
5968   g = string_append(g, 2, US") smtp.auth=", authenticated_id);
5969 else if (authenticated_id)
5970   g = string_append(g, 2, US") x509.auth=", authenticated_id);
5971 else
5972   g = string_catn(g, US") reason=x509.auth", 17);
5973
5974 if (authenticated_sender)
5975   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
5976 return g;
5977 }
5978
5979
5980
5981 /* vi: aw ai sw=2
5982 */
5983 /* End of smtp_in.c */