Fix dkim_verify_signers option. Bug 2366
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static struct {
135   BOOL auth_advertised                  :1;
136 #ifdef SUPPORT_TLS
137   BOOL tls_advertised                   :1;
138 # ifdef EXPERIMENTAL_REQUIRETLS
139   BOOL requiretls_advertised            :1;
140 # endif
141 #endif
142   BOOL dsn_advertised                   :1;
143   BOOL esmtp                            :1;
144   BOOL helo_required                    :1;
145   BOOL helo_verify                      :1;
146   BOOL helo_seen                        :1;
147   BOOL helo_accept_junk                 :1;
148 #ifdef EXPERIMENTAL_PIPE_CONNECT
149   BOOL pipe_connect_acceptable          :1;
150 #endif
151   BOOL rcpt_smtp_response_same          :1;
152   BOOL rcpt_in_progress                 :1;
153   BOOL smtp_exit_function_called        :1;
154 #ifdef SUPPORT_I18N
155   BOOL smtputf8_advertised              :1;
156 #endif
157 } fl = {
158   .helo_required = FALSE,
159   .helo_verify = FALSE,
160   .smtp_exit_function_called = FALSE,
161 };
162
163 static auth_instance *authenticated_by;
164 static int  count_nonmail;
165 static int  nonmail_command_count;
166 static int  synprot_error_count;
167 static int  unknown_command_count;
168 static int  sync_cmd_limit;
169 static int  smtp_write_error = 0;
170
171 static uschar *rcpt_smtp_response;
172 static uschar *smtp_data_buffer;
173 static uschar *smtp_cmd_data;
174
175 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
176 final fields of all except AUTH are forced TRUE at the start of a new message
177 setup, to allow one of each between messages that is not counted as a nonmail
178 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
179 allow a new EHLO after starting up TLS.
180
181 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
182 counted. However, the flag is changed when AUTH is received, so that multiple
183 failing AUTHs will eventually hit the limit. After a successful AUTH, another
184 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
185 forced TRUE, to allow for the re-authentication that can happen at that point.
186
187 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
188 count of non-mail commands and possibly provoke an error.
189
190 tls_auth is a pseudo-command, never expected in input.  It is activated
191 on TLS startup and looks for a tls authenticator. */
192
193 static smtp_cmd_list cmd_list[] = {
194   /* name         len                     cmd     has_arg is_mail_cmd */
195
196   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
197   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
198   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
199   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
200 #ifdef SUPPORT_TLS
201   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
202   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
203 #endif
204
205 /* If you change anything above here, also fix the definitions below. */
206
207   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
208   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
209   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
210   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
211   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
212   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
213   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
214   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
215   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
216   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
217 };
218
219 static smtp_cmd_list *cmd_list_end =
220   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
221
222 #define CMD_LIST_RSET      0
223 #define CMD_LIST_HELO      1
224 #define CMD_LIST_EHLO      2
225 #define CMD_LIST_AUTH      3
226 #define CMD_LIST_STARTTLS  4
227 #define CMD_LIST_TLS_AUTH  5
228
229 /* This list of names is used for performing the smtp_no_mail logging action.
230 It must be kept in step with the SCH_xxx enumerations. */
231
232 static uschar *smtp_names[] =
233   {
234   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
235   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
236   US"STARTTLS", US"VRFY" };
237
238 static uschar *protocols_local[] = {
239   US"local-smtp",        /* HELO */
240   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
241   US"local-esmtp",       /* EHLO */
242   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
243   US"local-esmtpa",      /* EHLO->AUTH */
244   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
245   };
246 static uschar *protocols[] = {
247   US"smtp",              /* HELO */
248   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
249   US"esmtp",             /* EHLO */
250   US"esmtps",            /* EHLO->STARTTLS->EHLO */
251   US"esmtpa",            /* EHLO->AUTH */
252   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
253   };
254
255 #define pnormal  0
256 #define pextend  2
257 #define pcrpted  1  /* added to pextend or pnormal */
258 #define pauthed  2  /* added to pextend */
259
260 /* Sanity check and validate optional args to MAIL FROM: envelope */
261 enum {
262   ENV_MAIL_OPT_NULL,
263   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
264 #ifndef DISABLE_PRDR
265   ENV_MAIL_OPT_PRDR,
266 #endif
267   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
268 #ifdef SUPPORT_I18N
269   ENV_MAIL_OPT_UTF8,
270 #endif
271 #ifdef EXPERIMENTAL_REQUIRETLS
272   ENV_MAIL_OPT_REQTLS,
273 #endif
274   };
275 typedef struct {
276   uschar *   name;  /* option requested during MAIL cmd */
277   int       value;  /* enum type */
278   BOOL need_value;  /* TRUE requires value (name=value pair format)
279                        FALSE is a singleton */
280   } env_mail_type_t;
281 static env_mail_type_t env_mail_type_list[] = {
282     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
283     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
284     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
285 #ifndef DISABLE_PRDR
286     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
287 #endif
288     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
289     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
290 #ifdef SUPPORT_I18N
291     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
292 #endif
293 #ifdef EXPERIMENTAL_REQUIRETLS
294     /* https://tools.ietf.org/html/draft-ietf-uta-smtp-require-tls-03 */
295     { US"REQUIRETLS",ENV_MAIL_OPT_REQTLS,  FALSE },
296 #endif
297     /* keep this the last entry */
298     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
299   };
300
301 /* When reading SMTP from a remote host, we have to use our own versions of the
302 C input-reading functions, in order to be able to flush the SMTP output only
303 when about to read more data from the socket. This is the only way to get
304 optimal performance when the client is using pipelining. Flushing for every
305 command causes a separate packet and reply packet each time; saving all the
306 responses up (when pipelining) combines them into one packet and one response.
307
308 For simplicity, these functions are used for *all* SMTP input, not only when
309 receiving over a socket. However, after setting up a secure socket (SSL), input
310 is read via the OpenSSL library, and another set of functions is used instead
311 (see tls.c).
312
313 These functions are set in the receive_getc etc. variables and called with the
314 same interface as the C functions. However, since there can only ever be
315 one incoming SMTP call, we just use a single buffer and flags. There is no need
316 to implement a complicated private FILE-like structure.*/
317
318 static uschar *smtp_inbuffer;
319 static uschar *smtp_inptr;
320 static uschar *smtp_inend;
321 static int     smtp_had_eof;
322 static int     smtp_had_error;
323
324
325 /* forward declarations */
326 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
327 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
328 static void smtp_quit_handler(uschar **, uschar **);
329 static void smtp_rset_handler(void);
330
331 /*************************************************
332 *          Recheck synchronization               *
333 *************************************************/
334
335 /* Synchronization checks can never be perfect because a packet may be on its
336 way but not arrived when the check is done.  Normally, the checks happen when
337 commands are read: Exim ensures that there is no more input in the input buffer.
338 In normal cases, the response to the command will be fast, and there is no
339 further check.
340
341 However, for some commands an ACL is run, and that can include delays. In those
342 cases, it is useful to do another check on the input just before sending the
343 response. This also applies at the start of a connection. This function does
344 that check by means of the select() function, as long as the facility is not
345 disabled or inappropriate. A failure of select() is ignored.
346
347 When there is unwanted input, we read it so that it appears in the log of the
348 error.
349
350 Arguments: none
351 Returns:   TRUE if all is well; FALSE if there is input pending
352 */
353
354 static BOOL
355 wouldblock_reading(void)
356 {
357 int fd, rc;
358 fd_set fds;
359 struct timeval tzero;
360
361 #ifdef SUPPORT_TLS
362 if (tls_in.active.sock >= 0)
363  return !tls_could_read();
364 #endif
365
366 if (smtp_inptr < smtp_inend)
367   return FALSE;
368
369 fd = fileno(smtp_in);
370 FD_ZERO(&fds);
371 FD_SET(fd, &fds);
372 tzero.tv_sec = 0;
373 tzero.tv_usec = 0;
374 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
375
376 if (rc <= 0) return TRUE;     /* Not ready to read */
377 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
378 if (rc < 0) return TRUE;      /* End of file or error */
379
380 smtp_ungetc(rc);
381 return FALSE;
382 }
383
384 static BOOL
385 check_sync(void)
386 {
387 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
388   return TRUE;
389
390 return wouldblock_reading();
391 }
392
393
394 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
395 a reponse with the one following. */
396
397 static BOOL
398 pipeline_response(void)
399 {
400 if (  !smtp_enforce_sync || !sender_host_address
401    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
402   return FALSE;
403
404 if (wouldblock_reading()) return FALSE;
405 f.smtp_in_pipelining_used = TRUE;
406 return TRUE;
407 }
408
409
410 #ifdef EXPERIMENTAL_PIPE_CONNECT
411 static BOOL
412 pipeline_connect_sends(void)
413 {
414 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
415   return FALSE;
416
417 if (wouldblock_reading()) return FALSE;
418 f.smtp_in_early_pipe_used = TRUE;
419 return TRUE;
420 }
421 #endif
422
423 /*************************************************
424 *          Log incomplete transactions           *
425 *************************************************/
426
427 /* This function is called after a transaction has been aborted by RSET, QUIT,
428 connection drops or other errors. It logs the envelope information received
429 so far in order to preserve address verification attempts.
430
431 Argument:   string to indicate what aborted the transaction
432 Returns:    nothing
433 */
434
435 static void
436 incomplete_transaction_log(uschar *what)
437 {
438 if (sender_address == NULL ||                 /* No transaction in progress */
439     !LOGGING(smtp_incomplete_transaction))
440   return;
441
442 /* Build list of recipients for logging */
443
444 if (recipients_count > 0)
445   {
446   int i;
447   raw_recipients = store_get(recipients_count * sizeof(uschar *));
448   for (i = 0; i < recipients_count; i++)
449     raw_recipients[i] = recipients_list[i].address;
450   raw_recipients_count = recipients_count;
451   }
452
453 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
454   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
455 }
456
457
458
459
460 void
461 smtp_command_timeout_exit(void)
462 {
463 log_write(L_lost_incoming_connection,
464           LOG_MAIN, "SMTP command timeout on%s connection from %s",
465           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
468 smtp_notquit_exit(US"command-timeout", US"421",
469   US"%s: SMTP command timeout - closing connection",
470   smtp_active_hostname);
471 exim_exit(EXIT_FAILURE, US"receiving");
472 }
473
474 void
475 smtp_command_sigterm_exit(void)
476 {
477 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
478 if (smtp_batched_input)
479   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
480 smtp_notquit_exit(US"signal-exit", US"421",
481   US"%s: Service not available - closing connection", smtp_active_hostname);
482 exim_exit(EXIT_FAILURE, US"receiving");
483 }
484
485 void
486 smtp_data_timeout_exit(void)
487 {
488 log_write(L_lost_incoming_connection,
489   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
490   sender_fullhost ? sender_fullhost : US"local process", sender_address);
491 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
492 /* Does not return */
493 }
494
495 void
496 smtp_data_sigint_exit(void)
497 {
498 log_write(0, LOG_MAIN, "%s closed after %s",
499   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
500 receive_bomb_out(US"signal-exit",
501   US"Service not available - SIGTERM or SIGINT received");
502 /* Does not return */
503 }
504
505
506
507 /* Refill the buffer, and notify DKIM verification code.
508 Return false for error or EOF.
509 */
510
511 static BOOL
512 smtp_refill(unsigned lim)
513 {
514 int rc, save_errno;
515 if (!smtp_out) return FALSE;
516 fflush(smtp_out);
517 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
518
519 /* Limit amount read, so non-message data is not fed to DKIM.
520 Take care to not touch the safety NUL at the end of the buffer. */
521
522 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
523 save_errno = errno;
524 if (smtp_receive_timeout > 0) ALARM_CLR(0);
525 if (rc <= 0)
526   {
527   /* Must put the error text in fixed store, because this might be during
528   header reading, where it releases unused store above the header. */
529   if (rc < 0)
530     {
531     if (had_command_timeout)            /* set by signal handler */
532       smtp_command_timeout_exit();      /* does not return */
533     if (had_command_sigterm)
534       smtp_command_sigterm_exit();
535     if (had_data_timeout)
536       smtp_data_timeout_exit();
537     if (had_data_sigint)
538       smtp_data_sigint_exit();
539
540     smtp_had_error = save_errno;
541     smtp_read_error = string_copy_malloc(
542       string_sprintf(" (error: %s)", strerror(save_errno)));
543     }
544   else
545     smtp_had_eof = 1;
546   return FALSE;
547   }
548 #ifndef DISABLE_DKIM
549 dkim_exim_verify_feed(smtp_inbuffer, rc);
550 #endif
551 smtp_inend = smtp_inbuffer + rc;
552 smtp_inptr = smtp_inbuffer;
553 return TRUE;
554 }
555
556 /*************************************************
557 *          SMTP version of getc()                *
558 *************************************************/
559
560 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
561 it flushes the output, and refills the buffer, with a timeout. The signal
562 handler is set appropriately by the calling function. This function is not used
563 after a connection has negotiated itself into an TLS/SSL state.
564
565 Arguments:  lim         Maximum amount to read/buffer
566 Returns:    the next character or EOF
567 */
568
569 int
570 smtp_getc(unsigned lim)
571 {
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(lim))
574     return EOF;
575 return *smtp_inptr++;
576 }
577
578 uschar *
579 smtp_getbuf(unsigned * len)
580 {
581 unsigned size;
582 uschar * buf;
583
584 if (smtp_inptr >= smtp_inend)
585   if (!smtp_refill(*len))
586     { *len = 0; return NULL; }
587
588 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
589 buf = smtp_inptr;
590 smtp_inptr += size;
591 *len = size;
592 return buf;
593 }
594
595 void
596 smtp_get_cache(void)
597 {
598 #ifndef DISABLE_DKIM
599 int n = smtp_inend - smtp_inptr;
600 if (n > 0)
601   dkim_exim_verify_feed(smtp_inptr, n);
602 #endif
603 }
604
605
606 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
607 previous BDAT chunk and getting new ones when we run out.  Uses the
608 underlying smtp_getc or tls_getc both for that and for getting the
609 (buffered) data byte.  EOD signals (an expected) no further data.
610 ERR signals a protocol error, and EOF a closed input stream.
611
612 Called from read_bdat_smtp() in receive.c for the message body, but also
613 by the headers read loop in receive_msg(); manipulates chunking_state
614 to handle the BDAT command/response.
615 Placed here due to the correlation with the above smtp_getc(), which it wraps,
616 and also by the need to do smtp command/response handling.
617
618 Arguments:  lim         (ignored)
619 Returns:    the next character or ERR, EOD or EOF
620 */
621
622 int
623 bdat_getc(unsigned lim)
624 {
625 uschar * user_msg = NULL;
626 uschar * log_msg;
627
628 for(;;)
629   {
630 #ifndef DISABLE_DKIM
631   unsigned dkim_save;
632 #endif
633
634   if (chunking_data_left > 0)
635     return lwr_receive_getc(chunking_data_left--);
636
637   receive_getc = lwr_receive_getc;
638   receive_getbuf = lwr_receive_getbuf;
639   receive_ungetc = lwr_receive_ungetc;
640 #ifndef DISABLE_DKIM
641   dkim_save = dkim_collect_input;
642   dkim_collect_input = 0;
643 #endif
644
645   /* Unless PIPELINING was offered, there should be no next command
646   until after we ack that chunk */
647
648   if (!f.smtp_in_pipelining_advertised && !check_sync())
649     {
650     unsigned n = smtp_inend - smtp_inptr;
651     if (n > 32) n = 32;
652
653     incomplete_transaction_log(US"sync failure");
654     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
655       "(next input sent too soon: pipelining was not advertised): "
656       "rejected \"%s\" %s next input=\"%s\"%s",
657       smtp_cmd_buffer, host_and_ident(TRUE),
658       string_printing(string_copyn(smtp_inptr, n)),
659       smtp_inend - smtp_inptr > n ? "..." : "");
660     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
661       US"SMTP synchronization error");
662     goto repeat_until_rset;
663     }
664
665   /* If not the last, ack the received chunk.  The last response is delayed
666   until after the data ACL decides on it */
667
668   if (chunking_state == CHUNKING_LAST)
669     {
670 #ifndef DISABLE_DKIM
671     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
672 #endif
673     return EOD;
674     }
675
676   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
677   chunking_state = CHUNKING_OFFERED;
678   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
679
680   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
681   QUIT, RSET or NOOP but handling them seems obvious */
682
683 next_cmd:
684   switch(smtp_read_command(TRUE, 1))
685     {
686     default:
687       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
688         US"only BDAT permissible after non-LAST BDAT");
689
690   repeat_until_rset:
691       switch(smtp_read_command(TRUE, 1))
692         {
693         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
694         case EOF_CMD:   return EOF;
695         case RSET_CMD:  smtp_rset_handler(); return ERR;
696         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
697                                           US"only RSET accepted now") > 0)
698                           return EOF;
699                         goto repeat_until_rset;
700         }
701
702     case QUIT_CMD:
703       smtp_quit_handler(&user_msg, &log_msg);
704       /*FALLTHROUGH*/
705     case EOF_CMD:
706       return EOF;
707
708     case RSET_CMD:
709       smtp_rset_handler();
710       return ERR;
711
712     case NOOP_CMD:
713       HAD(SCH_NOOP);
714       smtp_printf("250 OK\r\n", FALSE);
715       goto next_cmd;
716
717     case BDAT_CMD:
718       {
719       int n;
720
721       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
722         {
723         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
724           US"missing size for BDAT command");
725         return ERR;
726         }
727       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
728         ? CHUNKING_LAST : CHUNKING_ACTIVE;
729       chunking_data_left = chunking_datasize;
730       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
731                                     (int)chunking_state, chunking_data_left);
732
733       if (chunking_datasize == 0)
734         if (chunking_state == CHUNKING_LAST)
735           return EOD;
736         else
737           {
738           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
739             US"zero size for BDAT command");
740           goto repeat_until_rset;
741           }
742
743       receive_getc = bdat_getc;
744       receive_getbuf = bdat_getbuf;     /* r~getbuf is never actually used */
745       receive_ungetc = bdat_ungetc;
746 #ifndef DISABLE_DKIM
747       dkim_collect_input = dkim_save;
748 #endif
749       break;    /* to top of main loop */
750       }
751     }
752   }
753 }
754
755 uschar *
756 bdat_getbuf(unsigned * len)
757 {
758 uschar * buf;
759
760 if (chunking_data_left <= 0)
761   { *len = 0; return NULL; }
762
763 if (*len > chunking_data_left) *len = chunking_data_left;
764 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
765 chunking_data_left -= *len;
766 return buf;
767 }
768
769 void
770 bdat_flush_data(void)
771 {
772 while (chunking_data_left)
773   {
774   unsigned n = chunking_data_left;
775   if (!bdat_getbuf(&n)) break;
776   }
777
778 receive_getc = lwr_receive_getc;
779 receive_getbuf = lwr_receive_getbuf;
780 receive_ungetc = lwr_receive_ungetc;
781
782 if (chunking_state != CHUNKING_LAST)
783   {
784   chunking_state = CHUNKING_OFFERED;
785   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
786   }
787 }
788
789
790
791
792 /*************************************************
793 *          SMTP version of ungetc()              *
794 *************************************************/
795
796 /* Puts a character back in the input buffer. Only ever
797 called once.
798
799 Arguments:
800   ch           the character
801
802 Returns:       the character
803 */
804
805 int
806 smtp_ungetc(int ch)
807 {
808 *--smtp_inptr = ch;
809 return ch;
810 }
811
812
813 int
814 bdat_ungetc(int ch)
815 {
816 chunking_data_left++;
817 return lwr_receive_ungetc(ch);
818 }
819
820
821
822 /*************************************************
823 *          SMTP version of feof()                *
824 *************************************************/
825
826 /* Tests for a previous EOF
827
828 Arguments:     none
829 Returns:       non-zero if the eof flag is set
830 */
831
832 int
833 smtp_feof(void)
834 {
835 return smtp_had_eof;
836 }
837
838
839
840
841 /*************************************************
842 *          SMTP version of ferror()              *
843 *************************************************/
844
845 /* Tests for a previous read error, and returns with errno
846 restored to what it was when the error was detected.
847
848 Arguments:     none
849 Returns:       non-zero if the error flag is set
850 */
851
852 int
853 smtp_ferror(void)
854 {
855 errno = smtp_had_error;
856 return smtp_had_error;
857 }
858
859
860
861 /*************************************************
862 *      Test for characters in the SMTP buffer    *
863 *************************************************/
864
865 /* Used at the end of a message
866
867 Arguments:     none
868 Returns:       TRUE/FALSE
869 */
870
871 BOOL
872 smtp_buffered(void)
873 {
874 return smtp_inptr < smtp_inend;
875 }
876
877
878
879 /*************************************************
880 *     Write formatted string to SMTP channel     *
881 *************************************************/
882
883 /* This is a separate function so that we don't have to repeat everything for
884 TLS support or debugging. It is global so that the daemon and the
885 authentication functions can use it. It does not return any error indication,
886 because major problems such as dropped connections won't show up till an output
887 flush for non-TLS connections. The smtp_fflush() function is available for
888 checking that: for convenience, TLS output errors are remembered here so that
889 they are also picked up later by smtp_fflush().
890
891 Arguments:
892   format      format string
893   more        further data expected
894   ...         optional arguments
895
896 Returns:      nothing
897 */
898
899 void
900 smtp_printf(const char *format, BOOL more, ...)
901 {
902 va_list ap;
903
904 va_start(ap, more);
905 smtp_vprintf(format, more, ap);
906 va_end(ap);
907 }
908
909 /* This is split off so that verify.c:respond_printf() can, in effect, call
910 smtp_printf(), bearing in mind that in C a vararg function can't directly
911 call another vararg function, only a function which accepts a va_list. */
912
913 void
914 smtp_vprintf(const char *format, BOOL more, va_list ap)
915 {
916 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
917 BOOL yield;
918
919 yield = !! string_vformat(&gs, FALSE, format, ap);
920 string_from_gstring(&gs);
921
922 DEBUG(D_receive)
923   {
924   void *reset_point = store_get(0);
925   uschar *msg_copy, *cr, *end;
926   msg_copy = string_copy(gs.s);
927   end = msg_copy + gs.ptr;
928   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
929     memmove(cr, cr + 1, (end--) - cr);
930   debug_printf("SMTP>> %s", msg_copy);
931   store_reset(reset_point);
932   }
933
934 if (!yield)
935   {
936   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
937   smtp_closedown(US"Unexpected error");
938   exim_exit(EXIT_FAILURE, NULL);
939   }
940
941 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
942 have had the same. Note: this code is also present in smtp_respond(). It would
943 be tidier to have it only in one place, but when it was added, it was easier to
944 do it that way, so as not to have to mess with the code for the RCPT command,
945 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
946
947 if (fl.rcpt_in_progress)
948   {
949   if (rcpt_smtp_response == NULL)
950     rcpt_smtp_response = string_copy(big_buffer);
951   else if (fl.rcpt_smtp_response_same &&
952            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
953     fl.rcpt_smtp_response_same = FALSE;
954   fl.rcpt_in_progress = FALSE;
955   }
956
957 /* Now write the string */
958
959 #ifdef SUPPORT_TLS
960 if (tls_in.active.sock >= 0)
961   {
962   if (tls_write(NULL, gs.s, gs.ptr, more) < 0)
963     smtp_write_error = -1;
964   }
965 else
966 #endif
967
968 if (fprintf(smtp_out, "%s", gs.s) < 0) smtp_write_error = -1;
969 }
970
971
972
973 /*************************************************
974 *        Flush SMTP out and check for error      *
975 *************************************************/
976
977 /* This function isn't currently used within Exim (it detects errors when it
978 tries to read the next SMTP input), but is available for use in local_scan().
979 For non-TLS connections, it flushes the output and checks for errors. For
980 TLS-connections, it checks for a previously-detected TLS write error.
981
982 Arguments:  none
983 Returns:    0 for no error; -1 after an error
984 */
985
986 int
987 smtp_fflush(void)
988 {
989 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
990 return smtp_write_error;
991 }
992
993
994
995 /*************************************************
996 *          SMTP command read timeout             *
997 *************************************************/
998
999 /* Signal handler for timing out incoming SMTP commands. This attempts to
1000 finish off tidily.
1001
1002 Argument: signal number (SIGALRM)
1003 Returns:  nothing
1004 */
1005
1006 static void
1007 command_timeout_handler(int sig)
1008 {
1009 had_command_timeout = sig;
1010 }
1011
1012
1013
1014 /*************************************************
1015 *               SIGTERM received                 *
1016 *************************************************/
1017
1018 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1019
1020 Argument: signal number (SIGTERM)
1021 Returns:  nothing
1022 */
1023
1024 static void
1025 command_sigterm_handler(int sig)
1026 {
1027 had_command_sigterm = sig;
1028 }
1029
1030
1031
1032
1033 #ifdef SUPPORT_PROXY
1034 /*************************************************
1035 *     Restore socket timeout to previous value   *
1036 *************************************************/
1037 /* If the previous value was successfully retrieved, restore
1038 it before returning control to the non-proxy routines
1039
1040 Arguments: fd     - File descriptor for input
1041            get_ok - Successfully retrieved previous values
1042            tvtmp  - Time struct with previous values
1043            vslen  - Length of time struct
1044 Returns:   none
1045 */
1046 static void
1047 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1048 {
1049 if (get_ok == 0)
1050   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1051 }
1052
1053 /*************************************************
1054 *       Check if host is required proxy host     *
1055 *************************************************/
1056 /* The function determines if inbound host will be a regular smtp host
1057 or if it is configured that it must use Proxy Protocol.  A local
1058 connection cannot.
1059
1060 Arguments: none
1061 Returns:   bool
1062 */
1063
1064 static BOOL
1065 check_proxy_protocol_host()
1066 {
1067 int rc;
1068
1069 if (  sender_host_address
1070    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1071                            sender_host_address, NULL)) == OK)
1072   {
1073   DEBUG(D_receive)
1074     debug_printf("Detected proxy protocol configured host\n");
1075   proxy_session = TRUE;
1076   }
1077 return proxy_session;
1078 }
1079
1080
1081 /*************************************************
1082 *    Read data until newline or end of buffer    *
1083 *************************************************/
1084 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1085 read an entire buffer and assume there will be nothing past a proxy protocol
1086 header.  Our approach normally is to use stdio, but again that relies upon
1087 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1088 reading _nothing_ before client TLS handshake.  So we don't want to use the
1089 usual buffering reads which may read enough to block TLS starting.
1090
1091 So unfortunately we're down to "read one byte at a time, with a syscall each,
1092 and expect a little overhead", for all proxy-opened connections which are v1,
1093 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1094 underlying fd, we can't assume that we can feed them any already-read content.
1095
1096 We need to know where to read to, the max capacity, and we'll read until we
1097 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1098
1099 Return the amount read.
1100 */
1101
1102 static int
1103 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1104 {
1105 uschar *to = base + already;
1106 uschar *cr;
1107 int have = 0;
1108 int ret;
1109 int last = 0;
1110
1111 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1112 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1113
1114 cr = memchr(base, '\r', already);
1115 if (cr != NULL)
1116   {
1117   if ((cr - base) < already - 1)
1118     {
1119     /* \r and presumed \n already within what we have; probably not
1120     actually proxy protocol, but abort cleanly. */
1121     return 0;
1122     }
1123   /* \r is last character read, just need one more. */
1124   last = 1;
1125   }
1126
1127 while (capacity > 0)
1128   {
1129   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1130   if (ret == -1)
1131     return -1;
1132   have++;
1133   if (last)
1134     return have;
1135   if (*to == '\r')
1136     last = 1;
1137   capacity--;
1138   to++;
1139   }
1140
1141 /* reached end without having room for a final newline, abort */
1142 errno = EOVERFLOW;
1143 return -1;
1144 }
1145
1146 /*************************************************
1147 *         Setup host for proxy protocol          *
1148 *************************************************/
1149 /* The function configures the connection based on a header from the
1150 inbound host to use Proxy Protocol. The specification is very exact
1151 so exit with an error if do not find the exact required pieces. This
1152 includes an incorrect number of spaces separating args.
1153
1154 Arguments: none
1155 Returns:   Boolean success
1156 */
1157
1158 static void
1159 setup_proxy_protocol_host()
1160 {
1161 union {
1162   struct {
1163     uschar line[108];
1164   } v1;
1165   struct {
1166     uschar sig[12];
1167     uint8_t ver_cmd;
1168     uint8_t fam;
1169     uint16_t len;
1170     union {
1171       struct { /* TCP/UDP over IPv4, len = 12 */
1172         uint32_t src_addr;
1173         uint32_t dst_addr;
1174         uint16_t src_port;
1175         uint16_t dst_port;
1176       } ip4;
1177       struct { /* TCP/UDP over IPv6, len = 36 */
1178         uint8_t  src_addr[16];
1179         uint8_t  dst_addr[16];
1180         uint16_t src_port;
1181         uint16_t dst_port;
1182       } ip6;
1183       struct { /* AF_UNIX sockets, len = 216 */
1184         uschar   src_addr[108];
1185         uschar   dst_addr[108];
1186       } unx;
1187     } addr;
1188   } v2;
1189 } hdr;
1190
1191 /* Temp variables used in PPv2 address:port parsing */
1192 uint16_t tmpport;
1193 char tmpip[INET_ADDRSTRLEN];
1194 struct sockaddr_in tmpaddr;
1195 char tmpip6[INET6_ADDRSTRLEN];
1196 struct sockaddr_in6 tmpaddr6;
1197
1198 /* We can't read "all data until end" because while SMTP is
1199 server-speaks-first, the TLS handshake is client-speaks-first, so for
1200 TLS-on-connect ports the proxy protocol header will usually be immediately
1201 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1202 reinject data for reading by those.  So instead we first read "enough to be
1203 safely read within the header, and figure out how much more to read".
1204 For v1 we will later read to the end-of-line, for v2 we will read based upon
1205 the stated length.
1206
1207 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1208 data is needed total.  For v1, where the line looks like:
1209 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1210
1211 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1212 We seem to support that.  So, if we read 14 octets then we can tell if we're
1213 v2 or v1.  If we're v1, we can continue reading as normal.
1214
1215 If we're v2, we can't slurp up the entire header.  We need the length in the
1216 15th & 16th octets, then to read everything after that.
1217
1218 So to safely handle v1 and v2, with client-sent-first supported correctly,
1219 we have to do a minimum of 3 read calls, not 1.  Eww.
1220 */
1221
1222 #define PROXY_INITIAL_READ 14
1223 #define PROXY_V2_HEADER_SIZE 16
1224 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1225 # error Code bug in sizes of data to read for proxy usage
1226 #endif
1227
1228 int get_ok = 0;
1229 int size, ret;
1230 int fd = fileno(smtp_in);
1231 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1232 uschar * iptype;  /* To display debug info */
1233 struct timeval tv;
1234 struct timeval tvtmp;
1235 socklen_t vslen = sizeof(struct timeval);
1236 BOOL yield = FALSE;
1237
1238 /* Save current socket timeout values */
1239 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1240
1241 /* Proxy Protocol host must send header within a short time
1242 (default 3 seconds) or it's considered invalid */
1243 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1244 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1245 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1246   goto bad;
1247
1248 do
1249   {
1250   /* The inbound host was declared to be a Proxy Protocol host, so
1251   don't do a PEEK into the data, actually slurp up enough to be
1252   "safe". Can't take it all because TLS-on-connect clients follow
1253   immediately with TLS handshake. */
1254   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1255   }
1256   while (ret == -1 && errno == EINTR);
1257
1258 if (ret == -1)
1259   goto proxyfail;
1260
1261 /* For v2, handle reading the length, and then the rest. */
1262 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1263   {
1264   int retmore;
1265   uint8_t ver;
1266
1267   /* First get the length fields. */
1268   do
1269     {
1270     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1271     } while (retmore == -1 && errno == EINTR);
1272   if (retmore == -1)
1273     goto proxyfail;
1274   ret += retmore;
1275
1276   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1277
1278   /* May 2014: haproxy combined the version and command into one byte to
1279   allow two full bytes for the length field in order to proxy SSL
1280   connections.  SSL Proxy is not supported in this version of Exim, but
1281   must still separate values here. */
1282
1283   if (ver != 0x02)
1284     {
1285     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1286     goto proxyfail;
1287     }
1288
1289   /* The v2 header will always be 16 bytes per the spec. */
1290   size = 16 + ntohs(hdr.v2.len);
1291   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1292       size, (int)sizeof(hdr));
1293
1294   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1295   amount that we need.  Double-check that the size is not unreasonable, then
1296   get the rest. */
1297   if (size > sizeof(hdr))
1298     {
1299     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1300     goto proxyfail;
1301     }
1302
1303   do
1304     {
1305     do
1306       {
1307       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1308       } while (retmore == -1 && errno == EINTR);
1309     if (retmore == -1)
1310       goto proxyfail;
1311     ret += retmore;
1312     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1313     } while (ret < size);
1314
1315   } /* end scope for getting rest of data for v2 */
1316
1317 /* At this point: if PROXYv2, we've read the exact size required for all data;
1318 if PROXYv1 then we've read "less than required for any valid line" and should
1319 read the rest". */
1320
1321 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1322   {
1323   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1324
1325   switch (cmd)
1326     {
1327     case 0x01: /* PROXY command */
1328       switch (hdr.v2.fam)
1329         {
1330         case 0x11:  /* TCPv4 address type */
1331           iptype = US"IPv4";
1332           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1333           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1334           if (!string_is_ip_address(US tmpip, NULL))
1335             {
1336             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1337             goto proxyfail;
1338             }
1339           proxy_local_address = sender_host_address;
1340           sender_host_address = string_copy(US tmpip);
1341           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1342           proxy_local_port    = sender_host_port;
1343           sender_host_port    = tmpport;
1344           /* Save dest ip/port */
1345           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1346           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1347           if (!string_is_ip_address(US tmpip, NULL))
1348             {
1349             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1350             goto proxyfail;
1351             }
1352           proxy_external_address = string_copy(US tmpip);
1353           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1354           proxy_external_port  = tmpport;
1355           goto done;
1356         case 0x21:  /* TCPv6 address type */
1357           iptype = US"IPv6";
1358           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1359           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1360           if (!string_is_ip_address(US tmpip6, NULL))
1361             {
1362             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1363             goto proxyfail;
1364             }
1365           proxy_local_address = sender_host_address;
1366           sender_host_address = string_copy(US tmpip6);
1367           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1368           proxy_local_port    = sender_host_port;
1369           sender_host_port    = tmpport;
1370           /* Save dest ip/port */
1371           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1372           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1373           if (!string_is_ip_address(US tmpip6, NULL))
1374             {
1375             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1376             goto proxyfail;
1377             }
1378           proxy_external_address = string_copy(US tmpip6);
1379           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1380           proxy_external_port  = tmpport;
1381           goto done;
1382         default:
1383           DEBUG(D_receive)
1384             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1385                          hdr.v2.fam);
1386           goto proxyfail;
1387         }
1388       /* Unsupported protocol, keep local connection address */
1389       break;
1390     case 0x00: /* LOCAL command */
1391       /* Keep local connection address for LOCAL */
1392       iptype = US"local";
1393       break;
1394     default:
1395       DEBUG(D_receive)
1396         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1397       goto proxyfail;
1398     }
1399   }
1400 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1401   {
1402   uschar *p;
1403   uschar *end;
1404   uschar *sp;     /* Utility variables follow */
1405   int     tmp_port;
1406   int     r2;
1407   char   *endc;
1408
1409   /* get the rest of the line */
1410   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1411   if (r2 == -1)
1412     goto proxyfail;
1413   ret += r2;
1414
1415   p = string_copy(hdr.v1.line);
1416   end = memchr(p, '\r', ret - 1);
1417
1418   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1419     {
1420     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1421     goto proxyfail;
1422     }
1423   *end = '\0'; /* Terminate the string */
1424   size = end + 2 - p; /* Skip header + CRLF */
1425   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1426   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1427   /* Step through the string looking for the required fields. Ensure
1428   strict adherence to required formatting, exit for any error. */
1429   p += 5;
1430   if (!isspace(*(p++)))
1431     {
1432     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1433     goto proxyfail;
1434     }
1435   if (!Ustrncmp(p, CCS"TCP4", 4))
1436     iptype = US"IPv4";
1437   else if (!Ustrncmp(p,CCS"TCP6", 4))
1438     iptype = US"IPv6";
1439   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1440     {
1441     iptype = US"Unknown";
1442     goto done;
1443     }
1444   else
1445     {
1446     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1447     goto proxyfail;
1448     }
1449
1450   p += Ustrlen(iptype);
1451   if (!isspace(*(p++)))
1452     {
1453     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1454     goto proxyfail;
1455     }
1456   /* Find the end of the arg */
1457   if ((sp = Ustrchr(p, ' ')) == NULL)
1458     {
1459     DEBUG(D_receive)
1460       debug_printf("Did not find proxied src %s\n", iptype);
1461     goto proxyfail;
1462     }
1463   *sp = '\0';
1464   if(!string_is_ip_address(p, NULL))
1465     {
1466     DEBUG(D_receive)
1467       debug_printf("Proxied src arg is not an %s address\n", iptype);
1468     goto proxyfail;
1469     }
1470   proxy_local_address = sender_host_address;
1471   sender_host_address = p;
1472   p = sp + 1;
1473   if ((sp = Ustrchr(p, ' ')) == NULL)
1474     {
1475     DEBUG(D_receive)
1476       debug_printf("Did not find proxy dest %s\n", iptype);
1477     goto proxyfail;
1478     }
1479   *sp = '\0';
1480   if(!string_is_ip_address(p, NULL))
1481     {
1482     DEBUG(D_receive)
1483       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1484     goto proxyfail;
1485     }
1486   proxy_external_address = p;
1487   p = sp + 1;
1488   if ((sp = Ustrchr(p, ' ')) == NULL)
1489     {
1490     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1491     goto proxyfail;
1492     }
1493   *sp = '\0';
1494   tmp_port = strtol(CCS p, &endc, 10);
1495   if (*endc || tmp_port == 0)
1496     {
1497     DEBUG(D_receive)
1498       debug_printf("Proxied src port '%s' not an integer\n", p);
1499     goto proxyfail;
1500     }
1501   proxy_local_port = sender_host_port;
1502   sender_host_port = tmp_port;
1503   p = sp + 1;
1504   if ((sp = Ustrchr(p, '\0')) == NULL)
1505     {
1506     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1507     goto proxyfail;
1508     }
1509   tmp_port = strtol(CCS p, &endc, 10);
1510   if (*endc || tmp_port == 0)
1511     {
1512     DEBUG(D_receive)
1513       debug_printf("Proxy dest port '%s' not an integer\n", p);
1514     goto proxyfail;
1515     }
1516   proxy_external_port = tmp_port;
1517   /* Already checked for /r /n above. Good V1 header received. */
1518   }
1519 else
1520   {
1521   /* Wrong protocol */
1522   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1523   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1524   goto proxyfail;
1525   }
1526
1527 done:
1528   DEBUG(D_receive)
1529     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1530   yield = proxy_session;
1531
1532 /* Don't flush any potential buffer contents. Any input on proxyfail
1533 should cause a synchronization failure */
1534
1535 proxyfail:
1536   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1537
1538 bad:
1539   if (yield)
1540     {
1541     sender_host_name = NULL;
1542     (void) host_name_lookup();
1543     host_build_sender_fullhost();
1544     }
1545   else
1546     {
1547     f.proxy_session_failed = TRUE;
1548     DEBUG(D_receive)
1549       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1550     }
1551
1552 return;
1553 }
1554 #endif
1555
1556 /*************************************************
1557 *           Read one command line                *
1558 *************************************************/
1559
1560 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1561 There are sites that don't do this, and in any case internal SMTP probably
1562 should check only for LF. Consequently, we check here for LF only. The line
1563 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1564 an unknown command. The command is read into the global smtp_cmd_buffer so that
1565 it is available via $smtp_command.
1566
1567 The character reading routine sets up a timeout for each block actually read
1568 from the input (which may contain more than one command). We set up a special
1569 signal handler that closes down the session on a timeout. Control does not
1570 return when it runs.
1571
1572 Arguments:
1573   check_sync    if TRUE, check synchronization rules if global option is TRUE
1574   buffer_lim    maximum to buffer in lower layer
1575
1576 Returns:       a code identifying the command (enumerated above)
1577 */
1578
1579 static int
1580 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1581 {
1582 int c;
1583 int ptr = 0;
1584 smtp_cmd_list *p;
1585 BOOL hadnull = FALSE;
1586
1587 had_command_timeout = 0;
1588 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1589
1590 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1591   {
1592   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1593     {
1594     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1595     return OTHER_CMD;
1596     }
1597   if (c == 0)
1598     {
1599     hadnull = TRUE;
1600     c = '?';
1601     }
1602   smtp_cmd_buffer[ptr++] = c;
1603   }
1604
1605 receive_linecount++;    /* For BSMTP errors */
1606 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1607
1608 /* If hit end of file, return pseudo EOF command. Whether we have a
1609 part-line already read doesn't matter, since this is an error state. */
1610
1611 if (c == EOF) return EOF_CMD;
1612
1613 /* Remove any CR and white space at the end of the line, and terminate the
1614 string. */
1615
1616 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1617 smtp_cmd_buffer[ptr] = 0;
1618
1619 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1620
1621 /* NULLs are not allowed in SMTP commands */
1622
1623 if (hadnull) return BADCHAR_CMD;
1624
1625 /* Scan command list and return identity, having set the data pointer
1626 to the start of the actual data characters. Check for SMTP synchronization
1627 if required. */
1628
1629 for (p = cmd_list; p < cmd_list_end; p++)
1630   {
1631 #ifdef SUPPORT_PROXY
1632   /* Only allow QUIT command if Proxy Protocol parsing failed */
1633   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1634     continue;
1635 #endif
1636   if (  p->len
1637      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1638      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1639         || smtp_cmd_buffer[p->len] == 0
1640         || smtp_cmd_buffer[p->len] == ' '
1641      )  )
1642     {
1643     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1644         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1645         check_sync &&                                  /* Local flag set */
1646         smtp_enforce_sync &&                           /* Global flag set */
1647         sender_host_address != NULL &&                 /* Not local input */
1648         !f.sender_host_notsocket)                        /* Really is a socket */
1649       return BADSYN_CMD;
1650
1651     /* The variables $smtp_command and $smtp_command_argument point into the
1652     unmodified input buffer. A copy of the latter is taken for actual
1653     processing, so that it can be chopped up into separate parts if necessary,
1654     for example, when processing a MAIL command options such as SIZE that can
1655     follow the sender address. */
1656
1657     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1658     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1659     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1660     smtp_cmd_data = smtp_data_buffer;
1661
1662     /* Count non-mail commands from those hosts that are controlled in this
1663     way. The default is all hosts. We don't waste effort checking the list
1664     until we get a non-mail command, but then cache the result to save checking
1665     again. If there's a DEFER while checking the host, assume it's in the list.
1666
1667     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1668     start of each incoming message by fiddling with the value in the table. */
1669
1670     if (!p->is_mail_cmd)
1671       {
1672       if (count_nonmail == TRUE_UNSET) count_nonmail =
1673         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1674       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1675         return TOO_MANY_NONMAIL_CMD;
1676       }
1677
1678     /* If there is data for a command that does not expect it, generate the
1679     error here. */
1680
1681     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1682     }
1683   }
1684
1685 #ifdef SUPPORT_PROXY
1686 /* Only allow QUIT command if Proxy Protocol parsing failed */
1687 if (proxy_session && f.proxy_session_failed)
1688   return PROXY_FAIL_IGNORE_CMD;
1689 #endif
1690
1691 /* Enforce synchronization for unknown commands */
1692
1693 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1694    && check_sync                        /* Local flag set */
1695    && smtp_enforce_sync                 /* Global flag set */
1696    && sender_host_address               /* Not local input */
1697    && !f.sender_host_notsocket)         /* Really is a socket */
1698   return BADSYN_CMD;
1699
1700 return OTHER_CMD;
1701 }
1702
1703
1704
1705 /*************************************************
1706 *          Forced closedown of call              *
1707 *************************************************/
1708
1709 /* This function is called from log.c when Exim is dying because of a serious
1710 disaster, and also from some other places. If an incoming non-batched SMTP
1711 channel is open, it swallows the rest of the incoming message if in the DATA
1712 phase, sends the reply string, and gives an error to all subsequent commands
1713 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1714 smtp_in.
1715
1716 Arguments:
1717   message   SMTP reply string to send, excluding the code
1718
1719 Returns:    nothing
1720 */
1721
1722 void
1723 smtp_closedown(uschar *message)
1724 {
1725 if (!smtp_in || smtp_batched_input) return;
1726 receive_swallow_smtp();
1727 smtp_printf("421 %s\r\n", FALSE, message);
1728
1729 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1730   {
1731   case EOF_CMD:
1732     return;
1733
1734   case QUIT_CMD:
1735     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1736     mac_smtp_fflush();
1737     return;
1738
1739   case RSET_CMD:
1740     smtp_printf("250 Reset OK\r\n", FALSE);
1741     break;
1742
1743   default:
1744     smtp_printf("421 %s\r\n", FALSE, message);
1745     break;
1746   }
1747 }
1748
1749
1750
1751
1752 /*************************************************
1753 *        Set up connection info for logging      *
1754 *************************************************/
1755
1756 /* This function is called when logging information about an SMTP connection.
1757 It sets up appropriate source information, depending on the type of connection.
1758 If sender_fullhost is NULL, we are at a very early stage of the connection;
1759 just use the IP address.
1760
1761 Argument:    none
1762 Returns:     a string describing the connection
1763 */
1764
1765 uschar *
1766 smtp_get_connection_info(void)
1767 {
1768 const uschar * hostname = sender_fullhost
1769   ? sender_fullhost : sender_host_address;
1770
1771 if (host_checking)
1772   return string_sprintf("SMTP connection from %s", hostname);
1773
1774 if (f.sender_host_unknown || f.sender_host_notsocket)
1775   return string_sprintf("SMTP connection from %s", sender_ident);
1776
1777 if (f.is_inetd)
1778   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1779
1780 if (LOGGING(incoming_interface) && interface_address)
1781   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1782     interface_address, interface_port);
1783
1784 return string_sprintf("SMTP connection from %s", hostname);
1785 }
1786
1787
1788
1789 #ifdef SUPPORT_TLS
1790 /* Append TLS-related information to a log line
1791
1792 Arguments:
1793   g             String under construction: allocated string to extend, or NULL
1794
1795 Returns:        Allocated string or NULL
1796 */
1797 static gstring *
1798 s_tlslog(gstring * g)
1799 {
1800 if (LOGGING(tls_cipher) && tls_in.cipher)
1801   g = string_append(g, 2, US" X=", tls_in.cipher);
1802 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1803   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1804 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1805   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1806 if (LOGGING(tls_sni) && tls_in.sni)
1807   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1808 return g;
1809 }
1810 #endif
1811
1812 /*************************************************
1813 *      Log lack of MAIL if so configured         *
1814 *************************************************/
1815
1816 /* This function is called when an SMTP session ends. If the log selector
1817 smtp_no_mail is set, write a log line giving some details of what has happened
1818 in the SMTP session.
1819
1820 Arguments:   none
1821 Returns:     nothing
1822 */
1823
1824 void
1825 smtp_log_no_mail(void)
1826 {
1827 int i;
1828 uschar * sep, * s;
1829 gstring * g = NULL;
1830
1831 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1832   return;
1833
1834 if (sender_host_authenticated)
1835   {
1836   g = string_append(g, 2, US" A=", sender_host_authenticated);
1837   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1838   }
1839
1840 #ifdef SUPPORT_TLS
1841 g = s_tlslog(g);
1842 #endif
1843
1844 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1845
1846 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1847   if (smtp_connection_had[i] != SCH_NONE)
1848     {
1849     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850     sep = US",";
1851     }
1852
1853 for (i = 0; i < smtp_ch_index; i++)
1854   {
1855   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1856   sep = US",";
1857   }
1858
1859 if (!(s = string_from_gstring(g))) s = US"";
1860
1861 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1862   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1863   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1864 }
1865
1866
1867 /* Return list of recent smtp commands */
1868
1869 uschar *
1870 smtp_cmd_hist(void)
1871 {
1872 int  i;
1873 gstring * list = NULL;
1874 uschar * s;
1875
1876 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1877   if (smtp_connection_had[i] != SCH_NONE)
1878     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1879
1880 for (i = 0; i < smtp_ch_index; i++)
1881   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1882
1883 s = string_from_gstring(list);
1884 return s ? s : US"";
1885 }
1886
1887
1888
1889
1890 /*************************************************
1891 *   Check HELO line and set sender_helo_name     *
1892 *************************************************/
1893
1894 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1895 the domain name of the sending host, or an ip literal in square brackets. The
1896 argument is placed in sender_helo_name, which is in malloc store, because it
1897 must persist over multiple incoming messages. If helo_accept_junk is set, this
1898 host is permitted to send any old junk (needed for some broken hosts).
1899 Otherwise, helo_allow_chars can be used for rogue characters in general
1900 (typically people want to let in underscores).
1901
1902 Argument:
1903   s       the data portion of the line (already past any white space)
1904
1905 Returns:  TRUE or FALSE
1906 */
1907
1908 static BOOL
1909 check_helo(uschar *s)
1910 {
1911 uschar *start = s;
1912 uschar *end = s + Ustrlen(s);
1913 BOOL yield = fl.helo_accept_junk;
1914
1915 /* Discard any previous helo name */
1916
1917 if (sender_helo_name)
1918   {
1919   store_free(sender_helo_name);
1920   sender_helo_name = NULL;
1921   }
1922
1923 /* Skip tests if junk is permitted. */
1924
1925 if (!yield)
1926
1927   /* Allow the new standard form for IPv6 address literals, namely,
1928   [IPv6:....], and because someone is bound to use it, allow an equivalent
1929   IPv4 form. Allow plain addresses as well. */
1930
1931   if (*s == '[')
1932     {
1933     if (end[-1] == ']')
1934       {
1935       end[-1] = 0;
1936       if (strncmpic(s, US"[IPv6:", 6) == 0)
1937         yield = (string_is_ip_address(s+6, NULL) == 6);
1938       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1939         yield = (string_is_ip_address(s+6, NULL) == 4);
1940       else
1941         yield = (string_is_ip_address(s+1, NULL) != 0);
1942       end[-1] = ']';
1943       }
1944     }
1945
1946   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1947   that have been configured (usually underscore - sigh). */
1948
1949   else if (*s)
1950     for (yield = TRUE; *s; s++)
1951       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1952           Ustrchr(helo_allow_chars, *s) == NULL)
1953         {
1954         yield = FALSE;
1955         break;
1956         }
1957
1958 /* Save argument if OK */
1959
1960 if (yield) sender_helo_name = string_copy_malloc(start);
1961 return yield;
1962 }
1963
1964
1965
1966
1967
1968 /*************************************************
1969 *         Extract SMTP command option            *
1970 *************************************************/
1971
1972 /* This function picks the next option setting off the end of smtp_cmd_data. It
1973 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1974 things that can appear there.
1975
1976 Arguments:
1977    name           point this at the name
1978    value          point this at the data string
1979
1980 Returns:          TRUE if found an option
1981 */
1982
1983 static BOOL
1984 extract_option(uschar **name, uschar **value)
1985 {
1986 uschar *n;
1987 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1988 while (isspace(*v)) v--;
1989 v[1] = 0;
1990 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1991   {
1992   /* Take care to not stop at a space embedded in a quoted local-part */
1993
1994   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1995   v--;
1996   }
1997
1998 n = v;
1999 if (*v == '=')
2000   {
2001   while(isalpha(n[-1])) n--;
2002   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2003   if (!isspace(n[-1])) return FALSE;
2004   n[-1] = 0;
2005   }
2006 else
2007   {
2008   n++;
2009   if (v == smtp_cmd_data) return FALSE;
2010   }
2011 *v++ = 0;
2012 *name = n;
2013 *value = v;
2014 return TRUE;
2015 }
2016
2017
2018
2019
2020
2021 /*************************************************
2022 *         Reset for new message                  *
2023 *************************************************/
2024
2025 /* This function is called whenever the SMTP session is reset from
2026 within either of the setup functions; also from the daemon loop.
2027
2028 Argument:   the stacking pool storage reset point
2029 Returns:    nothing
2030 */
2031
2032 void
2033 smtp_reset(void *reset_point)
2034 {
2035 recipients_list = NULL;
2036 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2037   raw_recipients_count = recipients_count = recipients_list_max = 0;
2038 message_linecount = 0;
2039 message_size = -1;
2040 acl_added_headers = NULL;
2041 acl_removed_headers = NULL;
2042 f.queue_only_policy = FALSE;
2043 rcpt_smtp_response = NULL;
2044 fl.rcpt_smtp_response_same = TRUE;
2045 fl.rcpt_in_progress = FALSE;
2046 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2047 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2048 fake_response = OK;                                  /* Can be set by ACL */
2049 #ifdef WITH_CONTENT_SCAN
2050 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2051 #endif
2052 f.submission_mode = FALSE;                             /* Can be set by ACL */
2053 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2054 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2055 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2056 sending_ip_address = NULL;
2057 return_path = sender_address = NULL;
2058 sender_data = NULL;                                  /* Can be set by ACL */
2059 deliver_localpart_parent = deliver_localpart_orig = NULL;
2060 deliver_domain_parent = deliver_domain_orig = NULL;
2061 callout_address = NULL;
2062 submission_name = NULL;                              /* Can be set by ACL */
2063 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2064 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2065 sender_verified_list = NULL;        /* No senders verified */
2066 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2067 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2068
2069 authenticated_sender = NULL;
2070 #ifdef EXPERIMENTAL_BRIGHTMAIL
2071 bmi_run = 0;
2072 bmi_verdicts = NULL;
2073 #endif
2074 dnslist_domain = dnslist_matched = NULL;
2075 #ifdef SUPPORT_SPF
2076 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2077 spf_result_guessed = FALSE;
2078 #endif
2079 #ifndef DISABLE_DKIM
2080 dkim_cur_signer = dkim_signers =
2081 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2082 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2083 f.dkim_disable_verify = FALSE;
2084 dkim_collect_input = 0;
2085 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2086 dkim_key_length = 0;
2087 #endif
2088 #ifdef EXPERIMENTAL_DMARC
2089 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2090 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2091 dmarc_used_domain = NULL;
2092 #endif
2093 #ifdef EXPERIMENTAL_ARC
2094 arc_state = arc_state_reason = NULL;
2095 #endif
2096 dsn_ret = 0;
2097 dsn_envid = NULL;
2098 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2099 #ifndef DISABLE_PRDR
2100 prdr_requested = FALSE;
2101 #endif
2102 #ifdef SUPPORT_I18N
2103 message_smtputf8 = FALSE;
2104 #endif
2105 body_linecount = body_zerocount = 0;
2106
2107 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2108 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2109                    /* Note that ratelimiters_conn persists across resets. */
2110
2111 /* Reset message ACL variables */
2112
2113 acl_var_m = NULL;
2114
2115 /* The message body variables use malloc store. They may be set if this is
2116 not the first message in an SMTP session and the previous message caused them
2117 to be referenced in an ACL. */
2118
2119 if (message_body)
2120   {
2121   store_free(message_body);
2122   message_body = NULL;
2123   }
2124
2125 if (message_body_end)
2126   {
2127   store_free(message_body_end);
2128   message_body_end = NULL;
2129   }
2130
2131 /* Warning log messages are also saved in malloc store. They are saved to avoid
2132 repetition in the same message, but it seems right to repeat them for different
2133 messages. */
2134
2135 while (acl_warn_logged)
2136   {
2137   string_item *this = acl_warn_logged;
2138   acl_warn_logged = acl_warn_logged->next;
2139   store_free(this);
2140   }
2141 store_reset(reset_point);
2142 }
2143
2144
2145
2146
2147
2148 /*************************************************
2149 *  Initialize for incoming batched SMTP message  *
2150 *************************************************/
2151
2152 /* This function is called from smtp_setup_msg() in the case when
2153 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2154 of messages in one file with SMTP commands between them. All errors must be
2155 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2156 relevant. After an error on a sender, or an invalid recipient, the remainder
2157 of the message is skipped. The value of received_protocol is already set.
2158
2159 Argument: none
2160 Returns:  > 0 message successfully started (reached DATA)
2161           = 0 QUIT read or end of file reached
2162           < 0 should not occur
2163 */
2164
2165 static int
2166 smtp_setup_batch_msg(void)
2167 {
2168 int done = 0;
2169 void *reset_point = store_get(0);
2170
2171 /* Save the line count at the start of each transaction - single commands
2172 like HELO and RSET count as whole transactions. */
2173
2174 bsmtp_transaction_linecount = receive_linecount;
2175
2176 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2177
2178 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2179 smtp_reset(reset_point);                /* Reset for start of message */
2180
2181 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2182 value. The values are 2 larger than the required yield of the function. */
2183
2184 while (done <= 0)
2185   {
2186   uschar *errmess;
2187   uschar *recipient = NULL;
2188   int start, end, sender_domain, recipient_domain;
2189
2190   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2191     {
2192     /* The HELO/EHLO commands set sender_address_helo if they have
2193     valid data; otherwise they are ignored, except that they do
2194     a reset of the state. */
2195
2196     case HELO_CMD:
2197     case EHLO_CMD:
2198
2199       check_helo(smtp_cmd_data);
2200       /* Fall through */
2201
2202     case RSET_CMD:
2203       cancel_cutthrough_connection(TRUE, US"RSET received");
2204       smtp_reset(reset_point);
2205       bsmtp_transaction_linecount = receive_linecount;
2206       break;
2207
2208
2209     /* The MAIL FROM command requires an address as an operand. All we
2210     do here is to parse it for syntactic correctness. The form "<>" is
2211     a special case which converts into an empty string. The start/end
2212     pointers in the original are not used further for this address, as
2213     it is the canonical extracted address which is all that is kept. */
2214
2215     case MAIL_CMD:
2216       smtp_mailcmd_count++;              /* Count for no-mail log */
2217       if (sender_address != NULL)
2218         /* The function moan_smtp_batch() does not return. */
2219         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2220
2221       if (smtp_cmd_data[0] == 0)
2222         /* The function moan_smtp_batch() does not return. */
2223         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2224
2225       /* Reset to start of message */
2226
2227       cancel_cutthrough_connection(TRUE, US"MAIL received");
2228       smtp_reset(reset_point);
2229
2230       /* Apply SMTP rewrite */
2231
2232       raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2233         rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2234           US"", global_rewrite_rules) : smtp_cmd_data;
2235
2236       /* Extract the address; the TRUE flag allows <> as valid */
2237
2238       raw_sender =
2239         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2240           TRUE);
2241
2242       if (!raw_sender)
2243         /* The function moan_smtp_batch() does not return. */
2244         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2245
2246       sender_address = string_copy(raw_sender);
2247
2248       /* Qualify unqualified sender addresses if permitted to do so. */
2249
2250       if (  !sender_domain
2251          && sender_address[0] != 0 && sender_address[0] != '@')
2252         if (f.allow_unqualified_sender)
2253           {
2254           sender_address = rewrite_address_qualify(sender_address, FALSE);
2255           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2256             "and rewritten\n", raw_sender);
2257           }
2258         /* The function moan_smtp_batch() does not return. */
2259         else
2260           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2261             "a domain");
2262       break;
2263
2264
2265     /* The RCPT TO command requires an address as an operand. All we do
2266     here is to parse it for syntactic correctness. There may be any number
2267     of RCPT TO commands, specifying multiple senders. We build them all into
2268     a data structure that is in argc/argv format. The start/end values
2269     given by parse_extract_address are not used, as we keep only the
2270     extracted address. */
2271
2272     case RCPT_CMD:
2273       if (!sender_address)
2274         /* The function moan_smtp_batch() does not return. */
2275         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2276
2277       if (smtp_cmd_data[0] == 0)
2278         /* The function moan_smtp_batch() does not return. */
2279         moan_smtp_batch(smtp_cmd_buffer,
2280           "501 RCPT TO must have an address operand");
2281
2282       /* Check maximum number allowed */
2283
2284       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2285         /* The function moan_smtp_batch() does not return. */
2286         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2287           recipients_max_reject? "552": "452");
2288
2289       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2290       recipient address */
2291
2292       recipient = rewrite_existflags & rewrite_smtp
2293         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2294                       global_rewrite_rules)
2295         : smtp_cmd_data;
2296
2297       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2298         &recipient_domain, FALSE);
2299
2300       if (!recipient)
2301         /* The function moan_smtp_batch() does not return. */
2302         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2303
2304       /* If the recipient address is unqualified, qualify it if permitted. Then
2305       add it to the list of recipients. */
2306
2307       if (!recipient_domain)
2308         if (f.allow_unqualified_recipient)
2309           {
2310           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2311             recipient);
2312           recipient = rewrite_address_qualify(recipient, TRUE);
2313           }
2314         /* The function moan_smtp_batch() does not return. */
2315         else
2316           moan_smtp_batch(smtp_cmd_buffer,
2317             "501 recipient address must contain a domain");
2318
2319       receive_add_recipient(recipient, -1);
2320       break;
2321
2322
2323     /* The DATA command is legal only if it follows successful MAIL FROM
2324     and RCPT TO commands. This function is complete when a valid DATA
2325     command is encountered. */
2326
2327     case DATA_CMD:
2328       if (!sender_address || recipients_count <= 0)
2329         /* The function moan_smtp_batch() does not return. */
2330         if (!sender_address)
2331           moan_smtp_batch(smtp_cmd_buffer,
2332             "503 MAIL FROM:<sender> command must precede DATA");
2333         else
2334           moan_smtp_batch(smtp_cmd_buffer,
2335             "503 RCPT TO:<recipient> must precede DATA");
2336       else
2337         {
2338         done = 3;                      /* DATA successfully achieved */
2339         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2340         }
2341       break;
2342
2343
2344     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2345
2346     case VRFY_CMD:
2347     case EXPN_CMD:
2348     case HELP_CMD:
2349     case NOOP_CMD:
2350     case ETRN_CMD:
2351       bsmtp_transaction_linecount = receive_linecount;
2352       break;
2353
2354
2355     case EOF_CMD:
2356     case QUIT_CMD:
2357       done = 2;
2358       break;
2359
2360
2361     case BADARG_CMD:
2362       /* The function moan_smtp_batch() does not return. */
2363       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2364       break;
2365
2366
2367     case BADCHAR_CMD:
2368       /* The function moan_smtp_batch() does not return. */
2369       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2370       break;
2371
2372
2373     default:
2374       /* The function moan_smtp_batch() does not return. */
2375       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2376       break;
2377     }
2378   }
2379
2380 return done - 2;  /* Convert yield values */
2381 }
2382
2383
2384
2385
2386 #ifdef SUPPORT_TLS
2387 static BOOL
2388 smtp_log_tls_fail(uschar * errstr)
2389 {
2390 uschar * conn_info = smtp_get_connection_info();
2391
2392 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2393 /* I'd like to get separated H= here, but too hard for now */
2394
2395 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2396 return FALSE;
2397 }
2398 #endif
2399
2400
2401
2402
2403 #ifdef TCP_FASTOPEN
2404 static void
2405 tfo_in_check(void)
2406 {
2407 # ifdef TCP_INFO
2408 struct tcp_info tinfo;
2409 socklen_t len = sizeof(tinfo);
2410
2411 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2412 #ifdef TCPI_OPT_SYN_DATA        /* FreeBSD 11 does not seem to have this yet */
2413   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2414     {
2415     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (ACKd data-on-SYN)\n");
2416     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2417     }
2418   else
2419 #endif
2420     if (tinfo.tcpi_state == TCP_SYN_RECV)
2421     {
2422     DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (state TCP_SYN_RECV)\n");
2423     f.tcp_in_fastopen = TRUE;
2424     }
2425 # endif
2426 }
2427 #endif
2428
2429
2430 /*************************************************
2431 *          Start an SMTP session                 *
2432 *************************************************/
2433
2434 /* This function is called at the start of an SMTP session. Thereafter,
2435 smtp_setup_msg() is called to initiate each separate message. This
2436 function does host-specific testing, and outputs the banner line.
2437
2438 Arguments:     none
2439 Returns:       FALSE if the session can not continue; something has
2440                gone wrong, or the connection to the host is blocked
2441 */
2442
2443 BOOL
2444 smtp_start_session(void)
2445 {
2446 int esclen;
2447 uschar *user_msg, *log_msg;
2448 uschar *code, *esc;
2449 uschar *p, *s;
2450 gstring * ss;
2451
2452 gettimeofday(&smtp_connection_start, NULL);
2453 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2454   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2455 smtp_ch_index = 0;
2456
2457 /* Default values for certain variables */
2458
2459 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2460 smtp_mailcmd_count = 0;
2461 count_nonmail = TRUE_UNSET;
2462 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2463 smtp_delay_mail = smtp_rlm_base;
2464 fl.auth_advertised = FALSE;
2465 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2466 f.pipelining_enable = TRUE;
2467 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2468 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2469
2470 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2471 authentication settings from -oMaa to remain in force. */
2472
2473 if (!host_checking && !f.sender_host_notsocket)
2474   sender_host_auth_pubname = sender_host_authenticated = NULL;
2475 authenticated_by = NULL;
2476
2477 #ifdef SUPPORT_TLS
2478 tls_in.cipher = tls_in.peerdn = NULL;
2479 tls_in.ourcert = tls_in.peercert = NULL;
2480 tls_in.sni = NULL;
2481 tls_in.ocsp = OCSP_NOT_REQ;
2482 fl.tls_advertised = FALSE;
2483 # ifdef EXPERIMENTAL_REQUIRETLS
2484 fl.requiretls_advertised = FALSE;
2485 # endif
2486 #endif
2487 fl.dsn_advertised = FALSE;
2488 #ifdef SUPPORT_I18N
2489 fl.smtputf8_advertised = FALSE;
2490 #endif
2491
2492 /* Reset ACL connection variables */
2493
2494 acl_var_c = NULL;
2495
2496 /* Allow for trailing 0 in the command and data buffers. */
2497
2498 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2499   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2500     "malloc() failed for SMTP command buffer");
2501
2502 smtp_cmd_buffer[0] = 0;
2503 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2504
2505 /* For batched input, the protocol setting can be overridden from the
2506 command line by a trusted caller. */
2507
2508 if (smtp_batched_input)
2509   {
2510   if (!received_protocol) received_protocol = US"local-bsmtp";
2511   }
2512
2513 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2514 reset later if any of EHLO/AUTH/STARTTLS are received. */
2515
2516 else
2517   received_protocol =
2518     (sender_host_address ? protocols : protocols_local) [pnormal];
2519
2520 /* Set up the buffer for inputting using direct read() calls, and arrange to
2521 call the local functions instead of the standard C ones.  Place a NUL at the
2522 end of the buffer to safety-stop C-string reads from it. */
2523
2524 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2525   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2526 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2527
2528 receive_getc = smtp_getc;
2529 receive_getbuf = smtp_getbuf;
2530 receive_get_cache = smtp_get_cache;
2531 receive_ungetc = smtp_ungetc;
2532 receive_feof = smtp_feof;
2533 receive_ferror = smtp_ferror;
2534 receive_smtp_buffered = smtp_buffered;
2535 smtp_inptr = smtp_inend = smtp_inbuffer;
2536 smtp_had_eof = smtp_had_error = 0;
2537
2538 /* Set up the message size limit; this may be host-specific */
2539
2540 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2541 if (expand_string_message)
2542   {
2543   if (thismessage_size_limit == -1)
2544     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2545       "%s", expand_string_message);
2546   else
2547     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2548       "%s", expand_string_message);
2549   smtp_closedown(US"Temporary local problem - please try later");
2550   return FALSE;
2551   }
2552
2553 /* When a message is input locally via the -bs or -bS options, sender_host_
2554 unknown is set unless -oMa was used to force an IP address, in which case it
2555 is checked like a real remote connection. When -bs is used from inetd, this
2556 flag is not set, causing the sending host to be checked. The code that deals
2557 with IP source routing (if configured) is never required for -bs or -bS and
2558 the flag sender_host_notsocket is used to suppress it.
2559
2560 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2561 reserve for certain hosts and/or networks. */
2562
2563 if (!f.sender_host_unknown)
2564   {
2565   int rc;
2566   BOOL reserved_host = FALSE;
2567
2568   /* Look up IP options (source routing info) on the socket if this is not an
2569   -oMa "host", and if any are found, log them and drop the connection.
2570
2571   Linux (and others now, see below) is different to everyone else, so there
2572   has to be some conditional compilation here. Versions of Linux before 2.1.15
2573   used a structure whose name was "options". Somebody finally realized that
2574   this name was silly, and it got changed to "ip_options". I use the
2575   newer name here, but there is a fudge in the script that sets up os.h
2576   to define a macro in older Linux systems.
2577
2578   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2579   glibc 2, which has chosen ip_opts for the structure name. This is now
2580   really a glibc thing rather than a Linux thing, so the condition name
2581   has been changed to reflect this. It is relevant also to GNU/Hurd.
2582
2583   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2584   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2585   a special macro defined in the os.h file.
2586
2587   Some DGUX versions on older hardware appear not to support IP options at
2588   all, so there is now a general macro which can be set to cut out this
2589   support altogether.
2590
2591   How to do this properly in IPv6 is not yet known. */
2592
2593 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2594
2595   #ifdef GLIBC_IP_OPTIONS
2596     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2597     #define OPTSTYLE 1
2598     #else
2599     #define OPTSTYLE 2
2600     #endif
2601   #elif defined DARWIN_IP_OPTIONS
2602     #define OPTSTYLE 2
2603   #else
2604     #define OPTSTYLE 3
2605   #endif
2606
2607   if (!host_checking && !f.sender_host_notsocket)
2608     {
2609     #if OPTSTYLE == 1
2610     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2611     struct ip_options *ipopt = store_get(optlen);
2612     #elif OPTSTYLE == 2
2613     struct ip_opts ipoptblock;
2614     struct ip_opts *ipopt = &ipoptblock;
2615     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2616     #else
2617     struct ipoption ipoptblock;
2618     struct ipoption *ipopt = &ipoptblock;
2619     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2620     #endif
2621
2622     /* Occasional genuine failures of getsockopt() have been seen - for
2623     example, "reset by peer". Therefore, just log and give up on this
2624     call, unless the error is ENOPROTOOPT. This error is given by systems
2625     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2626     of writing. So for that error, carry on - we just can't do an IP options
2627     check. */
2628
2629     DEBUG(D_receive) debug_printf("checking for IP options\n");
2630
2631     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2632           &optlen) < 0)
2633       {
2634       if (errno != ENOPROTOOPT)
2635         {
2636         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2637           host_and_ident(FALSE), strerror(errno));
2638         smtp_printf("451 SMTP service not available\r\n", FALSE);
2639         return FALSE;
2640         }
2641       }
2642
2643     /* Deal with any IP options that are set. On the systems I have looked at,
2644     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2645     more logging data than will fit in big_buffer. Nevertheless, after somebody
2646     questioned this code, I've added in some paranoid checking. */
2647
2648     else if (optlen > 0)
2649       {
2650       uschar *p = big_buffer;
2651       uschar *pend = big_buffer + big_buffer_size;
2652       uschar *opt, *adptr;
2653       int optcount;
2654       struct in_addr addr;
2655
2656       #if OPTSTYLE == 1
2657       uschar *optstart = US (ipopt->__data);
2658       #elif OPTSTYLE == 2
2659       uschar *optstart = US (ipopt->ip_opts);
2660       #else
2661       uschar *optstart = US (ipopt->ipopt_list);
2662       #endif
2663
2664       DEBUG(D_receive) debug_printf("IP options exist\n");
2665
2666       Ustrcpy(p, "IP options on incoming call:");
2667       p += Ustrlen(p);
2668
2669       for (opt = optstart; opt != NULL &&
2670            opt < US (ipopt) + optlen;)
2671         {
2672         switch (*opt)
2673           {
2674           case IPOPT_EOL:
2675           opt = NULL;
2676           break;
2677
2678           case IPOPT_NOP:
2679           opt++;
2680           break;
2681
2682           case IPOPT_SSRR:
2683           case IPOPT_LSRR:
2684           if (!string_format(p, pend-p, " %s [@%s",
2685                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2686                #if OPTSTYLE == 1
2687                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2688                #elif OPTSTYLE == 2
2689                inet_ntoa(ipopt->ip_dst)))
2690                #else
2691                inet_ntoa(ipopt->ipopt_dst)))
2692                #endif
2693             {
2694             opt = NULL;
2695             break;
2696             }
2697
2698           p += Ustrlen(p);
2699           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2700           adptr = opt + 3;
2701           while (optcount-- > 0)
2702             {
2703             memcpy(&addr, adptr, sizeof(addr));
2704             if (!string_format(p, pend - p - 1, "%s%s",
2705                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2706               {
2707               opt = NULL;
2708               break;
2709               }
2710             p += Ustrlen(p);
2711             adptr += sizeof(struct in_addr);
2712             }
2713           *p++ = ']';
2714           opt += opt[1];
2715           break;
2716
2717           default:
2718             {
2719             int i;
2720             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2721             Ustrcat(p, "[ ");
2722             p += 2;
2723             for (i = 0; i < opt[1]; i++)
2724               p += sprintf(CS p, "%2.2x ", opt[i]);
2725             *p++ = ']';
2726             }
2727           opt += opt[1];
2728           break;
2729           }
2730         }
2731
2732       *p = 0;
2733       log_write(0, LOG_MAIN, "%s", big_buffer);
2734
2735       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2736
2737       log_write(0, LOG_MAIN|LOG_REJECT,
2738         "connection from %s refused (IP options)", host_and_ident(FALSE));
2739
2740       smtp_printf("554 SMTP service not available\r\n", FALSE);
2741       return FALSE;
2742       }
2743
2744     /* Length of options = 0 => there are no options */
2745
2746     else DEBUG(D_receive) debug_printf("no IP options found\n");
2747     }
2748 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2749
2750   /* Set keep-alive in socket options. The option is on by default. This
2751   setting is an attempt to get rid of some hanging connections that stick in
2752   read() when the remote end (usually a dialup) goes away. */
2753
2754   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2755     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2756
2757   /* If the current host matches host_lookup, set the name by doing a
2758   reverse lookup. On failure, sender_host_name will be NULL and
2759   host_lookup_failed will be TRUE. This may or may not be serious - optional
2760   checks later. */
2761
2762   if (verify_check_host(&host_lookup) == OK)
2763     {
2764     (void)host_name_lookup();
2765     host_build_sender_fullhost();
2766     }
2767
2768   /* Delay this until we have the full name, if it is looked up. */
2769
2770   set_process_info("handling incoming connection from %s",
2771     host_and_ident(FALSE));
2772
2773   /* Expand smtp_receive_timeout, if needed */
2774
2775   if (smtp_receive_timeout_s)
2776     {
2777     uschar * exp;
2778     if (  !(exp = expand_string(smtp_receive_timeout_s))
2779        || !(*exp)
2780        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2781        )
2782       log_write(0, LOG_MAIN|LOG_PANIC,
2783         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2784     }
2785
2786   /* Test for explicit connection rejection */
2787
2788   if (verify_check_host(&host_reject_connection) == OK)
2789     {
2790     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2791       "from %s (host_reject_connection)", host_and_ident(FALSE));
2792     smtp_printf("554 SMTP service not available\r\n", FALSE);
2793     return FALSE;
2794     }
2795
2796   /* Test with TCP Wrappers if so configured. There is a problem in that
2797   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2798   such as disks dying. In these cases, it is desirable to reject with a 4xx
2799   error instead of a 5xx error. There isn't a "right" way to detect such
2800   problems. The following kludge is used: errno is zeroed before calling
2801   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2802   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2803   not exist). */
2804
2805 #ifdef USE_TCP_WRAPPERS
2806   errno = 0;
2807   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2808     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2809       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2810         expand_string_message);
2811
2812   if (!hosts_ctl(tcp_wrappers_name,
2813          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2814          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2815          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2816     {
2817     if (errno == 0 || errno == ENOENT)
2818       {
2819       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2820       log_write(L_connection_reject,
2821                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2822                 "(tcp wrappers)", host_and_ident(FALSE));
2823       smtp_printf("554 SMTP service not available\r\n", FALSE);
2824       }
2825     else
2826       {
2827       int save_errno = errno;
2828       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2829         "errno value %d\n", save_errno);
2830       log_write(L_connection_reject,
2831                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2832                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2833       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2834       }
2835     return FALSE;
2836     }
2837 #endif
2838
2839   /* Check for reserved slots. The value of smtp_accept_count has already been
2840   incremented to include this process. */
2841
2842   if (smtp_accept_max > 0 &&
2843       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2844     {
2845     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2846       {
2847       log_write(L_connection_reject,
2848         LOG_MAIN, "temporarily refused connection from %s: not in "
2849         "reserve list: connected=%d max=%d reserve=%d%s",
2850         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2851         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2852       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2853         "please try again later\r\n", FALSE, smtp_active_hostname);
2854       return FALSE;
2855       }
2856     reserved_host = TRUE;
2857     }
2858
2859   /* If a load level above which only messages from reserved hosts are
2860   accepted is set, check the load. For incoming calls via the daemon, the
2861   check is done in the superior process if there are no reserved hosts, to
2862   save a fork. In all cases, the load average will already be available
2863   in a global variable at this point. */
2864
2865   if (smtp_load_reserve >= 0 &&
2866        load_average > smtp_load_reserve &&
2867        !reserved_host &&
2868        verify_check_host(&smtp_reserve_hosts) != OK)
2869     {
2870     log_write(L_connection_reject,
2871       LOG_MAIN, "temporarily refused connection from %s: not in "
2872       "reserve list and load average = %.2f", host_and_ident(FALSE),
2873       (double)load_average/1000.0);
2874     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2875       smtp_active_hostname);
2876     return FALSE;
2877     }
2878
2879   /* Determine whether unqualified senders or recipients are permitted
2880   for this host. Unfortunately, we have to do this every time, in order to
2881   set the flags so that they can be inspected when considering qualifying
2882   addresses in the headers. For a site that permits no qualification, this
2883   won't take long, however. */
2884
2885   f.allow_unqualified_sender =
2886     verify_check_host(&sender_unqualified_hosts) == OK;
2887
2888   f.allow_unqualified_recipient =
2889     verify_check_host(&recipient_unqualified_hosts) == OK;
2890
2891   /* Determine whether HELO/EHLO is required for this host. The requirement
2892   can be hard or soft. */
2893
2894   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2895   if (!fl.helo_required)
2896     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2897
2898   /* Determine whether this hosts is permitted to send syntactic junk
2899   after a HELO or EHLO command. */
2900
2901   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2902   }
2903
2904 /* For batch SMTP input we are now done. */
2905
2906 if (smtp_batched_input) return TRUE;
2907
2908 /* If valid Proxy Protocol source is connecting, set up session.
2909  * Failure will not allow any SMTP function other than QUIT. */
2910
2911 #ifdef SUPPORT_PROXY
2912 proxy_session = FALSE;
2913 f.proxy_session_failed = FALSE;
2914 if (check_proxy_protocol_host())
2915   setup_proxy_protocol_host();
2916 #endif
2917
2918   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2919   smtps port for use with older style SSL MTAs. */
2920
2921 #ifdef SUPPORT_TLS
2922   if (tls_in.on_connect)
2923     {
2924     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2925       return smtp_log_tls_fail(user_msg);
2926     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2927     }
2928 #endif
2929
2930 /* Run the connect ACL if it exists */
2931
2932 user_msg = NULL;
2933 if (acl_smtp_connect)
2934   {
2935   int rc;
2936   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2937                       &log_msg)) != OK)
2938     {
2939     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2940     return FALSE;
2941     }
2942   }
2943
2944 /* Output the initial message for a two-way SMTP connection. It may contain
2945 newlines, which then cause a multi-line response to be given. */
2946
2947 code = US"220";   /* Default status code */
2948 esc = US"";       /* Default extended status code */
2949 esclen = 0;       /* Length of esc */
2950
2951 if (!user_msg)
2952   {
2953   if (!(s = expand_string(smtp_banner)))
2954     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2955       "failed: %s", smtp_banner, expand_string_message);
2956   }
2957 else
2958   {
2959   int codelen = 3;
2960   s = user_msg;
2961   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2962   if (codelen > 4)
2963     {
2964     esc = code + 4;
2965     esclen = codelen - 4;
2966     }
2967   }
2968
2969 /* Remove any terminating newlines; might as well remove trailing space too */
2970
2971 p = s + Ustrlen(s);
2972 while (p > s && isspace(p[-1])) p--;
2973 *p = 0;
2974
2975 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2976 is all contained in a single IP packet. The original code wrote out the
2977 greeting using several calls to fprint/fputc, and on busy servers this could
2978 cause it to be split over more than one packet - which caused CC:Mail to fall
2979 over when it got the second part of the greeting after sending its first
2980 command. Sigh. To try to avoid this, build the complete greeting message
2981 first, and output it in one fell swoop. This gives a better chance of it
2982 ending up as a single packet. */
2983
2984 ss = string_get(256);
2985
2986 p = s;
2987 do       /* At least once, in case we have an empty string */
2988   {
2989   int len;
2990   uschar *linebreak = Ustrchr(p, '\n');
2991   ss = string_catn(ss, code, 3);
2992   if (!linebreak)
2993     {
2994     len = Ustrlen(p);
2995     ss = string_catn(ss, US" ", 1);
2996     }
2997   else
2998     {
2999     len = linebreak - p;
3000     ss = string_catn(ss, US"-", 1);
3001     }
3002   ss = string_catn(ss, esc, esclen);
3003   ss = string_catn(ss, p, len);
3004   ss = string_catn(ss, US"\r\n", 2);
3005   p += len;
3006   if (linebreak) p++;
3007   }
3008 while (*p);
3009
3010 /* Before we write the banner, check that there is no input pending, unless
3011 this synchronisation check is disabled. */
3012
3013 #ifdef EXPERIMENTAL_PIPE_CONNECT
3014 fl.pipe_connect_acceptable =
3015   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3016
3017 if (!check_sync())
3018   if (fl.pipe_connect_acceptable)
3019     f.smtp_in_early_pipe_used = TRUE;
3020   else
3021 #else
3022 if (!check_sync())
3023 #endif
3024     {
3025     unsigned n = smtp_inend - smtp_inptr;
3026     if (n > 32) n = 32;
3027
3028     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3029       "synchronization error (input sent without waiting for greeting): "
3030       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3031       string_printing(string_copyn(smtp_inptr, n)));
3032     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3033     return FALSE;
3034     }
3035
3036 /* Now output the banner */
3037 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3038
3039 smtp_printf("%s",
3040 #ifdef EXPERIMENTAL_PIPE_CONNECT
3041   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3042 #else
3043   FALSE,
3044 #endif
3045   string_from_gstring(ss));
3046
3047 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3048 handshake arrived.  If so we must have managed a TFO. */
3049
3050 #ifdef TCP_FASTOPEN
3051 tfo_in_check();
3052 #endif
3053
3054 return TRUE;
3055 }
3056
3057
3058
3059
3060
3061 /*************************************************
3062 *     Handle SMTP syntax and protocol errors     *
3063 *************************************************/
3064
3065 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3066 to do so. Then transmit the error response. The return value depends on the
3067 number of syntax and protocol errors in this SMTP session.
3068
3069 Arguments:
3070   type      error type, given as a log flag bit
3071   code      response code; <= 0 means don't send a response
3072   data      data to reflect in the response (can be NULL)
3073   errmess   the error message
3074
3075 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3076             +1   limit of syntax/protocol errors IS exceeded
3077
3078 These values fit in with the values of the "done" variable in the main
3079 processing loop in smtp_setup_msg(). */
3080
3081 static int
3082 synprot_error(int type, int code, uschar *data, uschar *errmess)
3083 {
3084 int yield = -1;
3085
3086 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3087   (type == L_smtp_syntax_error)? "syntax" : "protocol",
3088   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3089
3090 if (++synprot_error_count > smtp_max_synprot_errors)
3091   {
3092   yield = 1;
3093   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3094     "syntax or protocol errors (last command was \"%s\")",
3095     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3096   }
3097
3098 if (code > 0)
3099   {
3100   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3101     data ? data : US"", data ? US": " : US"", errmess);
3102   if (yield == 1)
3103     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3104   }
3105
3106 return yield;
3107 }
3108
3109
3110
3111
3112 /*************************************************
3113 *    Send SMTP response, possibly multiline      *
3114 *************************************************/
3115
3116 /* There are, it seems, broken clients out there that cannot handle multiline
3117 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3118 output nothing for non-final calls, and only the first line for anything else.
3119
3120 Arguments:
3121   code          SMTP code, may involve extended status codes
3122   codelen       length of smtp code; if > 4 there's an ESC
3123   final         FALSE if the last line isn't the final line
3124   msg           message text, possibly containing newlines
3125
3126 Returns:        nothing
3127 */
3128
3129 void
3130 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3131 {
3132 int esclen = 0;
3133 uschar *esc = US"";
3134
3135 if (!final && f.no_multiline_responses) return;
3136
3137 if (codelen > 4)
3138   {
3139   esc = code + 4;
3140   esclen = codelen - 4;
3141   }
3142
3143 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3144 have had the same. Note: this code is also present in smtp_printf(). It would
3145 be tidier to have it only in one place, but when it was added, it was easier to
3146 do it that way, so as not to have to mess with the code for the RCPT command,
3147 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3148
3149 if (fl.rcpt_in_progress)
3150   {
3151   if (rcpt_smtp_response == NULL)
3152     rcpt_smtp_response = string_copy(msg);
3153   else if (fl.rcpt_smtp_response_same &&
3154            Ustrcmp(rcpt_smtp_response, msg) != 0)
3155     fl.rcpt_smtp_response_same = FALSE;
3156   fl.rcpt_in_progress = FALSE;
3157   }
3158
3159 /* Now output the message, splitting it up into multiple lines if necessary.
3160 We only handle pipelining these responses as far as nonfinal/final groups,
3161 not the whole MAIL/RCPT/DATA response set. */
3162
3163 for (;;)
3164   {
3165   uschar *nl = Ustrchr(msg, '\n');
3166   if (nl == NULL)
3167     {
3168     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3169     return;
3170     }
3171   else if (nl[1] == 0 || f.no_multiline_responses)
3172     {
3173     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3174       (int)(nl - msg), msg);
3175     return;
3176     }
3177   else
3178     {
3179     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3180     msg = nl + 1;
3181     while (isspace(*msg)) msg++;
3182     }
3183   }
3184 }
3185
3186
3187
3188
3189 /*************************************************
3190 *            Parse user SMTP message             *
3191 *************************************************/
3192
3193 /* This function allows for user messages overriding the response code details
3194 by providing a suitable response code string at the start of the message
3195 user_msg. Check the message for starting with a response code and optionally an
3196 extended status code. If found, check that the first digit is valid, and if so,
3197 change the code pointer and length to use the replacement. An invalid code
3198 causes a panic log; in this case, if the log messages is the same as the user
3199 message, we must also adjust the value of the log message to show the code that
3200 is actually going to be used (the original one).
3201
3202 This function is global because it is called from receive.c as well as within
3203 this module.
3204
3205 Note that the code length returned includes the terminating whitespace
3206 character, which is always included in the regex match.
3207
3208 Arguments:
3209   code          SMTP code, may involve extended status codes
3210   codelen       length of smtp code; if > 4 there's an ESC
3211   msg           message text
3212   log_msg       optional log message, to be adjusted with the new SMTP code
3213   check_valid   if true, verify the response code
3214
3215 Returns:        nothing
3216 */
3217
3218 void
3219 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3220   BOOL check_valid)
3221 {
3222 int n;
3223 int ovector[3];
3224
3225 if (!msg || !*msg) return;
3226
3227 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3228   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3229
3230 if (check_valid && (*msg)[0] != (*code)[0])
3231   {
3232   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3233     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3234   if (log_msg != NULL && *log_msg == *msg)
3235     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3236   }
3237 else
3238   {
3239   *code = *msg;
3240   *codelen = ovector[1];    /* Includes final space */
3241   }
3242 *msg += ovector[1];         /* Chop the code off the message */
3243 return;
3244 }
3245
3246
3247
3248
3249 /*************************************************
3250 *           Handle an ACL failure                *
3251 *************************************************/
3252
3253 /* This function is called when acl_check() fails. As well as calls from within
3254 this module, it is called from receive.c for an ACL after DATA. It sorts out
3255 logging the incident, and sends the error response. A message containing
3256 newlines is turned into a multiline SMTP response, but for logging, only the
3257 first line is used.
3258
3259 There's a table of default permanent failure response codes to use in
3260 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3261 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3262 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3263 state, because there are broken clients that try VRFY before RCPT. A 5xx
3264 response should be given only when the address is positively known to be
3265 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3266 no explicit code, but if there is one we let it know best.
3267 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3268
3269 From Exim 4.63, it is possible to override the response code details by
3270 providing a suitable response code string at the start of the message provided
3271 in user_msg. The code's first digit is checked for validity.
3272
3273 Arguments:
3274   where        where the ACL was called from
3275   rc           the failure code
3276   user_msg     a message that can be included in an SMTP response
3277   log_msg      a message for logging
3278
3279 Returns:     0 in most cases
3280              2 if the failure code was FAIL_DROP, in which case the
3281                SMTP connection should be dropped (this value fits with the
3282                "done" variable in smtp_setup_msg() below)
3283 */
3284
3285 int
3286 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3287 {
3288 BOOL drop = rc == FAIL_DROP;
3289 int codelen = 3;
3290 uschar *smtp_code;
3291 uschar *lognl;
3292 uschar *sender_info = US"";
3293 uschar *what =
3294 #ifdef WITH_CONTENT_SCAN
3295   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3296 #endif
3297   where == ACL_WHERE_PREDATA ? US"DATA" :
3298   where == ACL_WHERE_DATA ? US"after DATA" :
3299 #ifndef DISABLE_PRDR
3300   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3301 #endif
3302   smtp_cmd_data ?
3303     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3304     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3305
3306 if (drop) rc = FAIL;
3307
3308 /* Set the default SMTP code, and allow a user message to change it. */
3309
3310 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3311 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3312   where != ACL_WHERE_VRFY);
3313
3314 /* We used to have sender_address here; however, there was a bug that was not
3315 updating sender_address after a rewrite during a verify. When this bug was
3316 fixed, sender_address at this point became the rewritten address. I'm not sure
3317 this is what should be logged, so I've changed to logging the unrewritten
3318 address to retain backward compatibility. */
3319
3320 #ifndef WITH_CONTENT_SCAN
3321 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3322 #else
3323 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3324 #endif
3325   {
3326   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3327     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3328     sender_host_authenticated ? US" A="                                    : US"",
3329     sender_host_authenticated ? sender_host_authenticated                  : US"",
3330     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3331     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3332     );
3333   }
3334
3335 /* If there's been a sender verification failure with a specific message, and
3336 we have not sent a response about it yet, do so now, as a preliminary line for
3337 failures, but not defers. However, always log it for defer, and log it for fail
3338 unless the sender_verify_fail log selector has been turned off. */
3339
3340 if (sender_verified_failed &&
3341     !testflag(sender_verified_failed, af_sverify_told))
3342   {
3343   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3344   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3345
3346   setflag(sender_verified_failed, af_sverify_told);
3347
3348   if (rc != FAIL || LOGGING(sender_verify_fail))
3349     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3350       host_and_ident(TRUE),
3351       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3352       sender_verified_failed->address,
3353       (sender_verified_failed->message == NULL)? US"" :
3354       string_sprintf(": %s", sender_verified_failed->message));
3355
3356   if (rc == FAIL && sender_verified_failed->user_message)
3357     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3358         testflag(sender_verified_failed, af_verify_pmfail)?
3359           "Postmaster verification failed while checking <%s>\n%s\n"
3360           "Several RFCs state that you are required to have a postmaster\n"
3361           "mailbox for each mail domain. This host does not accept mail\n"
3362           "from domains whose servers reject the postmaster address."
3363           :
3364         testflag(sender_verified_failed, af_verify_nsfail)?
3365           "Callback setup failed while verifying <%s>\n%s\n"
3366           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3367           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3368           "RFC requirements, and stops you from receiving standard bounce\n"
3369           "messages. This host does not accept mail from domains whose servers\n"
3370           "refuse bounces."
3371           :
3372           "Verification failed for <%s>\n%s",
3373         sender_verified_failed->address,
3374         sender_verified_failed->user_message));
3375
3376   fl.rcpt_in_progress = save_rcpt_in_progress;
3377   }
3378
3379 /* Sort out text for logging */
3380
3381 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3382 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3383
3384 /* Send permanent failure response to the command, but the code used isn't
3385 always a 5xx one - see comments at the start of this function. If the original
3386 rc was FAIL_DROP we drop the connection and yield 2. */
3387
3388 if (rc == FAIL)
3389   smtp_respond(smtp_code, codelen, TRUE,
3390     user_msg ? user_msg : US"Administrative prohibition");
3391
3392 /* Send temporary failure response to the command. Don't give any details,
3393 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3394 verb, and for a header verify when smtp_return_error_details is set.
3395
3396 This conditional logic is all somewhat of a mess because of the odd
3397 interactions between temp_details and return_error_details. One day it should
3398 be re-implemented in a tidier fashion. */
3399
3400 else
3401   if (f.acl_temp_details && user_msg)
3402     {
3403     if (  smtp_return_error_details
3404        && sender_verified_failed
3405        && sender_verified_failed->message
3406        )
3407       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3408
3409     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3410     }
3411   else
3412     smtp_respond(smtp_code, codelen, TRUE,
3413       US"Temporary local problem - please try later");
3414
3415 /* Log the incident to the logs that are specified by log_reject_target
3416 (default main, reject). This can be empty to suppress logging of rejections. If
3417 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3418 is closing if required and return 2.  */
3419
3420 if (log_reject_target != 0)
3421   {
3422 #ifdef SUPPORT_TLS
3423   gstring * g = s_tlslog(NULL);
3424   uschar * tls = string_from_gstring(g);
3425   if (!tls) tls = US"";
3426 #else
3427   uschar * tls = US"";
3428 #endif
3429   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3430     log_reject_target, "%s%s%s %s%srejected %s%s",
3431     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3432     host_and_ident(TRUE),
3433     tls,
3434     sender_info,
3435     rc == FAIL ? US"" : US"temporarily ",
3436     what, log_msg);
3437   }
3438
3439 if (!drop) return 0;
3440
3441 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3442   smtp_get_connection_info());
3443
3444 /* Run the not-quit ACL, but without any custom messages. This should not be a
3445 problem, because we get here only if some other ACL has issued "drop", and
3446 in that case, *its* custom messages will have been used above. */
3447
3448 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3449 return 2;
3450 }
3451
3452
3453
3454
3455 /*************************************************
3456 *     Handle SMTP exit when QUIT is not given    *
3457 *************************************************/
3458
3459 /* This function provides a logging/statistics hook for when an SMTP connection
3460 is dropped on the floor or the other end goes away. It's a global function
3461 because it's called from receive.c as well as this module. As well as running
3462 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3463 response, either with a custom message from the ACL, or using a default. There
3464 is one case, however, when no message is output - after "drop". In that case,
3465 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3466 passed to this function.
3467
3468 In case things go wrong while processing this function, causing an error that
3469 may re-enter this function, there is a recursion check.
3470
3471 Arguments:
3472   reason          What $smtp_notquit_reason will be set to in the ACL;
3473                     if NULL, the ACL is not run
3474   code            The error code to return as part of the response
3475   defaultrespond  The default message if there's no user_msg
3476
3477 Returns:          Nothing
3478 */
3479
3480 void
3481 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3482 {
3483 int rc;
3484 uschar *user_msg = NULL;
3485 uschar *log_msg = NULL;
3486
3487 /* Check for recursive call */
3488
3489 if (fl.smtp_exit_function_called)
3490   {
3491   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3492     reason);
3493   return;
3494   }
3495 fl.smtp_exit_function_called = TRUE;
3496
3497 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3498
3499 if (acl_smtp_notquit && reason)
3500   {
3501   smtp_notquit_reason = reason;
3502   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3503                       &log_msg)) == ERROR)
3504     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3505       log_msg);
3506   }
3507
3508 /* If the connection was dropped, we certainly are no longer talking TLS */
3509 tls_in.active.sock = -1;
3510
3511 /* Write an SMTP response if we are expected to give one. As the default
3512 responses are all internal, they should be reasonable size. */
3513
3514 if (code && defaultrespond)
3515   {
3516   if (user_msg)
3517     smtp_respond(code, 3, TRUE, user_msg);
3518   else
3519     {
3520     gstring * g;
3521     va_list ap;
3522
3523     va_start(ap, defaultrespond);
3524     g = string_vformat(NULL, TRUE, CS defaultrespond, ap);
3525     va_end(ap);
3526     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3527     }
3528   mac_smtp_fflush();
3529   }
3530 }
3531
3532
3533
3534
3535 /*************************************************
3536 *             Verify HELO argument               *
3537 *************************************************/
3538
3539 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3540 matched. It is also called from ACL processing if verify = helo is used and
3541 verification was not previously tried (i.e. helo_try_verify_hosts was not
3542 matched). The result of its processing is to set helo_verified and
3543 helo_verify_failed. These variables should both be FALSE for this function to
3544 be called.
3545
3546 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3547 for IPv6 ::ffff: literals.
3548
3549 Argument:   none
3550 Returns:    TRUE if testing was completed;
3551             FALSE on a temporary failure
3552 */
3553
3554 BOOL
3555 smtp_verify_helo(void)
3556 {
3557 BOOL yield = TRUE;
3558
3559 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3560   sender_helo_name);
3561
3562 if (sender_helo_name == NULL)
3563   {
3564   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3565   }
3566
3567 /* Deal with the case of -bs without an IP address */
3568
3569 else if (sender_host_address == NULL)
3570   {
3571   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3572   f.helo_verified = TRUE;
3573   }
3574
3575 /* Deal with the more common case when there is a sending IP address */
3576
3577 else if (sender_helo_name[0] == '[')
3578   {
3579   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3580     Ustrlen(sender_host_address)) == 0;
3581
3582 #if HAVE_IPV6
3583   if (!f.helo_verified)
3584     {
3585     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3586       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3587         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3588     }
3589 #endif
3590
3591   HDEBUG(D_receive)
3592     { if (f.helo_verified) debug_printf("matched host address\n"); }
3593   }
3594
3595 /* Do a reverse lookup if one hasn't already given a positive or negative
3596 response. If that fails, or the name doesn't match, try checking with a forward
3597 lookup. */
3598
3599 else
3600   {
3601   if (sender_host_name == NULL && !host_lookup_failed)
3602     yield = host_name_lookup() != DEFER;
3603
3604   /* If a host name is known, check it and all its aliases. */
3605
3606   if (sender_host_name)
3607     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3608       {
3609       sender_helo_dnssec = sender_host_dnssec;
3610       HDEBUG(D_receive) debug_printf("matched host name\n");
3611       }
3612     else
3613       {
3614       uschar **aliases = sender_host_aliases;
3615       while (*aliases)
3616         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3617           {
3618           sender_helo_dnssec = sender_host_dnssec;
3619           break;
3620           }
3621
3622       HDEBUG(D_receive) if (f.helo_verified)
3623           debug_printf("matched alias %s\n", *(--aliases));
3624       }
3625
3626   /* Final attempt: try a forward lookup of the helo name */
3627
3628   if (!f.helo_verified)
3629     {
3630     int rc;
3631     host_item h;
3632     dnssec_domains d;
3633     host_item *hh;
3634
3635     h.name = sender_helo_name;
3636     h.address = NULL;
3637     h.mx = MX_NONE;
3638     h.next = NULL;
3639     d.request = US"*";
3640     d.require = US"";
3641
3642     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3643       sender_helo_name);
3644     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3645                           NULL, NULL, NULL, &d, NULL, NULL);
3646     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3647       for (hh = &h; hh; hh = hh->next)
3648         if (Ustrcmp(hh->address, sender_host_address) == 0)
3649           {
3650           f.helo_verified = TRUE;
3651           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3652           HDEBUG(D_receive)
3653             {
3654             debug_printf("IP address for %s matches calling address\n"
3655               "Forward DNS security status: %sverified\n",
3656               sender_helo_name, sender_helo_dnssec ? "" : "un");
3657             }
3658           break;
3659           }
3660     }
3661   }
3662
3663 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3664 return yield;
3665 }
3666
3667
3668
3669
3670 /*************************************************
3671 *        Send user response message              *
3672 *************************************************/
3673
3674 /* This function is passed a default response code and a user message. It calls
3675 smtp_message_code() to check and possibly modify the response code, and then
3676 calls smtp_respond() to transmit the response. I put this into a function
3677 just to avoid a lot of repetition.
3678
3679 Arguments:
3680   code         the response code
3681   user_msg     the user message
3682
3683 Returns:       nothing
3684 */
3685
3686 static void
3687 smtp_user_msg(uschar *code, uschar *user_msg)
3688 {
3689 int len = 3;
3690 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3691 smtp_respond(code, len, TRUE, user_msg);
3692 }
3693
3694
3695
3696 static int
3697 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3698 {
3699 const uschar *set_id = NULL;
3700 int rc, i;
3701
3702 /* Run the checking code, passing the remainder of the command line as
3703 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3704 it as the only set numerical variable. The authenticator may set $auth<n>
3705 and also set other numeric variables. The $auth<n> variables are preferred
3706 nowadays; the numerical variables remain for backwards compatibility.
3707
3708 Afterwards, have a go at expanding the set_id string, even if
3709 authentication failed - for bad passwords it can be useful to log the
3710 userid. On success, require set_id to expand and exist, and put it in
3711 authenticated_id. Save this in permanent store, as the working store gets
3712 reset at HELO, RSET, etc. */
3713
3714 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3715 expand_nmax = 0;
3716 expand_nlength[0] = 0;   /* $0 contains nothing */
3717
3718 rc = (au->info->servercode)(au, smtp_cmd_data);
3719 if (au->set_id) set_id = expand_string(au->set_id);
3720 expand_nmax = -1;        /* Reset numeric variables */
3721 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3722
3723 /* The value of authenticated_id is stored in the spool file and printed in
3724 log lines. It must not contain binary zeros or newline characters. In
3725 normal use, it never will, but when playing around or testing, this error
3726 can (did) happen. To guard against this, ensure that the id contains only
3727 printing characters. */
3728
3729 if (set_id) set_id = string_printing(set_id);
3730
3731 /* For the non-OK cases, set up additional logging data if set_id
3732 is not empty. */
3733
3734 if (rc != OK)
3735   set_id = set_id && *set_id
3736     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3737
3738 /* Switch on the result */
3739
3740 switch(rc)
3741   {
3742   case OK:
3743   if (!au->set_id || set_id)    /* Complete success */
3744     {
3745     if (set_id) authenticated_id = string_copy_malloc(set_id);
3746     sender_host_authenticated = au->name;
3747     sender_host_auth_pubname  = au->public_name;
3748     authentication_failed = FALSE;
3749     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3750
3751     received_protocol =
3752       (sender_host_address ? protocols : protocols_local)
3753         [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3754     *s = *ss = US"235 Authentication succeeded";
3755     authenticated_by = au;
3756     break;
3757     }
3758
3759   /* Authentication succeeded, but we failed to expand the set_id string.
3760   Treat this as a temporary error. */
3761
3762   auth_defer_msg = expand_string_message;
3763   /* Fall through */
3764
3765   case DEFER:
3766   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3767   *s = string_sprintf("435 Unable to authenticate at present%s",
3768     auth_defer_user_msg);
3769   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3770     set_id, auth_defer_msg);
3771   break;
3772
3773   case BAD64:
3774   *s = *ss = US"501 Invalid base64 data";
3775   break;
3776
3777   case CANCELLED:
3778   *s = *ss = US"501 Authentication cancelled";
3779   break;
3780
3781   case UNEXPECTED:
3782   *s = *ss = US"553 Initial data not expected";
3783   break;
3784
3785   case FAIL:
3786   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3787   *s = US"535 Incorrect authentication data";
3788   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3789   break;
3790
3791   default:
3792   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3793   *s = US"435 Internal error";
3794   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3795     "check", set_id, rc);
3796   break;
3797   }
3798
3799 return rc;
3800 }
3801
3802
3803
3804
3805
3806 static int
3807 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3808 {
3809 int rd;
3810 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3811   {
3812   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3813     *recipient);
3814   rd = Ustrlen(recipient) + 1;
3815   *recipient = rewrite_address_qualify(*recipient, TRUE);
3816   return rd;
3817   }
3818 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3819   smtp_cmd_data);
3820 log_write(L_smtp_syntax_error,
3821   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3822   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3823 return 0;
3824 }
3825
3826
3827
3828
3829 static void
3830 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3831 {
3832 HAD(SCH_QUIT);
3833 incomplete_transaction_log(US"QUIT");
3834 if (acl_smtp_quit)
3835   {
3836   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3837   if (rc == ERROR)
3838     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3839       *log_msgp);
3840   }
3841 if (*user_msgp)
3842   smtp_respond(US"221", 3, TRUE, *user_msgp);
3843 else
3844   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3845
3846 #ifdef SUPPORT_TLS
3847 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3848 #endif
3849
3850 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3851   smtp_get_connection_info());
3852 }
3853
3854
3855 static void
3856 smtp_rset_handler(void)
3857 {
3858 HAD(SCH_RSET);
3859 incomplete_transaction_log(US"RSET");
3860 smtp_printf("250 Reset OK\r\n", FALSE);
3861 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3862 }
3863
3864
3865
3866 /*************************************************
3867 *       Initialize for SMTP incoming message     *
3868 *************************************************/
3869
3870 /* This function conducts the initial dialogue at the start of an incoming SMTP
3871 message, and builds a list of recipients. However, if the incoming message
3872 is part of a batch (-bS option) a separate function is called since it would
3873 be messy having tests splattered about all over this function. This function
3874 therefore handles the case where interaction is occurring. The input and output
3875 files are set up in smtp_in and smtp_out.
3876
3877 The global recipients_list is set to point to a vector of recipient_item
3878 blocks, whose number is given by recipients_count. This is extended by the
3879 receive_add_recipient() function. The global variable sender_address is set to
3880 the sender's address. The yield is +1 if a message has been successfully
3881 started, 0 if a QUIT command was encountered or the connection was refused from
3882 the particular host, or -1 if the connection was lost.
3883
3884 Argument: none
3885
3886 Returns:  > 0 message successfully started (reached DATA)
3887           = 0 QUIT read or end of file reached or call refused
3888           < 0 lost connection
3889 */
3890
3891 int
3892 smtp_setup_msg(void)
3893 {
3894 int done = 0;
3895 BOOL toomany = FALSE;
3896 BOOL discarded = FALSE;
3897 BOOL last_was_rej_mail = FALSE;
3898 BOOL last_was_rcpt = FALSE;
3899 void *reset_point = store_get(0);
3900
3901 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3902
3903 /* Reset for start of new message. We allow one RSET not to be counted as a
3904 nonmail command, for those MTAs that insist on sending it between every
3905 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3906 TLS between messages (an Exim client may do this if it has messages queued up
3907 for the host). Note: we do NOT reset AUTH at this point. */
3908
3909 smtp_reset(reset_point);
3910 message_ended = END_NOTSTARTED;
3911
3912 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3913
3914 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3915 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3916 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3917 #ifdef SUPPORT_TLS
3918 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3919 #endif
3920
3921 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3922
3923 had_command_sigterm = 0;
3924 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3925
3926 /* Batched SMTP is handled in a different function. */
3927
3928 if (smtp_batched_input) return smtp_setup_batch_msg();
3929
3930 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3931 value. The values are 2 larger than the required yield of the function. */
3932
3933 while (done <= 0)
3934   {
3935   const uschar **argv;
3936   uschar *etrn_command;
3937   uschar *etrn_serialize_key;
3938   uschar *errmess;
3939   uschar *log_msg, *smtp_code;
3940   uschar *user_msg = NULL;
3941   uschar *recipient = NULL;
3942   uschar *hello = NULL;
3943   uschar *s, *ss;
3944   BOOL was_rej_mail = FALSE;
3945   BOOL was_rcpt = FALSE;
3946   void (*oldsignal)(int);
3947   pid_t pid;
3948   int start, end, sender_domain, recipient_domain;
3949   int rc;
3950   int c;
3951   auth_instance *au;
3952   uschar *orcpt = NULL;
3953   int dsn_flags;
3954   gstring * g;
3955
3956 #ifdef AUTH_TLS
3957   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3958   if (  tls_in.active.sock >= 0
3959      && tls_in.peercert
3960      && tls_in.certificate_verified
3961      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3962      )
3963     {
3964     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3965
3966     for (au = auths; au; au = au->next)
3967       if (strcmpic(US"tls", au->driver_name) == 0)
3968         {
3969         if (  acl_smtp_auth
3970            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3971                       &user_msg, &log_msg)) != OK
3972            )
3973           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3974         else
3975           {
3976           smtp_cmd_data = NULL;
3977
3978           if (smtp_in_auth(au, &s, &ss) == OK)
3979             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3980           else
3981             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3982           }
3983         break;
3984         }
3985     }
3986 #endif
3987
3988 #ifdef TCP_QUICKACK
3989   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3990     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3991             US &off, sizeof(off));
3992 #endif
3993
3994   switch(smtp_read_command(
3995 #ifdef EXPERIMENTAL_PIPE_CONNECT
3996           !fl.pipe_connect_acceptable,
3997 #else
3998           TRUE,
3999 #endif
4000           GETC_BUFFER_UNLIMITED))
4001     {
4002     /* The AUTH command is not permitted to occur inside a transaction, and may
4003     occur successfully only once per connection. Actually, that isn't quite
4004     true. When TLS is started, all previous information about a connection must
4005     be discarded, so a new AUTH is permitted at that time.
4006
4007     AUTH may only be used when it has been advertised. However, it seems that
4008     there are clients that send AUTH when it hasn't been advertised, some of
4009     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4010     So there's a get-out that allows this to happen.
4011
4012     AUTH is initially labelled as a "nonmail command" so that one occurrence
4013     doesn't get counted. We change the label here so that multiple failing
4014     AUTHS will eventually hit the nonmail threshold. */
4015
4016     case AUTH_CMD:
4017       HAD(SCH_AUTH);
4018       authentication_failed = TRUE;
4019       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4020
4021       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4022         {
4023         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4024           US"AUTH command used when not advertised");
4025         break;
4026         }
4027       if (sender_host_authenticated)
4028         {
4029         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4030           US"already authenticated");
4031         break;
4032         }
4033       if (sender_address)
4034         {
4035         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4036           US"not permitted in mail transaction");
4037         break;
4038         }
4039
4040       /* Check the ACL */
4041
4042       if (  acl_smtp_auth
4043          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4044                     &user_msg, &log_msg)) != OK
4045          )
4046         {
4047         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4048         break;
4049         }
4050
4051       /* Find the name of the requested authentication mechanism. */
4052
4053       s = smtp_cmd_data;
4054       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4055         {
4056         if (!isalnum(c) && c != '-' && c != '_')
4057           {
4058           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4059             US"invalid character in authentication mechanism name");
4060           goto COMMAND_LOOP;
4061           }
4062         smtp_cmd_data++;
4063         }
4064
4065       /* If not at the end of the line, we must be at white space. Terminate the
4066       name and move the pointer on to any data that may be present. */
4067
4068       if (*smtp_cmd_data != 0)
4069         {
4070         *smtp_cmd_data++ = 0;
4071         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4072         }
4073
4074       /* Search for an authentication mechanism which is configured for use
4075       as a server and which has been advertised (unless, sigh, allow_auth_
4076       unadvertised is set). */
4077
4078       for (au = auths; au; au = au->next)
4079         if (strcmpic(s, au->public_name) == 0 && au->server &&
4080             (au->advertised || f.allow_auth_unadvertised))
4081           break;
4082
4083       if (au)
4084         {
4085         c = smtp_in_auth(au, &s, &ss);
4086
4087         smtp_printf("%s\r\n", FALSE, s);
4088         if (c != OK)
4089           log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4090             au->name, host_and_ident(FALSE), ss);
4091         }
4092       else
4093         done = synprot_error(L_smtp_protocol_error, 504, NULL,
4094           string_sprintf("%s authentication mechanism not supported", s));
4095
4096       break;  /* AUTH_CMD */
4097
4098     /* The HELO/EHLO commands are permitted to appear in the middle of a
4099     session as well as at the beginning. They have the effect of a reset in
4100     addition to their other functions. Their absence at the start cannot be
4101     taken to be an error.
4102
4103     RFC 2821 says:
4104
4105       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4106       or 502 failure replies MUST be returned as appropriate.  The SMTP
4107       server MUST stay in the same state after transmitting these replies
4108       that it was in before the EHLO was received.
4109
4110     Therefore, we do not do the reset until after checking the command for
4111     acceptability. This change was made for Exim release 4.11. Previously
4112     it did the reset first. */
4113
4114     case HELO_CMD:
4115       HAD(SCH_HELO);
4116       hello = US"HELO";
4117       fl.esmtp = FALSE;
4118       goto HELO_EHLO;
4119
4120     case EHLO_CMD:
4121       HAD(SCH_EHLO);
4122       hello = US"EHLO";
4123       fl.esmtp = TRUE;
4124
4125     HELO_EHLO:      /* Common code for HELO and EHLO */
4126       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4127       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4128
4129       /* Reject the HELO if its argument was invalid or non-existent. A
4130       successful check causes the argument to be saved in malloc store. */
4131
4132       if (!check_helo(smtp_cmd_data))
4133         {
4134         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4135
4136         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4137           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4138           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4139                              string_printing(smtp_cmd_argument));
4140
4141         if (++synprot_error_count > smtp_max_synprot_errors)
4142           {
4143           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4144             "syntax or protocol errors (last command was \"%s\")",
4145             host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4146           done = 1;
4147           }
4148
4149         break;
4150         }
4151
4152       /* If sender_host_unknown is true, we have got here via the -bs interface,
4153       not called from inetd. Otherwise, we are running an IP connection and the
4154       host address will be set. If the helo name is the primary name of this
4155       host and we haven't done a reverse lookup, force one now. If helo_required
4156       is set, ensure that the HELO name matches the actual host. If helo_verify
4157       is set, do the same check, but softly. */
4158
4159       if (!f.sender_host_unknown)
4160         {
4161         BOOL old_helo_verified = f.helo_verified;
4162         uschar *p = smtp_cmd_data;
4163
4164         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4165         *p = 0;
4166
4167         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4168         because otherwise the log can be confusing. */
4169
4170         if (  !sender_host_name
4171            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4172                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4173           (void)host_name_lookup();
4174
4175         /* Rebuild the fullhost info to include the HELO name (and the real name
4176         if it was looked up.) */
4177
4178         host_build_sender_fullhost();  /* Rebuild */
4179         set_process_info("handling%s incoming connection from %s",
4180           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4181
4182         /* Verify if configured. This doesn't give much security, but it does
4183         make some people happy to be able to do it. If helo_required is set,
4184         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4185         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4186         now obsolescent, since the verification can now be requested selectively
4187         at ACL time. */
4188
4189         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4190         if (fl.helo_required || fl.helo_verify)
4191           {
4192           BOOL tempfail = !smtp_verify_helo();
4193           if (!f.helo_verified)
4194             {
4195             if (fl.helo_required)
4196               {
4197               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4198                 tempfail? 451 : 550, hello);
4199               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4200                 tempfail? "temporarily " : "",
4201                 hello, sender_helo_name, host_and_ident(FALSE));
4202               f.helo_verified = old_helo_verified;
4203               break;                   /* End of HELO/EHLO processing */
4204               }
4205             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4206               "helo_try_verify_hosts\n", hello);
4207             }
4208           }
4209         }
4210
4211 #ifdef SUPPORT_SPF
4212       /* set up SPF context */
4213       spf_init(sender_helo_name, sender_host_address);
4214 #endif
4215
4216       /* Apply an ACL check if one is defined; afterwards, recheck
4217       synchronization in case the client started sending in a delay. */
4218
4219       if (acl_smtp_helo)
4220         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4221                   &user_msg, &log_msg)) != OK)
4222           {
4223           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4224           if (sender_helo_name)
4225             {
4226             store_free(sender_helo_name);
4227             sender_helo_name = NULL;
4228             }
4229           host_build_sender_fullhost();  /* Rebuild */
4230           break;
4231           }
4232 #ifdef EXPERIMENTAL_PIPE_CONNECT
4233         else if (!fl.pipe_connect_acceptable && !check_sync())
4234 #else
4235         else if (!check_sync())
4236 #endif
4237           goto SYNC_FAILURE;
4238
4239       /* Generate an OK reply. The default string includes the ident if present,
4240       and also the IP address if present. Reflecting back the ident is intended
4241       as a deterrent to mail forgers. For maximum efficiency, and also because
4242       some broken systems expect each response to be in a single packet, arrange
4243       that the entire reply is sent in one write(). */
4244
4245       fl.auth_advertised = FALSE;
4246       f.smtp_in_pipelining_advertised = FALSE;
4247 #ifdef SUPPORT_TLS
4248       fl.tls_advertised = FALSE;
4249 # ifdef EXPERIMENTAL_REQUIRETLS
4250       fl.requiretls_advertised = FALSE;
4251 # endif
4252 #endif
4253       fl.dsn_advertised = FALSE;
4254 #ifdef SUPPORT_I18N
4255       fl.smtputf8_advertised = FALSE;
4256 #endif
4257
4258       smtp_code = US"250 ";        /* Default response code plus space*/
4259       if (!user_msg)
4260         {
4261         g = string_fmt_append(NULL, "%.3s %s Hello %s%s%s",
4262           smtp_code,
4263           smtp_active_hostname,
4264           sender_ident ? sender_ident : US"",
4265           sender_ident ? US" at " : US"",
4266           sender_host_name ? sender_host_name : sender_helo_name);
4267
4268         if (sender_host_address)
4269           g = string_fmt_append(g, " [%s]", sender_host_address);
4270         }
4271
4272       /* A user-supplied EHLO greeting may not contain more than one line. Note
4273       that the code returned by smtp_message_code() includes the terminating
4274       whitespace character. */
4275
4276       else
4277         {
4278         char *ss;
4279         int codelen = 4;
4280         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4281         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4282         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4283           {
4284           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4285             "newlines: message truncated: %s", string_printing(s));
4286           *ss = 0;
4287           }
4288         g = string_cat(NULL, s);
4289         }
4290
4291       g = string_catn(g, US"\r\n", 2);
4292
4293       /* If we received EHLO, we must create a multiline response which includes
4294       the functions supported. */
4295
4296       if (fl.esmtp)
4297         {
4298         g->s[3] = '-';
4299
4300         /* I'm not entirely happy with this, as an MTA is supposed to check
4301         that it has enough room to accept a message of maximum size before
4302         it sends this. However, there seems little point in not sending it.
4303         The actual size check happens later at MAIL FROM time. By postponing it
4304         till then, VRFY and EXPN can be used after EHLO when space is short. */
4305
4306         if (thismessage_size_limit > 0)
4307           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4308             thismessage_size_limit);
4309         else
4310           {
4311           g = string_catn(g, smtp_code, 3);
4312           g = string_catn(g, US"-SIZE\r\n", 7);
4313           }
4314
4315         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4316         clean; if it has an 8-bit character in its hand, it just sends it. It
4317         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4318         However, some users want this option simply in order to stop MUAs
4319         mangling messages that contain top-bit-set characters. It is therefore
4320         provided as an option. */
4321
4322         if (accept_8bitmime)
4323           {
4324           g = string_catn(g, smtp_code, 3);
4325           g = string_catn(g, US"-8BITMIME\r\n", 11);
4326           }
4327
4328         /* Advertise DSN support if configured to do so. */
4329         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4330           {
4331           g = string_catn(g, smtp_code, 3);
4332           g = string_catn(g, US"-DSN\r\n", 6);
4333           fl.dsn_advertised = TRUE;
4334           }
4335
4336         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4337         permitted to issue them; a check is made when any host actually tries. */
4338
4339         if (acl_smtp_etrn)
4340           {
4341           g = string_catn(g, smtp_code, 3);
4342           g = string_catn(g, US"-ETRN\r\n", 7);
4343           }
4344         if (acl_smtp_vrfy)
4345           {
4346           g = string_catn(g, smtp_code, 3);
4347           g = string_catn(g, US"-VRFY\r\n", 7);
4348           }
4349         if (acl_smtp_expn)
4350           {
4351           g = string_catn(g, smtp_code, 3);
4352           g = string_catn(g, US"-EXPN\r\n", 7);
4353           }
4354
4355         /* Exim is quite happy with pipelining, so let the other end know that
4356         it is safe to use it, unless advertising is disabled. */
4357
4358         if (  f.pipelining_enable
4359            && verify_check_host(&pipelining_advertise_hosts) == OK)
4360           {
4361           g = string_catn(g, smtp_code, 3);
4362           g = string_catn(g, US"-PIPELINING\r\n", 13);
4363           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4364           f.smtp_in_pipelining_advertised = TRUE;
4365
4366 #ifdef EXPERIMENTAL_PIPE_CONNECT
4367           if (fl.pipe_connect_acceptable)
4368             {
4369             f.smtp_in_early_pipe_advertised = TRUE;
4370             g = string_catn(g, smtp_code, 3);
4371             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4372             }
4373 #endif
4374           }
4375
4376
4377         /* If any server authentication mechanisms are configured, advertise
4378         them if the current host is in auth_advertise_hosts. The problem with
4379         advertising always is that some clients then require users to
4380         authenticate (and aren't configurable otherwise) even though it may not
4381         be necessary (e.g. if the host is in host_accept_relay).
4382
4383         RFC 2222 states that SASL mechanism names contain only upper case
4384         letters, so output the names in upper case, though we actually recognize
4385         them in either case in the AUTH command. */
4386
4387         if (  auths
4388 #ifdef AUTH_TLS
4389            && !sender_host_authenticated
4390 #endif
4391            && verify_check_host(&auth_advertise_hosts) == OK
4392            )
4393           {
4394           auth_instance *au;
4395           BOOL first = TRUE;
4396           for (au = auths; au; au = au->next)
4397             {
4398             au->advertised = FALSE;
4399             if (au->server)
4400               {
4401               DEBUG(D_auth+D_expand) debug_printf_indent(
4402                 "Evaluating advertise_condition for %s athenticator\n",
4403                 au->public_name);
4404               if (  !au->advertise_condition
4405                  || expand_check_condition(au->advertise_condition, au->name,
4406                         US"authenticator")
4407                  )
4408                 {
4409                 int saveptr;
4410                 if (first)
4411                   {
4412                   g = string_catn(g, smtp_code, 3);
4413                   g = string_catn(g, US"-AUTH", 5);
4414                   first = FALSE;
4415                   fl.auth_advertised = TRUE;
4416                   }
4417                 saveptr = g->ptr;
4418                 g = string_catn(g, US" ", 1);
4419                 g = string_cat (g, au->public_name);
4420                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4421                 au->advertised = TRUE;
4422                 }
4423               }
4424             }
4425
4426           if (!first) g = string_catn(g, US"\r\n", 2);
4427           }
4428
4429         /* RFC 3030 CHUNKING */
4430
4431         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4432           {
4433           g = string_catn(g, smtp_code, 3);
4434           g = string_catn(g, US"-CHUNKING\r\n", 11);
4435           f.chunking_offered = TRUE;
4436           chunking_state = CHUNKING_OFFERED;
4437           }
4438
4439         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4440         if it has been included in the binary, and the host matches
4441         tls_advertise_hosts. We must *not* advertise if we are already in a
4442         secure connection. */
4443
4444 #ifdef SUPPORT_TLS
4445         if (tls_in.active.sock < 0 &&
4446             verify_check_host(&tls_advertise_hosts) != FAIL)
4447           {
4448           g = string_catn(g, smtp_code, 3);
4449           g = string_catn(g, US"-STARTTLS\r\n", 11);
4450           fl.tls_advertised = TRUE;
4451           }
4452
4453 # ifdef EXPERIMENTAL_REQUIRETLS
4454         /* Advertise REQUIRETLS only once we are in a secure connection */
4455         if (  tls_in.active.sock >= 0
4456            && verify_check_host(&tls_advertise_requiretls) != FAIL)
4457           {
4458           g = string_catn(g, smtp_code, 3);
4459           g = string_catn(g, US"-REQUIRETLS\r\n", 13);
4460           fl.requiretls_advertised = TRUE;
4461           }
4462 # endif
4463 #endif
4464
4465 #ifndef DISABLE_PRDR
4466         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4467         if (prdr_enable)
4468           {
4469           g = string_catn(g, smtp_code, 3);
4470           g = string_catn(g, US"-PRDR\r\n", 7);
4471           }
4472 #endif
4473
4474 #ifdef SUPPORT_I18N
4475         if (  accept_8bitmime
4476            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4477           {
4478           g = string_catn(g, smtp_code, 3);
4479           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4480           fl.smtputf8_advertised = TRUE;
4481           }
4482 #endif
4483
4484         /* Finish off the multiline reply with one that is always available. */
4485
4486         g = string_catn(g, smtp_code, 3);
4487         g = string_catn(g, US" HELP\r\n", 7);
4488         }
4489
4490       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4491       has been seen. */
4492
4493 #ifdef SUPPORT_TLS
4494       if (tls_in.active.sock >= 0)
4495         (void)tls_write(NULL, g->s, g->ptr,
4496 # ifdef EXPERIMENTAL_PIPE_CONNECT
4497                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4498 # else
4499                         FALSE);
4500 # endif
4501       else
4502 #endif
4503
4504         {
4505         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4506         }
4507       DEBUG(D_receive)
4508         {
4509         uschar *cr;
4510
4511         (void) string_from_gstring(g);
4512         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4513           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4514         debug_printf("SMTP>> %s", g->s);
4515         }
4516       fl.helo_seen = TRUE;
4517
4518       /* Reset the protocol and the state, abandoning any previous message. */
4519       received_protocol =
4520         (sender_host_address ? protocols : protocols_local)
4521           [ (fl.esmtp
4522             ? pextend + (sender_host_authenticated ? pauthed : 0)
4523             : pnormal)
4524           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4525           ];
4526       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4527       smtp_reset(reset_point);
4528       toomany = FALSE;
4529       break;   /* HELO/EHLO */
4530
4531
4532     /* The MAIL command requires an address as an operand. All we do
4533     here is to parse it for syntactic correctness. The form "<>" is
4534     a special case which converts into an empty string. The start/end
4535     pointers in the original are not used further for this address, as
4536     it is the canonical extracted address which is all that is kept. */
4537
4538     case MAIL_CMD:
4539       HAD(SCH_MAIL);
4540       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4541       was_rej_mail = TRUE;               /* Reset if accepted */
4542       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4543
4544       if (fl.helo_required && !fl.helo_seen)
4545         {
4546         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4547         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4548           "HELO/EHLO given", host_and_ident(FALSE));
4549         break;
4550         }
4551
4552       if (sender_address)
4553         {
4554         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4555           US"sender already given");
4556         break;
4557         }
4558
4559       if (!*smtp_cmd_data)
4560         {
4561         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4562           US"MAIL must have an address operand");
4563         break;
4564         }
4565
4566       /* Check to see if the limit for messages per connection would be
4567       exceeded by accepting further messages. */
4568
4569       if (smtp_accept_max_per_connection > 0 &&
4570           smtp_mailcmd_count > smtp_accept_max_per_connection)
4571         {
4572         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4573         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4574           "messages in one connection", host_and_ident(TRUE));
4575         break;
4576         }
4577
4578       /* Reset for start of message - even if this is going to fail, we
4579       obviously need to throw away any previous data. */
4580
4581       cancel_cutthrough_connection(TRUE, US"MAIL received");
4582       smtp_reset(reset_point);
4583       toomany = FALSE;
4584       sender_data = recipient_data = NULL;
4585
4586       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4587
4588       if (fl.esmtp) for(;;)
4589         {
4590         uschar *name, *value, *end;
4591         unsigned long int size;
4592         BOOL arg_error = FALSE;
4593
4594         if (!extract_option(&name, &value)) break;
4595
4596         for (mail_args = env_mail_type_list;
4597              mail_args->value != ENV_MAIL_OPT_NULL;
4598              mail_args++
4599             )
4600           if (strcmpic(name, mail_args->name) == 0)
4601             break;
4602         if (mail_args->need_value && strcmpic(value, US"") == 0)
4603           break;
4604
4605         switch(mail_args->value)
4606           {
4607           /* Handle SIZE= by reading the value. We don't do the check till later,
4608           in order to be able to log the sender address on failure. */
4609           case ENV_MAIL_OPT_SIZE:
4610             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4611               {
4612               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4613                 size = INT_MAX;
4614               message_size = (int)size;
4615               }
4616             else
4617               arg_error = TRUE;
4618             break;
4619
4620           /* If this session was initiated with EHLO and accept_8bitmime is set,
4621           Exim will have indicated that it supports the BODY=8BITMIME option. In
4622           fact, it does not support this according to the RFCs, in that it does not
4623           take any special action for forwarding messages containing 8-bit
4624           characters. That is why accept_8bitmime is not the default setting, but
4625           some sites want the action that is provided. We recognize both "8BITMIME"
4626           and "7BIT" as body types, but take no action. */
4627           case ENV_MAIL_OPT_BODY:
4628             if (accept_8bitmime) {
4629               if (strcmpic(value, US"8BITMIME") == 0)
4630                 body_8bitmime = 8;
4631               else if (strcmpic(value, US"7BIT") == 0)
4632                 body_8bitmime = 7;
4633               else
4634                 {
4635                 body_8bitmime = 0;
4636                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4637                   US"invalid data for BODY");
4638                 goto COMMAND_LOOP;
4639                 }
4640               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4641               break;
4642             }
4643             arg_error = TRUE;
4644             break;
4645
4646           /* Handle the two DSN options, but only if configured to do so (which
4647           will have caused "DSN" to be given in the EHLO response). The code itself
4648           is included only if configured in at build time. */
4649
4650           case ENV_MAIL_OPT_RET:
4651             if (fl.dsn_advertised)
4652               {
4653               /* Check if RET has already been set */
4654               if (dsn_ret > 0)
4655                 {
4656                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4657                   US"RET can be specified once only");
4658                 goto COMMAND_LOOP;
4659                 }
4660               dsn_ret = strcmpic(value, US"HDRS") == 0
4661                 ? dsn_ret_hdrs
4662                 : strcmpic(value, US"FULL") == 0
4663                 ? dsn_ret_full
4664                 : 0;
4665               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4666               /* Check for invalid invalid value, and exit with error */
4667               if (dsn_ret == 0)
4668                 {
4669                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4670                   US"Value for RET is invalid");
4671                 goto COMMAND_LOOP;
4672                 }
4673               }
4674             break;
4675           case ENV_MAIL_OPT_ENVID:
4676             if (fl.dsn_advertised)
4677               {
4678               /* Check if the dsn envid has been already set */
4679               if (dsn_envid)
4680                 {
4681                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4682                   US"ENVID can be specified once only");
4683                 goto COMMAND_LOOP;
4684                 }
4685               dsn_envid = string_copy(value);
4686               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4687               }
4688             break;
4689
4690           /* Handle the AUTH extension. If the value given is not "<>" and either
4691           the ACL says "yes" or there is no ACL but the sending host is
4692           authenticated, we set it up as the authenticated sender. However, if the
4693           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4694           the condition is met. The value of AUTH is an xtext, which means that +,
4695           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4696           coding. */
4697           case ENV_MAIL_OPT_AUTH:
4698             if (Ustrcmp(value, "<>") != 0)
4699               {
4700               int rc;
4701               uschar *ignore_msg;
4702
4703               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4704                 {
4705                 /* Put back terminator overrides for error message */
4706                 value[-1] = '=';
4707                 name[-1] = ' ';
4708                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4709                   US"invalid data for AUTH");
4710                 goto COMMAND_LOOP;
4711                 }
4712               if (!acl_smtp_mailauth)
4713                 {
4714                 ignore_msg = US"client not authenticated";
4715                 rc = sender_host_authenticated ? OK : FAIL;
4716                 }
4717               else
4718                 {
4719                 ignore_msg = US"rejected by ACL";
4720                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4721                   &user_msg, &log_msg);
4722                 }
4723
4724               switch (rc)
4725                 {
4726                 case OK:
4727                   if (authenticated_by == NULL ||
4728                       authenticated_by->mail_auth_condition == NULL ||
4729                       expand_check_condition(authenticated_by->mail_auth_condition,
4730                           authenticated_by->name, US"authenticator"))
4731                     break;     /* Accept the AUTH */
4732
4733                   ignore_msg = US"server_mail_auth_condition failed";
4734                   if (authenticated_id != NULL)
4735                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4736                       ignore_msg, authenticated_id);
4737
4738                 /* Fall through */
4739
4740                 case FAIL:
4741                   authenticated_sender = NULL;
4742                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4743                     value, host_and_ident(TRUE), ignore_msg);
4744                   break;
4745
4746                 /* Should only get DEFER or ERROR here. Put back terminator
4747                 overrides for error message */
4748
4749                 default:
4750                   value[-1] = '=';
4751                   name[-1] = ' ';
4752                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4753                     log_msg);
4754                   goto COMMAND_LOOP;
4755                 }
4756               }
4757               break;
4758
4759 #ifndef DISABLE_PRDR
4760           case ENV_MAIL_OPT_PRDR:
4761             if (prdr_enable)
4762               prdr_requested = TRUE;
4763             break;
4764 #endif
4765
4766 #ifdef SUPPORT_I18N
4767           case ENV_MAIL_OPT_UTF8:
4768             if (!fl.smtputf8_advertised)
4769               {
4770               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4771                 US"SMTPUTF8 used when not advertised");
4772               goto COMMAND_LOOP;
4773               }
4774
4775             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4776             message_smtputf8 = allow_utf8_domains = TRUE;
4777             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4778               {
4779               int old_pool = store_pool;
4780               store_pool = POOL_PERM;
4781               received_protocol = string_sprintf("utf8%s", received_protocol);
4782               store_pool = old_pool;
4783               }
4784             break;
4785 #endif
4786
4787 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4788           case ENV_MAIL_OPT_REQTLS:
4789             {
4790             uschar * r, * t;
4791
4792             if (!fl.requiretls_advertised)
4793               {
4794               done = synprot_error(L_smtp_syntax_error, 555, NULL,
4795                 US"unadvertised MAIL option: REQUIRETLS");
4796               goto COMMAND_LOOP;
4797               }
4798
4799             DEBUG(D_receive) debug_printf("requiretls requested\n");
4800             tls_requiretls = REQUIRETLS_MSG;
4801
4802             r = string_copy_malloc(received_protocol);
4803             if ((t = Ustrrchr(r, 's'))) *t = 'S';
4804             received_protocol = r;
4805             }
4806             break;
4807 #endif
4808
4809           /* No valid option. Stick back the terminator characters and break
4810           the loop.  Do the name-terminator second as extract_option sets
4811           value==name when it found no equal-sign.
4812           An error for a malformed address will occur. */
4813           case ENV_MAIL_OPT_NULL:
4814             value[-1] = '=';
4815             name[-1] = ' ';
4816             arg_error = TRUE;
4817             break;
4818
4819           default:  assert(0);
4820           }
4821         /* Break out of for loop if switch() had bad argument or
4822            when start of the email address is reached */
4823         if (arg_error) break;
4824         }
4825
4826 #if defined(SUPPORT_TLS) && defined(EXPERIMENTAL_REQUIRETLS)
4827       if (tls_requiretls & REQUIRETLS_MSG)
4828         {
4829         /* Ensure headers-only bounces whether a RET option was given or not. */
4830
4831         DEBUG(D_receive) if (dsn_ret == dsn_ret_full)
4832           debug_printf("requiretls override: dsn_ret_full -> dsn_ret_hdrs\n");
4833         dsn_ret = dsn_ret_hdrs;
4834         }
4835 #endif
4836
4837       /* If we have passed the threshold for rate limiting, apply the current
4838       delay, and update it for next time, provided this is a limited host. */
4839
4840       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4841           verify_check_host(&smtp_ratelimit_hosts) == OK)
4842         {
4843         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4844           smtp_delay_mail/1000.0);
4845         millisleep((int)smtp_delay_mail);
4846         smtp_delay_mail *= smtp_rlm_factor;
4847         if (smtp_delay_mail > (double)smtp_rlm_limit)
4848           smtp_delay_mail = (double)smtp_rlm_limit;
4849         }
4850
4851       /* Now extract the address, first applying any SMTP-time rewriting. The
4852       TRUE flag allows "<>" as a sender address. */
4853
4854       raw_sender = rewrite_existflags & rewrite_smtp
4855         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4856                       global_rewrite_rules)
4857         : smtp_cmd_data;
4858
4859       raw_sender =
4860         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4861           TRUE);
4862
4863       if (!raw_sender)
4864         {
4865         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4866         break;
4867         }
4868
4869       sender_address = raw_sender;
4870
4871       /* If there is a configured size limit for mail, check that this message
4872       doesn't exceed it. The check is postponed to this point so that the sender
4873       can be logged. */
4874
4875       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4876         {
4877         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4878         log_write(L_size_reject,
4879             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4880             "message too big: size%s=%d max=%d",
4881             sender_address,
4882             host_and_ident(TRUE),
4883             (message_size == INT_MAX)? ">" : "",
4884             message_size,
4885             thismessage_size_limit);
4886         sender_address = NULL;
4887         break;
4888         }
4889
4890       /* Check there is enough space on the disk unless configured not to.
4891       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4892       plus the current message - i.e. we accept the message only if it won't
4893       reduce the space below the threshold. Add 5000 to the size to allow for
4894       overheads such as the Received: line and storing of recipients, etc.
4895       By putting the check here, even when SIZE is not given, it allow VRFY
4896       and EXPN etc. to be used when space is short. */
4897
4898       if (!receive_check_fs(
4899            (smtp_check_spool_space && message_size >= 0)?
4900               message_size + 5000 : 0))
4901         {
4902         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4903         sender_address = NULL;
4904         break;
4905         }
4906
4907       /* If sender_address is unqualified, reject it, unless this is a locally
4908       generated message, or the sending host or net is permitted to send
4909       unqualified addresses - typically local machines behaving as MUAs -
4910       in which case just qualify the address. The flag is set above at the start
4911       of the SMTP connection. */
4912
4913       if (!sender_domain && *sender_address)
4914         if (f.allow_unqualified_sender)
4915           {
4916           sender_domain = Ustrlen(sender_address) + 1;
4917           sender_address = rewrite_address_qualify(sender_address, FALSE);
4918           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4919             raw_sender);
4920           }
4921         else
4922           {
4923           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4924             smtp_cmd_data);
4925           log_write(L_smtp_syntax_error,
4926             LOG_MAIN|LOG_REJECT,
4927             "unqualified sender rejected: <%s> %s%s",
4928             raw_sender,
4929             host_and_ident(TRUE),
4930             host_lookup_msg);
4931           sender_address = NULL;
4932           break;
4933           }
4934
4935       /* Apply an ACL check if one is defined, before responding. Afterwards,
4936       when pipelining is not advertised, do another sync check in case the ACL
4937       delayed and the client started sending in the meantime. */
4938
4939       if (acl_smtp_mail)
4940         {
4941         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4942         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4943           goto SYNC_FAILURE;
4944         }
4945       else
4946         rc = OK;
4947
4948       if (rc == OK || rc == DISCARD)
4949         {
4950         BOOL more = pipeline_response();
4951
4952         if (!user_msg)
4953           smtp_printf("%s%s%s", more, US"250 OK",
4954                     #ifndef DISABLE_PRDR
4955                       prdr_requested ? US", PRDR Requested" : US"",
4956                     #else
4957                       US"",
4958                     #endif
4959                       US"\r\n");
4960         else
4961           {
4962         #ifndef DISABLE_PRDR
4963           if (prdr_requested)
4964              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4965         #endif
4966           smtp_user_msg(US"250", user_msg);
4967           }
4968         smtp_delay_rcpt = smtp_rlr_base;
4969         f.recipients_discarded = (rc == DISCARD);
4970         was_rej_mail = FALSE;
4971         }
4972       else
4973         {
4974         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4975         sender_address = NULL;
4976         }
4977       break;
4978
4979
4980     /* The RCPT command requires an address as an operand. There may be any
4981     number of RCPT commands, specifying multiple recipients. We build them all
4982     into a data structure. The start/end values given by parse_extract_address
4983     are not used, as we keep only the extracted address. */
4984
4985     case RCPT_CMD:
4986       HAD(SCH_RCPT);
4987       rcpt_count++;
4988       was_rcpt = fl.rcpt_in_progress = TRUE;
4989
4990       /* There must be a sender address; if the sender was rejected and
4991       pipelining was advertised, we assume the client was pipelining, and do not
4992       count this as a protocol error. Reset was_rej_mail so that further RCPTs
4993       get the same treatment. */
4994
4995       if (sender_address == NULL)
4996         {
4997         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
4998           {
4999           smtp_printf("503 sender not yet given\r\n", FALSE);
5000           was_rej_mail = TRUE;
5001           }
5002         else
5003           {
5004           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5005             US"sender not yet given");
5006           was_rcpt = FALSE;             /* Not a valid RCPT */
5007           }
5008         rcpt_fail_count++;
5009         break;
5010         }
5011
5012       /* Check for an operand */
5013
5014       if (smtp_cmd_data[0] == 0)
5015         {
5016         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5017           US"RCPT must have an address operand");
5018         rcpt_fail_count++;
5019         break;
5020         }
5021
5022       /* Set the DSN flags orcpt and dsn_flags from the session*/
5023       orcpt = NULL;
5024       dsn_flags = 0;
5025
5026       if (fl.esmtp) for(;;)
5027         {
5028         uschar *name, *value;
5029
5030         if (!extract_option(&name, &value))
5031           break;
5032
5033         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5034           {
5035           /* Check whether orcpt has been already set */
5036           if (orcpt)
5037             {
5038             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5039               US"ORCPT can be specified once only");
5040             goto COMMAND_LOOP;
5041             }
5042           orcpt = string_copy(value);
5043           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5044           }
5045
5046         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5047           {
5048           /* Check if the notify flags have been already set */
5049           if (dsn_flags > 0)
5050             {
5051             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5052                 US"NOTIFY can be specified once only");
5053             goto COMMAND_LOOP;
5054             }
5055           if (strcmpic(value, US"NEVER") == 0)
5056             dsn_flags |= rf_notify_never;
5057           else
5058             {
5059             uschar *p = value;
5060             while (*p != 0)
5061               {
5062               uschar *pp = p;
5063               while (*pp != 0 && *pp != ',') pp++;
5064               if (*pp == ',') *pp++ = 0;
5065               if (strcmpic(p, US"SUCCESS") == 0)
5066                 {
5067                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5068                 dsn_flags |= rf_notify_success;
5069                 }
5070               else if (strcmpic(p, US"FAILURE") == 0)
5071                 {
5072                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5073                 dsn_flags |= rf_notify_failure;
5074                 }
5075               else if (strcmpic(p, US"DELAY") == 0)
5076                 {
5077                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5078                 dsn_flags |= rf_notify_delay;
5079                 }
5080               else
5081                 {
5082                 /* Catch any strange values */
5083                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5084                   US"Invalid value for NOTIFY parameter");
5085                 goto COMMAND_LOOP;
5086                 }
5087               p = pp;
5088               }
5089               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5090             }
5091           }
5092
5093         /* Unknown option. Stick back the terminator characters and break
5094         the loop. An error for a malformed address will occur. */
5095
5096         else
5097           {
5098           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5099           name[-1] = ' ';
5100           value[-1] = '=';
5101           break;
5102           }
5103         }
5104
5105       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5106       as a recipient address */
5107
5108       recipient = rewrite_existflags & rewrite_smtp
5109         ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5110             global_rewrite_rules)
5111         : smtp_cmd_data;
5112
5113       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5114         &recipient_domain, FALSE)))
5115         {
5116         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5117         rcpt_fail_count++;
5118         break;
5119         }
5120
5121       /* If the recipient address is unqualified, reject it, unless this is a
5122       locally generated message. However, unqualified addresses are permitted
5123       from a configured list of hosts and nets - typically when behaving as
5124       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5125       really. The flag is set at the start of the SMTP connection.
5126
5127       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5128       assumed this meant "reserved local part", but the revision of RFC 821 and
5129       friends now makes it absolutely clear that it means *mailbox*. Consequently
5130       we must always qualify this address, regardless. */
5131
5132       if (!recipient_domain)
5133         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5134                                     US"recipient")))
5135           {
5136           rcpt_fail_count++;
5137           break;
5138           }
5139
5140       /* Check maximum allowed */
5141
5142       if (rcpt_count > recipients_max && recipients_max > 0)
5143         {
5144         if (recipients_max_reject)
5145           {
5146           rcpt_fail_count++;
5147           smtp_printf("552 too many recipients\r\n", FALSE);
5148           if (!toomany)
5149             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5150               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5151           }
5152         else
5153           {
5154           rcpt_defer_count++;
5155           smtp_printf("452 too many recipients\r\n", FALSE);
5156           if (!toomany)
5157             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5158               "temporarily rejected: sender=<%s> %s", sender_address,
5159               host_and_ident(TRUE));
5160           }
5161
5162         toomany = TRUE;
5163         break;
5164         }
5165
5166       /* If we have passed the threshold for rate limiting, apply the current
5167       delay, and update it for next time, provided this is a limited host. */
5168
5169       if (rcpt_count > smtp_rlr_threshold &&
5170           verify_check_host(&smtp_ratelimit_hosts) == OK)
5171         {
5172         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5173           smtp_delay_rcpt/1000.0);
5174         millisleep((int)smtp_delay_rcpt);
5175         smtp_delay_rcpt *= smtp_rlr_factor;
5176         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5177           smtp_delay_rcpt = (double)smtp_rlr_limit;
5178         }
5179
5180       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5181       for them. Otherwise, check the access control list for this recipient. As
5182       there may be a delay in this, re-check for a synchronization error
5183       afterwards, unless pipelining was advertised. */
5184
5185       if (f.recipients_discarded)
5186         rc = DISCARD;
5187       else
5188         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5189                       &log_msg)) == OK
5190            && !f.smtp_in_pipelining_advertised && !check_sync())
5191           goto SYNC_FAILURE;
5192
5193       /* The ACL was happy */
5194
5195       if (rc == OK)
5196         {
5197         BOOL more = pipeline_response();
5198
5199         if (user_msg)
5200           smtp_user_msg(US"250", user_msg);
5201         else
5202           smtp_printf("250 Accepted\r\n", more);
5203         receive_add_recipient(recipient, -1);
5204
5205         /* Set the dsn flags in the recipients_list */
5206         recipients_list[recipients_count-1].orcpt = orcpt;
5207         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5208
5209         DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5210           recipients_list[recipients_count-1].orcpt,
5211           recipients_list[recipients_count-1].dsn_flags);
5212         }
5213
5214       /* The recipient was discarded */
5215
5216       else if (rc == DISCARD)
5217         {
5218         if (user_msg)
5219           smtp_user_msg(US"250", user_msg);
5220         else
5221           smtp_printf("250 Accepted\r\n", FALSE);
5222         rcpt_fail_count++;
5223         discarded = TRUE;
5224         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5225           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5226           sender_address_unrewritten? sender_address_unrewritten : sender_address,
5227           smtp_cmd_argument, f.recipients_discarded? "MAIL" : "RCPT",
5228           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5229         }
5230
5231       /* Either the ACL failed the address, or it was deferred. */
5232
5233       else
5234         {
5235         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5236         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5237         }
5238       break;
5239
5240
5241     /* The DATA command is legal only if it follows successful MAIL FROM
5242     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5243     not counted as a protocol error if it follows RCPT (which must have been
5244     rejected if there are no recipients.) This function is complete when a
5245     valid DATA command is encountered.
5246
5247     Note concerning the code used: RFC 2821 says this:
5248
5249      -  If there was no MAIL, or no RCPT, command, or all such commands
5250         were rejected, the server MAY return a "command out of sequence"
5251         (503) or "no valid recipients" (554) reply in response to the
5252         DATA command.
5253
5254     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5255     because it is the same whether pipelining is in use or not.
5256
5257     If all the RCPT commands that precede DATA provoked the same error message
5258     (often indicating some kind of system error), it is helpful to include it
5259     with the DATA rejection (an idea suggested by Tony Finch). */
5260
5261     case BDAT_CMD:
5262       {
5263       int n;
5264
5265       HAD(SCH_BDAT);
5266       if (chunking_state != CHUNKING_OFFERED)
5267         {
5268         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5269           US"BDAT command used when CHUNKING not advertised");
5270         break;
5271         }
5272
5273       /* grab size, endmarker */
5274
5275       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5276         {
5277         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5278           US"missing size for BDAT command");
5279         break;
5280         }
5281       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5282         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5283       chunking_data_left = chunking_datasize;
5284       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5285                                     (int)chunking_state, chunking_data_left);
5286
5287       /* push the current receive_* function on the "stack", and
5288       replace them by bdat_getc(), which in turn will use the lwr_receive_*
5289       functions to do the dirty work. */
5290       lwr_receive_getc = receive_getc;
5291       lwr_receive_getbuf = receive_getbuf;
5292       lwr_receive_ungetc = receive_ungetc;
5293
5294       receive_getc = bdat_getc;
5295       receive_ungetc = bdat_ungetc;
5296
5297       f.dot_ends = FALSE;
5298
5299       goto DATA_BDAT;
5300       }
5301
5302     case DATA_CMD:
5303       HAD(SCH_DATA);
5304       f.dot_ends = TRUE;
5305
5306     DATA_BDAT:          /* Common code for DATA and BDAT */
5307 #ifdef EXPERIMENTAL_PIPE_CONNECT
5308       fl.pipe_connect_acceptable = FALSE;
5309 #endif
5310       if (!discarded && recipients_count <= 0)
5311         {
5312         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5313           {
5314           uschar *code = US"503";
5315           int len = Ustrlen(rcpt_smtp_response);
5316           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5317             "this error:");
5318           /* Responses from smtp_printf() will have \r\n on the end */
5319           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5320             rcpt_smtp_response[len-2] = 0;
5321           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5322           }
5323         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5324           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5325             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5326         else
5327           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5328             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5329             ? US"valid RCPT command must precede DATA"
5330             : US"valid RCPT command must precede BDAT");
5331
5332         if (chunking_state > CHUNKING_OFFERED)
5333           bdat_flush_data();
5334         break;
5335         }
5336
5337       if (toomany && recipients_max_reject)
5338         {
5339         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5340         sender_address_unrewritten = NULL;
5341         smtp_printf("554 Too many recipients\r\n", FALSE);
5342         break;
5343         }
5344
5345       if (chunking_state > CHUNKING_OFFERED)
5346         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5347       else
5348         {
5349         /* If there is an ACL, re-check the synchronization afterwards, since the
5350         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5351         to get the DATA command sent. */
5352
5353         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5354           rc = OK;
5355         else
5356           {
5357           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5358           f.enable_dollar_recipients = TRUE;
5359           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5360             &log_msg);
5361           f.enable_dollar_recipients = FALSE;
5362           if (rc == OK && !check_sync())
5363             goto SYNC_FAILURE;
5364
5365           if (rc != OK)
5366             {   /* Either the ACL failed the address, or it was deferred. */
5367             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5368             break;
5369             }
5370           }
5371
5372         if (user_msg)
5373           smtp_user_msg(US"354", user_msg);
5374         else
5375           smtp_printf(
5376             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5377         }
5378
5379 #ifdef TCP_QUICKACK
5380       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5381         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5382                 US &on, sizeof(on));
5383 #endif
5384       done = 3;
5385       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5386
5387       break;
5388
5389
5390     case VRFY_CMD:
5391       {
5392       uschar * address;
5393
5394       HAD(SCH_VRFY);
5395
5396       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5397             &start, &end, &recipient_domain, FALSE)))
5398         {
5399         smtp_printf("501 %s\r\n", FALSE, errmess);
5400         break;
5401         }
5402
5403       if (!recipient_domain)
5404         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5405                                     US"verify")))
5406           break;
5407
5408       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5409                     &user_msg, &log_msg)) != OK)
5410         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5411       else
5412         {
5413         uschar * s = NULL;
5414         address_item * addr = deliver_make_addr(address, FALSE);
5415
5416         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5417                -1, -1, NULL, NULL, NULL))
5418           {
5419           case OK:
5420             s = string_sprintf("250 <%s> is deliverable", address);
5421             break;
5422
5423           case DEFER:
5424             s = (addr->user_message != NULL)?
5425               string_sprintf("451 <%s> %s", address, addr->user_message) :
5426               string_sprintf("451 Cannot resolve <%s> at this time", address);
5427             break;
5428
5429           case FAIL:
5430             s = (addr->user_message != NULL)?
5431               string_sprintf("550 <%s> %s", address, addr->user_message) :
5432               string_sprintf("550 <%s> is not deliverable", address);
5433             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5434               smtp_cmd_argument, host_and_ident(TRUE));
5435             break;
5436           }
5437
5438         smtp_printf("%s\r\n", FALSE, s);
5439         }
5440       break;
5441       }
5442
5443
5444     case EXPN_CMD:
5445       HAD(SCH_EXPN);
5446       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5447       if (rc != OK)
5448         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5449       else
5450         {
5451         BOOL save_log_testing_mode = f.log_testing_mode;
5452         f.address_test_mode = f.log_testing_mode = TRUE;
5453         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5454           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5455           NULL, NULL, NULL);
5456         f.address_test_mode = FALSE;
5457         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5458         }
5459       break;
5460
5461
5462     #ifdef SUPPORT_TLS
5463
5464     case STARTTLS_CMD:
5465       HAD(SCH_STARTTLS);
5466       if (!fl.tls_advertised)
5467         {
5468         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5469           US"STARTTLS command used when not advertised");
5470         break;
5471         }
5472
5473       /* Apply an ACL check if one is defined */
5474
5475       if (  acl_smtp_starttls
5476          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5477                     &user_msg, &log_msg)) != OK
5478          )
5479         {
5480         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5481         break;
5482         }
5483
5484       /* RFC 2487 is not clear on when this command may be sent, though it
5485       does state that all information previously obtained from the client
5486       must be discarded if a TLS session is started. It seems reasonable to
5487       do an implied RSET when STARTTLS is received. */
5488
5489       incomplete_transaction_log(US"STARTTLS");
5490       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5491       smtp_reset(reset_point);
5492       toomany = FALSE;
5493       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5494
5495       /* There's an attack where more data is read in past the STARTTLS command
5496       before TLS is negotiated, then assumed to be part of the secure session
5497       when used afterwards; we use segregated input buffers, so are not
5498       vulnerable, but we want to note when it happens and, for sheer paranoia,
5499       ensure that the buffer is "wiped".
5500       Pipelining sync checks will normally have protected us too, unless disabled
5501       by configuration. */
5502
5503       if (receive_smtp_buffered())
5504         {
5505         DEBUG(D_any)
5506           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5507         if (tls_in.active.sock < 0)
5508           smtp_inend = smtp_inptr = smtp_inbuffer;
5509         /* and if TLS is already active, tls_server_start() should fail */
5510         }
5511
5512       /* There is nothing we value in the input buffer and if TLS is successfully
5513       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5514       fresh content into it.  The buffer contains arbitrary content from an
5515       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5516       It seems safest to just wipe away the content rather than leave it as a
5517       target to jump to. */
5518
5519       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5520
5521       /* Attempt to start up a TLS session, and if successful, discard all
5522       knowledge that was obtained previously. At least, that's what the RFC says,
5523       and that's what happens by default. However, in order to work round YAEB,
5524       there is an option to remember the esmtp state. Sigh.
5525
5526       We must allow for an extra EHLO command and an extra AUTH command after
5527       STARTTLS that don't add to the nonmail command count. */
5528
5529       s = NULL;
5530       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5531         {
5532         if (!tls_remember_esmtp)
5533           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5534         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5535         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5536         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5537         if (sender_helo_name)
5538           {
5539           store_free(sender_helo_name);
5540           sender_helo_name = NULL;
5541           host_build_sender_fullhost();  /* Rebuild */
5542           set_process_info("handling incoming TLS connection from %s",
5543             host_and_ident(FALSE));
5544           }
5545         received_protocol =
5546           (sender_host_address ? protocols : protocols_local)
5547             [ (fl.esmtp
5548               ? pextend + (sender_host_authenticated ? pauthed : 0)
5549               : pnormal)
5550             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5551             ];
5552
5553         sender_host_auth_pubname = sender_host_authenticated = NULL;
5554         authenticated_id = NULL;
5555         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5556         DEBUG(D_tls) debug_printf("TLS active\n");
5557         break;     /* Successful STARTTLS */
5558         }
5559       else
5560         (void) smtp_log_tls_fail(s);
5561
5562       /* Some local configuration problem was discovered before actually trying
5563       to do a TLS handshake; give a temporary error. */
5564
5565       if (rc == DEFER)
5566         {
5567         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5568         break;
5569         }
5570
5571       /* Hard failure. Reject everything except QUIT or closed connection. One
5572       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5573       set, but we must still reject all incoming commands.  Another is a handshake
5574       failure - and there may some encrypted data still in the pipe to us, which we
5575       see as garbage commands. */
5576
5577       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5578       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5579         {
5580         case EOF_CMD:
5581           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5582             smtp_get_connection_info());
5583           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5584           done = 2;
5585           break;
5586
5587         /* It is perhaps arguable as to which exit ACL should be called here,
5588         but as it is probably a situation that almost never arises, it
5589         probably doesn't matter. We choose to call the real QUIT ACL, which in
5590         some sense is perhaps "right". */
5591
5592         case QUIT_CMD:
5593           user_msg = NULL;
5594           if (  acl_smtp_quit
5595              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5596                                 &log_msg)) == ERROR))
5597               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5598                 log_msg);
5599           if (user_msg)
5600             smtp_respond(US"221", 3, TRUE, user_msg);
5601           else
5602             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5603           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5604             smtp_get_connection_info());
5605           done = 2;
5606           break;
5607
5608         default:
5609           smtp_printf("554 Security failure\r\n", FALSE);
5610           break;
5611         }
5612       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5613       break;
5614     #endif
5615
5616
5617     /* The ACL for QUIT is provided for gathering statistical information or
5618     similar; it does not affect the response code, but it can supply a custom
5619     message. */
5620
5621     case QUIT_CMD:
5622       smtp_quit_handler(&user_msg, &log_msg);
5623       done = 2;
5624       break;
5625
5626
5627     case RSET_CMD:
5628       smtp_rset_handler();
5629       cancel_cutthrough_connection(TRUE, US"RSET received");
5630       smtp_reset(reset_point);
5631       toomany = FALSE;
5632       break;
5633
5634
5635     case NOOP_CMD:
5636       HAD(SCH_NOOP);
5637       smtp_printf("250 OK\r\n", FALSE);
5638       break;
5639
5640
5641     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5642     used, a check will be done for permitted hosts. Show STARTTLS only if not
5643     already in a TLS session and if it would be advertised in the EHLO
5644     response. */
5645
5646     case HELP_CMD:
5647       HAD(SCH_HELP);
5648       smtp_printf("214-Commands supported:\r\n", TRUE);
5649         {
5650         uschar buffer[256];
5651         buffer[0] = 0;
5652         Ustrcat(buffer, " AUTH");
5653         #ifdef SUPPORT_TLS
5654         if (tls_in.active.sock < 0 &&
5655             verify_check_host(&tls_advertise_hosts) != FAIL)
5656           Ustrcat(buffer, " STARTTLS");
5657         #endif
5658         Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5659         Ustrcat(buffer, " NOOP QUIT RSET HELP");
5660         if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5661         if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5662         if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5663         smtp_printf("214%s\r\n", FALSE, buffer);
5664         }
5665       break;
5666
5667
5668     case EOF_CMD:
5669       incomplete_transaction_log(US"connection lost");
5670       smtp_notquit_exit(US"connection-lost", US"421",
5671         US"%s lost input connection", smtp_active_hostname);
5672
5673       /* Don't log by default unless in the middle of a message, as some mailers
5674       just drop the call rather than sending QUIT, and it clutters up the logs.
5675       */
5676
5677       if (sender_address || recipients_count > 0)
5678         log_write(L_lost_incoming_connection, LOG_MAIN,
5679           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5680           f.sender_host_unknown ? "EOF" : "disconnection",
5681           f.tcp_in_fastopen_logged
5682           ? US""
5683           : f.tcp_in_fastopen
5684           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5685           : US"",
5686           host_and_ident(FALSE), smtp_read_error,
5687           string_timesince(&smtp_connection_start)
5688           );
5689
5690       else
5691         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5692           smtp_get_connection_info(),
5693           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5694           smtp_read_error,
5695           string_timesince(&smtp_connection_start)
5696           );
5697
5698       done = 1;
5699       break;
5700
5701
5702     case ETRN_CMD:
5703       HAD(SCH_ETRN);
5704       if (sender_address)
5705         {
5706         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5707           US"ETRN is not permitted inside a transaction");
5708         break;
5709         }
5710
5711       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5712         host_and_ident(FALSE));
5713
5714       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5715                   &user_msg, &log_msg)) != OK)
5716         {
5717         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5718         break;
5719         }
5720
5721       /* Compute the serialization key for this command. */
5722
5723       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5724
5725       /* If a command has been specified for running as a result of ETRN, we
5726       permit any argument to ETRN. If not, only the # standard form is permitted,
5727       since that is strictly the only kind of ETRN that can be implemented
5728       according to the RFC. */
5729
5730       if (smtp_etrn_command)
5731         {
5732         uschar *error;
5733         BOOL rc;
5734         etrn_command = smtp_etrn_command;
5735         deliver_domain = smtp_cmd_data;
5736         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5737           US"ETRN processing", &error);
5738         deliver_domain = NULL;
5739         if (!rc)
5740           {
5741           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5742             error);
5743           smtp_printf("458 Internal failure\r\n", FALSE);
5744           break;
5745           }
5746         }
5747
5748       /* Else set up to call Exim with the -R option. */
5749
5750       else
5751         {
5752         if (*smtp_cmd_data++ != '#')
5753           {
5754           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5755             US"argument must begin with #");
5756           break;
5757           }
5758         etrn_command = US"exim -R";
5759         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5760           *queue_name ? 4 : 2,
5761           US"-R", smtp_cmd_data,
5762           US"-MCG", queue_name);
5763         }
5764
5765       /* If we are host-testing, don't actually do anything. */
5766
5767       if (host_checking)
5768         {
5769         HDEBUG(D_any)
5770           {
5771           debug_printf("ETRN command is: %s\n", etrn_command);
5772           debug_printf("ETRN command execution skipped\n");
5773           }
5774         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5775           else smtp_user_msg(US"250", user_msg);
5776         break;
5777         }
5778
5779
5780       /* If ETRN queue runs are to be serialized, check the database to
5781       ensure one isn't already running. */
5782
5783       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5784         {
5785         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5786         break;
5787         }
5788
5789       /* Fork a child process and run the command. We don't want to have to
5790       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5791       forking. It should be set that way anyway for external incoming SMTP,
5792       but we save and restore to be tidy. If serialization is required, we
5793       actually run the command in yet another process, so we can wait for it
5794       to complete and then remove the serialization lock. */
5795
5796       oldsignal = signal(SIGCHLD, SIG_IGN);
5797
5798       if ((pid = fork()) == 0)
5799         {
5800         smtp_input = FALSE;       /* This process is not associated with the */
5801         (void)fclose(smtp_in);    /* SMTP call any more. */
5802         (void)fclose(smtp_out);
5803
5804         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5805
5806         /* If not serializing, do the exec right away. Otherwise, fork down
5807         into another process. */
5808
5809         if (!smtp_etrn_serialize || (pid = fork()) == 0)
5810           {
5811           DEBUG(D_exec) debug_print_argv(argv);
5812           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5813           execv(CS argv[0], (char *const *)argv);
5814           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5815             etrn_command, strerror(errno));
5816           _exit(EXIT_FAILURE);         /* paranoia */
5817           }
5818
5819         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5820         is, we are in the first subprocess, after forking again. All we can do
5821         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5822         complete, before removing the serialization. */
5823
5824         if (pid < 0)
5825           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5826             "failed: %s", strerror(errno));
5827         else
5828           {
5829           int status;
5830           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5831             (int)pid);
5832           (void)wait(&status);
5833           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5834             (int)pid);
5835           }
5836
5837         enq_end(etrn_serialize_key);
5838         _exit(EXIT_SUCCESS);
5839         }
5840
5841       /* Back in the top level SMTP process. Check that we started a subprocess
5842       and restore the signal state. */
5843
5844       if (pid < 0)
5845         {
5846         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5847           strerror(errno));
5848         smtp_printf("458 Unable to fork process\r\n", FALSE);
5849         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5850         }
5851       else
5852         {
5853         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5854           else smtp_user_msg(US"250", user_msg);
5855         }
5856
5857       signal(SIGCHLD, oldsignal);
5858       break;
5859
5860
5861     case BADARG_CMD:
5862       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5863         US"unexpected argument data");
5864       break;
5865
5866
5867     /* This currently happens only for NULLs, but could be extended. */
5868
5869     case BADCHAR_CMD:
5870       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5871         US"NUL character(s) present (shown as '?')");
5872       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5873                   FALSE);
5874       break;
5875
5876
5877     case BADSYN_CMD:
5878     SYNC_FAILURE:
5879       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5880         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5881       c = smtp_inend - smtp_inptr;
5882       if (c > 150) c = 150;     /* limit logged amount */
5883       smtp_inptr[c] = 0;
5884       incomplete_transaction_log(US"sync failure");
5885       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5886         "(next input sent too soon: pipelining was%s advertised): "
5887         "rejected \"%s\" %s next input=\"%s\"",
5888         f.smtp_in_pipelining_advertised ? "" : " not",
5889         smtp_cmd_buffer, host_and_ident(TRUE),
5890         string_printing(smtp_inptr));
5891       smtp_notquit_exit(US"synchronization-error", US"554",
5892         US"SMTP synchronization error");
5893       done = 1;   /* Pretend eof - drops connection */
5894       break;
5895
5896
5897     case TOO_MANY_NONMAIL_CMD:
5898       s = smtp_cmd_buffer;
5899       while (*s != 0 && !isspace(*s)) s++;
5900       incomplete_transaction_log(US"too many non-mail commands");
5901       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5902         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5903         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5904       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5905       done = 1;   /* Pretend eof - drops connection */
5906       break;
5907
5908 #ifdef SUPPORT_PROXY
5909     case PROXY_FAIL_IGNORE_CMD:
5910       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5911       break;
5912 #endif
5913
5914     default:
5915       if (unknown_command_count++ >= smtp_max_unknown_commands)
5916         {
5917         log_write(L_smtp_syntax_error, LOG_MAIN,
5918           "SMTP syntax error in \"%s\" %s %s",
5919           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5920           US"unrecognized command");
5921         incomplete_transaction_log(US"unrecognized command");
5922         smtp_notquit_exit(US"bad-commands", US"500",
5923           US"Too many unrecognized commands");
5924         done = 2;
5925         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5926           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5927           string_printing(smtp_cmd_buffer));
5928         }
5929       else
5930         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5931           US"unrecognized command");
5932       break;
5933     }
5934
5935   /* This label is used by goto's inside loops that want to break out to
5936   the end of the command-processing loop. */
5937
5938   COMMAND_LOOP:
5939   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5940   last_was_rcpt = was_rcpt;             /* protocol error handling */
5941   continue;
5942   }
5943
5944 return done - 2;  /* Convert yield values */
5945 }
5946
5947
5948
5949 gstring *
5950 authres_smtpauth(gstring * g)
5951 {
5952 if (!sender_host_authenticated)
5953   return g;
5954
5955 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5956
5957 if (Ustrcmp(sender_host_auth_pubname, "tls") != 0)
5958   g = string_append(g, 2, US") smtp.auth=", authenticated_id);
5959 else if (authenticated_id)
5960   g = string_append(g, 2, US") x509.auth=", authenticated_id);
5961 else
5962   g = string_catn(g, US") reason=x509.auth", 17);
5963
5964 if (authenticated_sender)
5965   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
5966 return g;
5967 }
5968
5969
5970
5971 /* vi: aw ai sw=2
5972 */
5973 /* End of smtp_in.c */