tidying
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions for handling an incoming SMTP call. */
10
11
12 #include "exim.h"
13 #include <assert.h>
14
15
16 /* Initialize for TCP wrappers if so configured. It appears that the macro
17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
18 including that header, and restore its value afterwards. */
19
20 #ifdef USE_TCP_WRAPPERS
21
22   #if HAVE_IPV6
23   #define EXIM_HAVE_IPV6
24   #endif
25   #undef HAVE_IPV6
26   #include <tcpd.h>
27   #undef HAVE_IPV6
28   #ifdef EXIM_HAVE_IPV6
29   #define HAVE_IPV6 TRUE
30   #endif
31
32 int allow_severity = LOG_INFO;
33 int deny_severity  = LOG_NOTICE;
34 uschar *tcp_wrappers_name;
35 #endif
36
37
38 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
39 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
40 commands that accept arguments, and this in particular applies to AUTH, where
41 the data can be quite long.  More recently this value was 2048 in Exim;
42 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
43 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
44 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
45 we need room to handle large base64-encoded AUTHs for GSSAPI.
46 */
47
48 #define SMTP_CMD_BUFFER_SIZE  16384
49
50 /* Size of buffer for reading SMTP incoming packets */
51
52 #define IN_BUFFER_SIZE  8192
53
54 /* Structure for SMTP command list */
55
56 typedef struct {
57   const char *name;
58   int len;
59   short int cmd;
60   short int has_arg;
61   short int is_mail_cmd;
62 } smtp_cmd_list;
63
64 /* Codes for identifying commands. We order them so that those that come first
65 are those for which synchronization is always required. Checking this can help
66 block some spam.  */
67
68 enum {
69   /* These commands are required to be synchronized, i.e. to be the last in a
70   block of commands when pipelining. */
71
72   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
73   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
74   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
75   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
76   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
77
78   /* This is a dummy to identify the non-sync commands when pipelining */
79
80   NON_SYNC_CMD_PIPELINING,
81
82   /* These commands need not be synchronized when pipelining */
83
84   MAIL_CMD, RCPT_CMD, RSET_CMD,
85
86   /* This is a dummy to identify the non-sync commands when not pipelining */
87
88   NON_SYNC_CMD_NON_PIPELINING,
89
90   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
91   processed the message is sent using a series of BDAT commands"
92   implies that BDAT should be synchronized.  However, we see Google, at least,
93   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
94   processing of the RCPT response(s).  We shall do the same, and not require
95   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
96   command-header in the same packet we cannot do the usual "is there any
97   follow-on data after the command line" even for non-pipeline mode.
98   So we'll need an explicit check after reading the expected chunk amount
99   when non-pipe, before sending the ACK. */
100
101   BDAT_CMD,
102
103   /* I have been unable to find a statement about the use of pipelining
104   with AUTH, so to be on the safe side it is here, though I kind of feel
105   it should be up there with the synchronized commands. */
106
107   AUTH_CMD,
108
109   /* I'm not sure about these, but I don't think they matter. */
110
111   QUIT_CMD, HELP_CMD,
112
113 #ifdef SUPPORT_PROXY
114   PROXY_FAIL_IGNORE_CMD,
115 #endif
116
117   /* These are specials that don't correspond to actual commands */
118
119   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
120   TOO_MANY_NONMAIL_CMD };
121
122
123 /* This is a convenience macro for adding the identity of an SMTP command
124 to the circular buffer that holds a list of the last n received. */
125
126 #define HAD(n) \
127     smtp_connection_had[smtp_ch_index++] = n; \
128     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
129
130
131 /*************************************************
132 *                Local static variables          *
133 *************************************************/
134
135 static struct {
136   BOOL auth_advertised                  :1;
137 #ifndef DISABLE_TLS
138   BOOL tls_advertised                   :1;
139 #endif
140   BOOL dsn_advertised                   :1;
141   BOOL esmtp                            :1;
142   BOOL helo_verify_required             :1;
143   BOOL helo_verify                      :1;
144   BOOL helo_seen                        :1;
145   BOOL helo_accept_junk                 :1;
146 #ifndef DISABLE_PIPE_CONNECT
147   BOOL pipe_connect_acceptable          :1;
148 #endif
149   BOOL rcpt_smtp_response_same          :1;
150   BOOL rcpt_in_progress                 :1;
151   BOOL smtp_exit_function_called        :1;
152 #ifdef SUPPORT_I18N
153   BOOL smtputf8_advertised              :1;
154 #endif
155 } fl = {
156   .helo_verify_required = FALSE,
157   .helo_verify = FALSE,
158   .smtp_exit_function_called = FALSE,
159 };
160
161 static auth_instance *authenticated_by;
162 static int  count_nonmail;
163 static int  nonmail_command_count;
164 static int  synprot_error_count;
165 static int  unknown_command_count;
166 static int  sync_cmd_limit;
167 static int  smtp_write_error = 0;
168
169 static uschar *rcpt_smtp_response;
170 static uschar *smtp_data_buffer;
171 static uschar *smtp_cmd_data;
172
173 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
174 final fields of all except AUTH are forced TRUE at the start of a new message
175 setup, to allow one of each between messages that is not counted as a nonmail
176 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
177 allow a new EHLO after starting up TLS.
178
179 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
180 counted. However, the flag is changed when AUTH is received, so that multiple
181 failing AUTHs will eventually hit the limit. After a successful AUTH, another
182 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
183 forced TRUE, to allow for the re-authentication that can happen at that point.
184
185 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
186 count of non-mail commands and possibly provoke an error.
187
188 tls_auth is a pseudo-command, never expected in input.  It is activated
189 on TLS startup and looks for a tls authenticator. */
190
191 static smtp_cmd_list cmd_list[] = {
192   /* name         len                     cmd     has_arg is_mail_cmd */
193
194   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
195   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
196   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
197   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
198 #ifndef DISABLE_TLS
199   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
200   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
201 #endif
202
203 /* If you change anything above here, also fix the definitions below. */
204
205   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
206   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
207   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
208   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
209   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
210   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
211   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
212   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
213   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
214   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
215 };
216
217 static smtp_cmd_list *cmd_list_end =
218   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
219
220 #define CMD_LIST_RSET      0
221 #define CMD_LIST_HELO      1
222 #define CMD_LIST_EHLO      2
223 #define CMD_LIST_AUTH      3
224 #define CMD_LIST_STARTTLS  4
225 #define CMD_LIST_TLS_AUTH  5
226
227 /* This list of names is used for performing the smtp_no_mail logging action.
228 It must be kept in step with the SCH_xxx enumerations. */
229
230 uschar * smtp_names[] =
231   {
232   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
233   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
234   US"STARTTLS", US"VRFY" };
235
236 static uschar *protocols_local[] = {
237   US"local-smtp",        /* HELO */
238   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
239   US"local-esmtp",       /* EHLO */
240   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
241   US"local-esmtpa",      /* EHLO->AUTH */
242   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
243   };
244 static uschar *protocols[] = {
245   US"smtp",              /* HELO */
246   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
247   US"esmtp",             /* EHLO */
248   US"esmtps",            /* EHLO->STARTTLS->EHLO */
249   US"esmtpa",            /* EHLO->AUTH */
250   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
251   };
252
253 #define pnormal  0
254 #define pextend  2
255 #define pcrpted  1  /* added to pextend or pnormal */
256 #define pauthed  2  /* added to pextend */
257
258 /* Sanity check and validate optional args to MAIL FROM: envelope */
259 enum {
260   ENV_MAIL_OPT_NULL,
261   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
262 #ifndef DISABLE_PRDR
263   ENV_MAIL_OPT_PRDR,
264 #endif
265   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
266 #ifdef SUPPORT_I18N
267   ENV_MAIL_OPT_UTF8,
268 #endif
269   };
270 typedef struct {
271   uschar *   name;  /* option requested during MAIL cmd */
272   int       value;  /* enum type */
273   BOOL need_value;  /* TRUE requires value (name=value pair format)
274                        FALSE is a singleton */
275   } env_mail_type_t;
276 static env_mail_type_t env_mail_type_list[] = {
277     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
278     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
279     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
280 #ifndef DISABLE_PRDR
281     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
282 #endif
283     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
284     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
285 #ifdef SUPPORT_I18N
286     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
287 #endif
288     /* keep this the last entry */
289     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
290   };
291
292 /* When reading SMTP from a remote host, we have to use our own versions of the
293 C input-reading functions, in order to be able to flush the SMTP output only
294 when about to read more data from the socket. This is the only way to get
295 optimal performance when the client is using pipelining. Flushing for every
296 command causes a separate packet and reply packet each time; saving all the
297 responses up (when pipelining) combines them into one packet and one response.
298
299 For simplicity, these functions are used for *all* SMTP input, not only when
300 receiving over a socket. However, after setting up a secure socket (SSL), input
301 is read via the OpenSSL library, and another set of functions is used instead
302 (see tls.c).
303
304 These functions are set in the receive_getc etc. variables and called with the
305 same interface as the C functions. However, since there can only ever be
306 one incoming SMTP call, we just use a single buffer and flags. There is no need
307 to implement a complicated private FILE-like structure.*/
308
309 static uschar *smtp_inbuffer;
310 static uschar *smtp_inptr;
311 static uschar *smtp_inend;
312 static int     smtp_had_eof;
313 static int     smtp_had_error;
314
315
316 /* forward declarations */
317 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
318 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
319 static void smtp_quit_handler(uschar **, uschar **);
320 static void smtp_rset_handler(void);
321
322 /*************************************************
323 *          Recheck synchronization               *
324 *************************************************/
325
326 /* Synchronization checks can never be perfect because a packet may be on its
327 way but not arrived when the check is done.  Normally, the checks happen when
328 commands are read: Exim ensures that there is no more input in the input buffer.
329 In normal cases, the response to the command will be fast, and there is no
330 further check.
331
332 However, for some commands an ACL is run, and that can include delays. In those
333 cases, it is useful to do another check on the input just before sending the
334 response. This also applies at the start of a connection. This function does
335 that check by means of the select() function, as long as the facility is not
336 disabled or inappropriate. A failure of select() is ignored.
337
338 When there is unwanted input, we read it so that it appears in the log of the
339 error.
340
341 Arguments: none
342 Returns:   TRUE if all is well; FALSE if there is input pending
343 */
344
345 static BOOL
346 wouldblock_reading(void)
347 {
348 int fd, rc;
349 fd_set fds;
350 struct timeval tzero = {.tv_sec = 0, .tv_usec = 0};
351
352 #ifndef DISABLE_TLS
353 if (tls_in.active.sock >= 0)
354  return !tls_could_read();
355 #endif
356
357 if (smtp_inptr < smtp_inend)
358   return FALSE;
359
360 fd = fileno(smtp_in);
361 FD_ZERO(&fds);
362 FD_SET(fd, &fds);
363 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
364
365 if (rc <= 0) return TRUE;     /* Not ready to read */
366 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
367 if (rc < 0) return TRUE;      /* End of file or error */
368
369 smtp_ungetc(rc);
370 return FALSE;
371 }
372
373 static BOOL
374 check_sync(void)
375 {
376 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
377   return TRUE;
378
379 return wouldblock_reading();
380 }
381
382
383 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
384 a reponse with the one following. */
385
386 static BOOL
387 pipeline_response(void)
388 {
389 if (  !smtp_enforce_sync || !sender_host_address
390    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
391   return FALSE;
392
393 if (wouldblock_reading()) return FALSE;
394 f.smtp_in_pipelining_used = TRUE;
395 return TRUE;
396 }
397
398
399 #ifndef DISABLE_PIPE_CONNECT
400 static BOOL
401 pipeline_connect_sends(void)
402 {
403 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
404   return FALSE;
405
406 if (wouldblock_reading()) return FALSE;
407 f.smtp_in_early_pipe_used = TRUE;
408 return TRUE;
409 }
410 #endif
411
412 /*************************************************
413 *          Log incomplete transactions           *
414 *************************************************/
415
416 /* This function is called after a transaction has been aborted by RSET, QUIT,
417 connection drops or other errors. It logs the envelope information received
418 so far in order to preserve address verification attempts.
419
420 Argument:   string to indicate what aborted the transaction
421 Returns:    nothing
422 */
423
424 static void
425 incomplete_transaction_log(uschar *what)
426 {
427 if (!sender_address                             /* No transaction in progress */
428    || !LOGGING(smtp_incomplete_transaction))
429   return;
430
431 /* Build list of recipients for logging */
432
433 if (recipients_count > 0)
434   {
435   raw_recipients = store_get(recipients_count * sizeof(uschar *), FALSE);
436   for (int i = 0; i < recipients_count; i++)
437     raw_recipients[i] = recipients_list[i].address;
438   raw_recipients_count = recipients_count;
439   }
440
441 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
442   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
443 }
444
445
446
447
448 void
449 smtp_command_timeout_exit(void)
450 {
451 log_write(L_lost_incoming_connection,
452           LOG_MAIN, "SMTP command timeout on%s connection from %s",
453           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
454 if (smtp_batched_input)
455   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
456 smtp_notquit_exit(US"command-timeout", US"421",
457   US"%s: SMTP command timeout - closing connection",
458   smtp_active_hostname);
459 exim_exit(EXIT_FAILURE);
460 }
461
462 void
463 smtp_command_sigterm_exit(void)
464 {
465 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
466 if (smtp_batched_input)
467   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
468 smtp_notquit_exit(US"signal-exit", US"421",
469   US"%s: Service not available - closing connection", smtp_active_hostname);
470 exim_exit(EXIT_FAILURE);
471 }
472
473 void
474 smtp_data_timeout_exit(void)
475 {
476 log_write(L_lost_incoming_connection,
477   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
478   sender_fullhost ? sender_fullhost : US"local process", sender_address);
479 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
480 /* Does not return */
481 }
482
483 void
484 smtp_data_sigint_exit(void)
485 {
486 log_write(0, LOG_MAIN, "%s closed after %s",
487   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
488 receive_bomb_out(US"signal-exit",
489   US"Service not available - SIGTERM or SIGINT received");
490 /* Does not return */
491 }
492
493
494
495 /* Refill the buffer, and notify DKIM verification code.
496 Return false for error or EOF.
497 */
498
499 static BOOL
500 smtp_refill(unsigned lim)
501 {
502 int rc, save_errno;
503 if (!smtp_out) return FALSE;
504 fflush(smtp_out);
505 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
506
507 /* Limit amount read, so non-message data is not fed to DKIM.
508 Take care to not touch the safety NUL at the end of the buffer. */
509
510 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
511 save_errno = errno;
512 if (smtp_receive_timeout > 0) ALARM_CLR(0);
513 if (rc <= 0)
514   {
515   /* Must put the error text in fixed store, because this might be during
516   header reading, where it releases unused store above the header. */
517   if (rc < 0)
518     {
519     if (had_command_timeout)            /* set by signal handler */
520       smtp_command_timeout_exit();      /* does not return */
521     if (had_command_sigterm)
522       smtp_command_sigterm_exit();
523     if (had_data_timeout)
524       smtp_data_timeout_exit();
525     if (had_data_sigint)
526       smtp_data_sigint_exit();
527
528     smtp_had_error = save_errno;
529     smtp_read_error = string_copy_perm(
530       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
531     }
532   else
533     smtp_had_eof = 1;
534   return FALSE;
535   }
536 #ifndef DISABLE_DKIM
537 dkim_exim_verify_feed(smtp_inbuffer, rc);
538 #endif
539 smtp_inend = smtp_inbuffer + rc;
540 smtp_inptr = smtp_inbuffer;
541 return TRUE;
542 }
543
544 /*************************************************
545 *          SMTP version of getc()                *
546 *************************************************/
547
548 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
549 it flushes the output, and refills the buffer, with a timeout. The signal
550 handler is set appropriately by the calling function. This function is not used
551 after a connection has negotiated itself into an TLS/SSL state.
552
553 Arguments:  lim         Maximum amount to read/buffer
554 Returns:    the next character or EOF
555 */
556
557 int
558 smtp_getc(unsigned lim)
559 {
560 if (smtp_inptr >= smtp_inend)
561   if (!smtp_refill(lim))
562     return EOF;
563 return *smtp_inptr++;
564 }
565
566 uschar *
567 smtp_getbuf(unsigned * len)
568 {
569 unsigned size;
570 uschar * buf;
571
572 if (smtp_inptr >= smtp_inend)
573   if (!smtp_refill(*len))
574     { *len = 0; return NULL; }
575
576 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
577 buf = smtp_inptr;
578 smtp_inptr += size;
579 *len = size;
580 return buf;
581 }
582
583 void
584 smtp_get_cache(void)
585 {
586 #ifndef DISABLE_DKIM
587 int n = smtp_inend - smtp_inptr;
588 if (chunking_state == CHUNKING_LAST && chunking_data_left < n)
589   n = chunking_data_left;
590 if (n > 0)
591   dkim_exim_verify_feed(smtp_inptr, n);
592 #endif
593 }
594
595
596 /* Forward declarations */
597 static inline void bdat_push_receive_functions(void);
598 static inline void bdat_pop_receive_functions(void);
599
600
601 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
602 previous BDAT chunk and getting new ones when we run out.  Uses the
603 underlying smtp_getc or tls_getc both for that and for getting the
604 (buffered) data byte.  EOD signals (an expected) no further data.
605 ERR signals a protocol error, and EOF a closed input stream.
606
607 Called from read_bdat_smtp() in receive.c for the message body, but also
608 by the headers read loop in receive_msg(); manipulates chunking_state
609 to handle the BDAT command/response.
610 Placed here due to the correlation with the above smtp_getc(), which it wraps,
611 and also by the need to do smtp command/response handling.
612
613 Arguments:  lim         (ignored)
614 Returns:    the next character or ERR, EOD or EOF
615 */
616
617 int
618 bdat_getc(unsigned lim)
619 {
620 uschar * user_msg = NULL;
621 uschar * log_msg;
622
623 for(;;)
624   {
625 #ifndef DISABLE_DKIM
626   unsigned dkim_save;
627 #endif
628
629   if (chunking_data_left > 0)
630     return lwr_receive_getc(chunking_data_left--);
631
632   bdat_pop_receive_functions();
633 #ifndef DISABLE_DKIM
634   dkim_save = dkim_collect_input;
635   dkim_collect_input = 0;
636 #endif
637
638   /* Unless PIPELINING was offered, there should be no next command
639   until after we ack that chunk */
640
641   if (!f.smtp_in_pipelining_advertised && !check_sync())
642     {
643     unsigned n = smtp_inend - smtp_inptr;
644     if (n > 32) n = 32;
645
646     incomplete_transaction_log(US"sync failure");
647     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
648       "(next input sent too soon: pipelining was not advertised): "
649       "rejected \"%s\" %s next input=\"%s\"%s",
650       smtp_cmd_buffer, host_and_ident(TRUE),
651       string_printing(string_copyn(smtp_inptr, n)),
652       smtp_inend - smtp_inptr > n ? "..." : "");
653     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
654       US"SMTP synchronization error");
655     goto repeat_until_rset;
656     }
657
658   /* If not the last, ack the received chunk.  The last response is delayed
659   until after the data ACL decides on it */
660
661   if (chunking_state == CHUNKING_LAST)
662     {
663 #ifndef DISABLE_DKIM
664     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
665 #endif
666     return EOD;
667     }
668
669   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
670   chunking_state = CHUNKING_OFFERED;
671   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
672
673   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
674   QUIT, RSET or NOOP but handling them seems obvious */
675
676 next_cmd:
677   switch(smtp_read_command(TRUE, 1))
678     {
679     default:
680       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
681         US"only BDAT permissible after non-LAST BDAT");
682
683   repeat_until_rset:
684       switch(smtp_read_command(TRUE, 1))
685         {
686         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
687         case EOF_CMD:   return EOF;
688         case RSET_CMD:  smtp_rset_handler(); return ERR;
689         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
690                                           US"only RSET accepted now") > 0)
691                           return EOF;
692                         goto repeat_until_rset;
693         }
694
695     case QUIT_CMD:
696       smtp_quit_handler(&user_msg, &log_msg);
697       /*FALLTHROUGH*/
698     case EOF_CMD:
699       return EOF;
700
701     case RSET_CMD:
702       smtp_rset_handler();
703       return ERR;
704
705     case NOOP_CMD:
706       HAD(SCH_NOOP);
707       smtp_printf("250 OK\r\n", FALSE);
708       goto next_cmd;
709
710     case BDAT_CMD:
711       {
712       int n;
713
714       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
715         {
716         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
717           US"missing size for BDAT command");
718         return ERR;
719         }
720       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
721         ? CHUNKING_LAST : CHUNKING_ACTIVE;
722       chunking_data_left = chunking_datasize;
723       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
724                                     (int)chunking_state, chunking_data_left);
725
726       if (chunking_datasize == 0)
727         if (chunking_state == CHUNKING_LAST)
728           return EOD;
729         else
730           {
731           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
732             US"zero size for BDAT command");
733           goto repeat_until_rset;
734           }
735
736       bdat_push_receive_functions();
737 #ifndef DISABLE_DKIM
738       dkim_collect_input = dkim_save;
739 #endif
740       break;    /* to top of main loop */
741       }
742     }
743   }
744 }
745
746 uschar *
747 bdat_getbuf(unsigned * len)
748 {
749 uschar * buf;
750
751 if (chunking_data_left <= 0)
752   { *len = 0; return NULL; }
753
754 if (*len > chunking_data_left) *len = chunking_data_left;
755 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
756 chunking_data_left -= *len;
757 return buf;
758 }
759
760 void
761 bdat_flush_data(void)
762 {
763 while (chunking_data_left)
764   {
765   unsigned n = chunking_data_left;
766   if (!bdat_getbuf(&n)) break;
767   }
768
769 bdat_pop_receive_functions();
770
771 if (chunking_state != CHUNKING_LAST)
772   {
773   chunking_state = CHUNKING_OFFERED;
774   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
775   }
776 }
777
778
779 static inline void
780 bdat_push_receive_functions(void)
781 {
782 /* push the current receive_* function on the "stack", and
783 replace them by bdat_getc(), which in turn will use the lwr_receive_*
784 functions to do the dirty work. */
785 if (lwr_receive_getc == NULL)
786   {
787   lwr_receive_getc = receive_getc;
788   lwr_receive_getbuf = receive_getbuf;
789   lwr_receive_ungetc = receive_ungetc;
790   }
791 else
792   {
793   DEBUG(D_receive) debug_printf("chunking double-push receive functions\n");
794   }
795
796 receive_getc = bdat_getc;
797 receive_getbuf = bdat_getbuf;
798 receive_ungetc = bdat_ungetc;
799 }
800
801 static inline void
802 bdat_pop_receive_functions(void)
803 {
804 if (lwr_receive_getc == NULL)
805   {
806   DEBUG(D_receive) debug_printf("chunking double-pop receive functions\n");
807   return;
808   }
809 receive_getc = lwr_receive_getc;
810 receive_getbuf = lwr_receive_getbuf;
811 receive_ungetc = lwr_receive_ungetc;
812
813 lwr_receive_getc = NULL;
814 lwr_receive_getbuf = NULL;
815 lwr_receive_ungetc = NULL;
816 }
817
818 /*************************************************
819 *          SMTP version of ungetc()              *
820 *************************************************/
821
822 /* Puts a character back in the input buffer. Only ever
823 called once.
824
825 Arguments:
826   ch           the character
827
828 Returns:       the character
829 */
830
831 int
832 smtp_ungetc(int ch)
833 {
834 if (smtp_inptr <= smtp_inbuffer)
835   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "buffer underflow in smtp_ungetc");
836
837 *--smtp_inptr = ch;
838 return ch;
839 }
840
841
842 int
843 bdat_ungetc(int ch)
844 {
845 chunking_data_left++;
846 bdat_push_receive_functions();  /* we're not done yet, calling push is safe, because it checks the state before pushing anything */
847 return lwr_receive_ungetc(ch);
848 }
849
850
851
852 /*************************************************
853 *          SMTP version of feof()                *
854 *************************************************/
855
856 /* Tests for a previous EOF
857
858 Arguments:     none
859 Returns:       non-zero if the eof flag is set
860 */
861
862 int
863 smtp_feof(void)
864 {
865 return smtp_had_eof;
866 }
867
868
869
870
871 /*************************************************
872 *          SMTP version of ferror()              *
873 *************************************************/
874
875 /* Tests for a previous read error, and returns with errno
876 restored to what it was when the error was detected.
877
878 Arguments:     none
879 Returns:       non-zero if the error flag is set
880 */
881
882 int
883 smtp_ferror(void)
884 {
885 errno = smtp_had_error;
886 return smtp_had_error;
887 }
888
889
890
891 /*************************************************
892 *      Test for characters in the SMTP buffer    *
893 *************************************************/
894
895 /* Used at the end of a message
896
897 Arguments:     none
898 Returns:       TRUE/FALSE
899 */
900
901 BOOL
902 smtp_buffered(void)
903 {
904 return smtp_inptr < smtp_inend;
905 }
906
907
908
909 /*************************************************
910 *     Write formatted string to SMTP channel     *
911 *************************************************/
912
913 /* This is a separate function so that we don't have to repeat everything for
914 TLS support or debugging. It is global so that the daemon and the
915 authentication functions can use it. It does not return any error indication,
916 because major problems such as dropped connections won't show up till an output
917 flush for non-TLS connections. The smtp_fflush() function is available for
918 checking that: for convenience, TLS output errors are remembered here so that
919 they are also picked up later by smtp_fflush().
920
921 This function is exposed to the local_scan API; do not change the signature.
922
923 Arguments:
924   format      format string
925   more        further data expected
926   ...         optional arguments
927
928 Returns:      nothing
929 */
930
931 void
932 smtp_printf(const char *format, BOOL more, ...)
933 {
934 va_list ap;
935
936 va_start(ap, more);
937 smtp_vprintf(format, more, ap);
938 va_end(ap);
939 }
940
941 /* This is split off so that verify.c:respond_printf() can, in effect, call
942 smtp_printf(), bearing in mind that in C a vararg function can't directly
943 call another vararg function, only a function which accepts a va_list.
944
945 This function is exposed to the local_scan API; do not change the signature.
946 */
947 /*XXX consider passing caller-info in, for string_vformat-onward */
948
949 void
950 smtp_vprintf(const char *format, BOOL more, va_list ap)
951 {
952 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
953 BOOL yield;
954
955 /* Use taint-unchecked routines for writing into big_buffer, trusting
956 that we'll never expand it. */
957
958 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
959 string_from_gstring(&gs);
960
961 DEBUG(D_receive)
962   {
963   uschar *msg_copy, *cr, *end;
964   msg_copy = string_copy(gs.s);
965   end = msg_copy + gs.ptr;
966   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
967     memmove(cr, cr + 1, (end--) - cr);
968   debug_printf("SMTP>> %s", msg_copy);
969   }
970
971 if (!yield)
972   {
973   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
974   smtp_closedown(US"Unexpected error");
975   exim_exit(EXIT_FAILURE);
976   }
977
978 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
979 have had the same. Note: this code is also present in smtp_respond(). It would
980 be tidier to have it only in one place, but when it was added, it was easier to
981 do it that way, so as not to have to mess with the code for the RCPT command,
982 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
983
984 if (fl.rcpt_in_progress)
985   {
986   if (rcpt_smtp_response == NULL)
987     rcpt_smtp_response = string_copy(big_buffer);
988   else if (fl.rcpt_smtp_response_same &&
989            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
990     fl.rcpt_smtp_response_same = FALSE;
991   fl.rcpt_in_progress = FALSE;
992   }
993
994 /* Now write the string */
995
996 if (
997 #ifndef DISABLE_TLS
998     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
999 #endif
1000     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
1001    )
1002     smtp_write_error = -1;
1003 }
1004
1005
1006
1007 /*************************************************
1008 *        Flush SMTP out and check for error      *
1009 *************************************************/
1010
1011 /* This function isn't currently used within Exim (it detects errors when it
1012 tries to read the next SMTP input), but is available for use in local_scan().
1013 It flushes the output and checks for errors.
1014
1015 Arguments:  none
1016 Returns:    0 for no error; -1 after an error
1017 */
1018
1019 int
1020 smtp_fflush(void)
1021 {
1022 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
1023
1024 if (
1025 #ifndef DISABLE_TLS
1026     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
1027 #endif
1028     (fflush(smtp_out) != 0)
1029    )
1030     smtp_write_error = -1;
1031
1032 return smtp_write_error;
1033 }
1034
1035
1036
1037 /*************************************************
1038 *          SMTP command read timeout             *
1039 *************************************************/
1040
1041 /* Signal handler for timing out incoming SMTP commands. This attempts to
1042 finish off tidily.
1043
1044 Argument: signal number (SIGALRM)
1045 Returns:  nothing
1046 */
1047
1048 static void
1049 command_timeout_handler(int sig)
1050 {
1051 had_command_timeout = sig;
1052 }
1053
1054
1055
1056 /*************************************************
1057 *               SIGTERM received                 *
1058 *************************************************/
1059
1060 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1061
1062 Argument: signal number (SIGTERM)
1063 Returns:  nothing
1064 */
1065
1066 static void
1067 command_sigterm_handler(int sig)
1068 {
1069 had_command_sigterm = sig;
1070 }
1071
1072
1073
1074
1075 #ifdef SUPPORT_PROXY
1076 /*************************************************
1077 *       Check if host is required proxy host     *
1078 *************************************************/
1079 /* The function determines if inbound host will be a regular smtp host
1080 or if it is configured that it must use Proxy Protocol.  A local
1081 connection cannot.
1082
1083 Arguments: none
1084 Returns:   bool
1085 */
1086
1087 static BOOL
1088 check_proxy_protocol_host()
1089 {
1090 int rc;
1091
1092 if (  sender_host_address
1093    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1094                            sender_host_address, NULL)) == OK)
1095   {
1096   DEBUG(D_receive)
1097     debug_printf("Detected proxy protocol configured host\n");
1098   proxy_session = TRUE;
1099   }
1100 return proxy_session;
1101 }
1102
1103
1104 /*************************************************
1105 *    Read data until newline or end of buffer    *
1106 *************************************************/
1107 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1108 read an entire buffer and assume there will be nothing past a proxy protocol
1109 header.  Our approach normally is to use stdio, but again that relies upon
1110 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1111 reading _nothing_ before client TLS handshake.  So we don't want to use the
1112 usual buffering reads which may read enough to block TLS starting.
1113
1114 So unfortunately we're down to "read one byte at a time, with a syscall each,
1115 and expect a little overhead", for all proxy-opened connections which are v1,
1116 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1117 underlying fd, we can't assume that we can feed them any already-read content.
1118
1119 We need to know where to read to, the max capacity, and we'll read until we
1120 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1121
1122 Return the amount read.
1123 */
1124
1125 static int
1126 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1127 {
1128 uschar *to = base + already;
1129 uschar *cr;
1130 int have = 0;
1131 int ret;
1132 int last = 0;
1133
1134 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1135 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1136
1137 cr = memchr(base, '\r', already);
1138 if (cr != NULL)
1139   {
1140   if ((cr - base) < already - 1)
1141     {
1142     /* \r and presumed \n already within what we have; probably not
1143     actually proxy protocol, but abort cleanly. */
1144     return 0;
1145     }
1146   /* \r is last character read, just need one more. */
1147   last = 1;
1148   }
1149
1150 while (capacity > 0)
1151   {
1152   do { ret = read(fd, to, 1); } while (ret == -1 && errno == EINTR && !had_command_timeout);
1153   if (ret == -1)
1154     return -1;
1155   have++;
1156   if (last)
1157     return have;
1158   if (*to == '\r')
1159     last = 1;
1160   capacity--;
1161   to++;
1162   }
1163
1164 /* reached end without having room for a final newline, abort */
1165 errno = EOVERFLOW;
1166 return -1;
1167 }
1168
1169 /*************************************************
1170 *         Setup host for proxy protocol          *
1171 *************************************************/
1172 /* The function configures the connection based on a header from the
1173 inbound host to use Proxy Protocol. The specification is very exact
1174 so exit with an error if do not find the exact required pieces. This
1175 includes an incorrect number of spaces separating args.
1176
1177 Arguments: none
1178 Returns:   Boolean success
1179 */
1180
1181 static void
1182 setup_proxy_protocol_host()
1183 {
1184 union {
1185   struct {
1186     uschar line[108];
1187   } v1;
1188   struct {
1189     uschar sig[12];
1190     uint8_t ver_cmd;
1191     uint8_t fam;
1192     uint16_t len;
1193     union {
1194       struct { /* TCP/UDP over IPv4, len = 12 */
1195         uint32_t src_addr;
1196         uint32_t dst_addr;
1197         uint16_t src_port;
1198         uint16_t dst_port;
1199       } ip4;
1200       struct { /* TCP/UDP over IPv6, len = 36 */
1201         uint8_t  src_addr[16];
1202         uint8_t  dst_addr[16];
1203         uint16_t src_port;
1204         uint16_t dst_port;
1205       } ip6;
1206       struct { /* AF_UNIX sockets, len = 216 */
1207         uschar   src_addr[108];
1208         uschar   dst_addr[108];
1209       } unx;
1210     } addr;
1211   } v2;
1212 } hdr;
1213
1214 /* Temp variables used in PPv2 address:port parsing */
1215 uint16_t tmpport;
1216 char tmpip[INET_ADDRSTRLEN];
1217 struct sockaddr_in tmpaddr;
1218 char tmpip6[INET6_ADDRSTRLEN];
1219 struct sockaddr_in6 tmpaddr6;
1220
1221 /* We can't read "all data until end" because while SMTP is
1222 server-speaks-first, the TLS handshake is client-speaks-first, so for
1223 TLS-on-connect ports the proxy protocol header will usually be immediately
1224 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1225 reinject data for reading by those.  So instead we first read "enough to be
1226 safely read within the header, and figure out how much more to read".
1227 For v1 we will later read to the end-of-line, for v2 we will read based upon
1228 the stated length.
1229
1230 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1231 data is needed total.  For v1, where the line looks like:
1232 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1233
1234 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1235 We seem to support that.  So, if we read 14 octets then we can tell if we're
1236 v2 or v1.  If we're v1, we can continue reading as normal.
1237
1238 If we're v2, we can't slurp up the entire header.  We need the length in the
1239 15th & 16th octets, then to read everything after that.
1240
1241 So to safely handle v1 and v2, with client-sent-first supported correctly,
1242 we have to do a minimum of 3 read calls, not 1.  Eww.
1243 */
1244
1245 #define PROXY_INITIAL_READ 14
1246 #define PROXY_V2_HEADER_SIZE 16
1247 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1248 # error Code bug in sizes of data to read for proxy usage
1249 #endif
1250
1251 int get_ok = 0;
1252 int size, ret;
1253 int fd = fileno(smtp_in);
1254 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1255 uschar * iptype;  /* To display debug info */
1256 socklen_t vslen = sizeof(struct timeval);
1257 BOOL yield = FALSE;
1258
1259 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1260 ALARM(proxy_protocol_timeout);
1261
1262 do
1263   {
1264   /* The inbound host was declared to be a Proxy Protocol host, so
1265   don't do a PEEK into the data, actually slurp up enough to be
1266   "safe". Can't take it all because TLS-on-connect clients follow
1267   immediately with TLS handshake. */
1268   ret = read(fd, &hdr, PROXY_INITIAL_READ);
1269   }
1270   while (ret == -1 && errno == EINTR && !had_command_timeout);
1271
1272 if (ret == -1)
1273   goto proxyfail;
1274
1275 /* For v2, handle reading the length, and then the rest. */
1276 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1277   {
1278   int retmore;
1279   uint8_t ver;
1280
1281   /* First get the length fields. */
1282   do
1283     {
1284     retmore = read(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ);
1285     } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1286   if (retmore == -1)
1287     goto proxyfail;
1288   ret += retmore;
1289
1290   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1291
1292   /* May 2014: haproxy combined the version and command into one byte to
1293   allow two full bytes for the length field in order to proxy SSL
1294   connections.  SSL Proxy is not supported in this version of Exim, but
1295   must still separate values here. */
1296
1297   if (ver != 0x02)
1298     {
1299     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1300     goto proxyfail;
1301     }
1302
1303   /* The v2 header will always be 16 bytes per the spec. */
1304   size = 16 + ntohs(hdr.v2.len);
1305   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1306       size, (int)sizeof(hdr));
1307
1308   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1309   amount that we need.  Double-check that the size is not unreasonable, then
1310   get the rest. */
1311   if (size > sizeof(hdr))
1312     {
1313     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1314     goto proxyfail;
1315     }
1316
1317   do
1318     {
1319     do
1320       {
1321       retmore = read(fd, (uschar*)&hdr + ret, size-ret);
1322       } while (retmore == -1 && errno == EINTR && !had_command_timeout);
1323     if (retmore == -1)
1324       goto proxyfail;
1325     ret += retmore;
1326     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1327     } while (ret < size);
1328
1329   } /* end scope for getting rest of data for v2 */
1330
1331 /* At this point: if PROXYv2, we've read the exact size required for all data;
1332 if PROXYv1 then we've read "less than required for any valid line" and should
1333 read the rest". */
1334
1335 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1336   {
1337   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1338
1339   switch (cmd)
1340     {
1341     case 0x01: /* PROXY command */
1342       switch (hdr.v2.fam)
1343         {
1344         case 0x11:  /* TCPv4 address type */
1345           iptype = US"IPv4";
1346           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1347           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1348           if (!string_is_ip_address(US tmpip, NULL))
1349             {
1350             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1351             goto proxyfail;
1352             }
1353           proxy_local_address = sender_host_address;
1354           sender_host_address = string_copy(US tmpip);
1355           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1356           proxy_local_port    = sender_host_port;
1357           sender_host_port    = tmpport;
1358           /* Save dest ip/port */
1359           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1360           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1361           if (!string_is_ip_address(US tmpip, NULL))
1362             {
1363             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1364             goto proxyfail;
1365             }
1366           proxy_external_address = string_copy(US tmpip);
1367           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1368           proxy_external_port  = tmpport;
1369           goto done;
1370         case 0x21:  /* TCPv6 address type */
1371           iptype = US"IPv6";
1372           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1373           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1374           if (!string_is_ip_address(US tmpip6, NULL))
1375             {
1376             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1377             goto proxyfail;
1378             }
1379           proxy_local_address = sender_host_address;
1380           sender_host_address = string_copy(US tmpip6);
1381           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1382           proxy_local_port    = sender_host_port;
1383           sender_host_port    = tmpport;
1384           /* Save dest ip/port */
1385           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1386           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1387           if (!string_is_ip_address(US tmpip6, NULL))
1388             {
1389             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1390             goto proxyfail;
1391             }
1392           proxy_external_address = string_copy(US tmpip6);
1393           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1394           proxy_external_port  = tmpport;
1395           goto done;
1396         default:
1397           DEBUG(D_receive)
1398             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1399                          hdr.v2.fam);
1400           goto proxyfail;
1401         }
1402       /* Unsupported protocol, keep local connection address */
1403       break;
1404     case 0x00: /* LOCAL command */
1405       /* Keep local connection address for LOCAL */
1406       iptype = US"local";
1407       break;
1408     default:
1409       DEBUG(D_receive)
1410         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1411       goto proxyfail;
1412     }
1413   }
1414 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1415   {
1416   uschar *p;
1417   uschar *end;
1418   uschar *sp;     /* Utility variables follow */
1419   int     tmp_port;
1420   int     r2;
1421   char   *endc;
1422
1423   /* get the rest of the line */
1424   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1425   if (r2 == -1)
1426     goto proxyfail;
1427   ret += r2;
1428
1429   p = string_copy(hdr.v1.line);
1430   end = memchr(p, '\r', ret - 1);
1431
1432   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1433     {
1434     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1435     goto proxyfail;
1436     }
1437   *end = '\0'; /* Terminate the string */
1438   size = end + 2 - p; /* Skip header + CRLF */
1439   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1440   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1441   /* Step through the string looking for the required fields. Ensure
1442   strict adherence to required formatting, exit for any error. */
1443   p += 5;
1444   if (!isspace(*(p++)))
1445     {
1446     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1447     goto proxyfail;
1448     }
1449   if (!Ustrncmp(p, CCS"TCP4", 4))
1450     iptype = US"IPv4";
1451   else if (!Ustrncmp(p,CCS"TCP6", 4))
1452     iptype = US"IPv6";
1453   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1454     {
1455     iptype = US"Unknown";
1456     goto done;
1457     }
1458   else
1459     {
1460     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1461     goto proxyfail;
1462     }
1463
1464   p += Ustrlen(iptype);
1465   if (!isspace(*(p++)))
1466     {
1467     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1468     goto proxyfail;
1469     }
1470   /* Find the end of the arg */
1471   if ((sp = Ustrchr(p, ' ')) == NULL)
1472     {
1473     DEBUG(D_receive)
1474       debug_printf("Did not find proxied src %s\n", iptype);
1475     goto proxyfail;
1476     }
1477   *sp = '\0';
1478   if(!string_is_ip_address(p, NULL))
1479     {
1480     DEBUG(D_receive)
1481       debug_printf("Proxied src arg is not an %s address\n", iptype);
1482     goto proxyfail;
1483     }
1484   proxy_local_address = sender_host_address;
1485   sender_host_address = p;
1486   p = sp + 1;
1487   if ((sp = Ustrchr(p, ' ')) == NULL)
1488     {
1489     DEBUG(D_receive)
1490       debug_printf("Did not find proxy dest %s\n", iptype);
1491     goto proxyfail;
1492     }
1493   *sp = '\0';
1494   if(!string_is_ip_address(p, NULL))
1495     {
1496     DEBUG(D_receive)
1497       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1498     goto proxyfail;
1499     }
1500   proxy_external_address = p;
1501   p = sp + 1;
1502   if ((sp = Ustrchr(p, ' ')) == NULL)
1503     {
1504     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1505     goto proxyfail;
1506     }
1507   *sp = '\0';
1508   tmp_port = strtol(CCS p, &endc, 10);
1509   if (*endc || tmp_port == 0)
1510     {
1511     DEBUG(D_receive)
1512       debug_printf("Proxied src port '%s' not an integer\n", p);
1513     goto proxyfail;
1514     }
1515   proxy_local_port = sender_host_port;
1516   sender_host_port = tmp_port;
1517   p = sp + 1;
1518   if ((sp = Ustrchr(p, '\0')) == NULL)
1519     {
1520     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1521     goto proxyfail;
1522     }
1523   tmp_port = strtol(CCS p, &endc, 10);
1524   if (*endc || tmp_port == 0)
1525     {
1526     DEBUG(D_receive)
1527       debug_printf("Proxy dest port '%s' not an integer\n", p);
1528     goto proxyfail;
1529     }
1530   proxy_external_port = tmp_port;
1531   /* Already checked for /r /n above. Good V1 header received. */
1532   }
1533 else
1534   {
1535   /* Wrong protocol */
1536   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1537   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1538   goto proxyfail;
1539   }
1540
1541 done:
1542   DEBUG(D_receive)
1543     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1544   yield = proxy_session;
1545
1546 /* Don't flush any potential buffer contents. Any input on proxyfail
1547 should cause a synchronization failure */
1548
1549 proxyfail:
1550   DEBUG(D_receive) if (had_command_timeout)
1551     debug_printf("Timeout while reading proxy header\n");
1552
1553 bad:
1554   if (yield)
1555     {
1556     sender_host_name = NULL;
1557     (void) host_name_lookup();
1558     host_build_sender_fullhost();
1559     }
1560   else
1561     {
1562     f.proxy_session_failed = TRUE;
1563     DEBUG(D_receive)
1564       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1565     }
1566
1567 ALARM(0);
1568 return;
1569 }
1570 #endif
1571
1572 /*************************************************
1573 *           Read one command line                *
1574 *************************************************/
1575
1576 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1577 There are sites that don't do this, and in any case internal SMTP probably
1578 should check only for LF. Consequently, we check here for LF only. The line
1579 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1580 an unknown command. The command is read into the global smtp_cmd_buffer so that
1581 it is available via $smtp_command.
1582
1583 The character reading routine sets up a timeout for each block actually read
1584 from the input (which may contain more than one command). We set up a special
1585 signal handler that closes down the session on a timeout. Control does not
1586 return when it runs.
1587
1588 Arguments:
1589   check_sync    if TRUE, check synchronization rules if global option is TRUE
1590   buffer_lim    maximum to buffer in lower layer
1591
1592 Returns:       a code identifying the command (enumerated above)
1593 */
1594
1595 static int
1596 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1597 {
1598 int c;
1599 int ptr = 0;
1600 BOOL hadnull = FALSE;
1601
1602 had_command_timeout = 0;
1603 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1604
1605 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1606   {
1607   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1608     {
1609     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1610     return OTHER_CMD;
1611     }
1612   if (c == 0)
1613     {
1614     hadnull = TRUE;
1615     c = '?';
1616     }
1617   smtp_cmd_buffer[ptr++] = c;
1618   }
1619
1620 receive_linecount++;    /* For BSMTP errors */
1621 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1622
1623 /* If hit end of file, return pseudo EOF command. Whether we have a
1624 part-line already read doesn't matter, since this is an error state. */
1625
1626 if (c == EOF) return EOF_CMD;
1627
1628 /* Remove any CR and white space at the end of the line, and terminate the
1629 string. */
1630
1631 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1632 smtp_cmd_buffer[ptr] = 0;
1633
1634 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1635
1636 /* NULLs are not allowed in SMTP commands */
1637
1638 if (hadnull) return BADCHAR_CMD;
1639
1640 /* Scan command list and return identity, having set the data pointer
1641 to the start of the actual data characters. Check for SMTP synchronization
1642 if required. */
1643
1644 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1645   {
1646 #ifdef SUPPORT_PROXY
1647   /* Only allow QUIT command if Proxy Protocol parsing failed */
1648   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1649     continue;
1650 #endif
1651   if (  p->len
1652      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1653      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1654         || smtp_cmd_buffer[p->len] == 0
1655         || smtp_cmd_buffer[p->len] == ' '
1656      )  )
1657     {
1658     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1659         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1660         check_sync &&                                  /* Local flag set */
1661         smtp_enforce_sync &&                           /* Global flag set */
1662         sender_host_address != NULL &&                 /* Not local input */
1663         !f.sender_host_notsocket)                        /* Really is a socket */
1664       return BADSYN_CMD;
1665
1666     /* The variables $smtp_command and $smtp_command_argument point into the
1667     unmodified input buffer. A copy of the latter is taken for actual
1668     processing, so that it can be chopped up into separate parts if necessary,
1669     for example, when processing a MAIL command options such as SIZE that can
1670     follow the sender address. */
1671
1672     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1673     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1674     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1675     smtp_cmd_data = smtp_data_buffer;
1676
1677     /* Count non-mail commands from those hosts that are controlled in this
1678     way. The default is all hosts. We don't waste effort checking the list
1679     until we get a non-mail command, but then cache the result to save checking
1680     again. If there's a DEFER while checking the host, assume it's in the list.
1681
1682     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1683     start of each incoming message by fiddling with the value in the table. */
1684
1685     if (!p->is_mail_cmd)
1686       {
1687       if (count_nonmail == TRUE_UNSET) count_nonmail =
1688         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1689       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1690         return TOO_MANY_NONMAIL_CMD;
1691       }
1692
1693     /* If there is data for a command that does not expect it, generate the
1694     error here. */
1695
1696     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1697     }
1698   }
1699
1700 #ifdef SUPPORT_PROXY
1701 /* Only allow QUIT command if Proxy Protocol parsing failed */
1702 if (proxy_session && f.proxy_session_failed)
1703   return PROXY_FAIL_IGNORE_CMD;
1704 #endif
1705
1706 /* Enforce synchronization for unknown commands */
1707
1708 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1709    && check_sync                        /* Local flag set */
1710    && smtp_enforce_sync                 /* Global flag set */
1711    && sender_host_address               /* Not local input */
1712    && !f.sender_host_notsocket)         /* Really is a socket */
1713   return BADSYN_CMD;
1714
1715 return OTHER_CMD;
1716 }
1717
1718
1719
1720 /*************************************************
1721 *          Forced closedown of call              *
1722 *************************************************/
1723
1724 /* This function is called from log.c when Exim is dying because of a serious
1725 disaster, and also from some other places. If an incoming non-batched SMTP
1726 channel is open, it swallows the rest of the incoming message if in the DATA
1727 phase, sends the reply string, and gives an error to all subsequent commands
1728 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1729 smtp_in.
1730
1731 Arguments:
1732   message   SMTP reply string to send, excluding the code
1733
1734 Returns:    nothing
1735 */
1736
1737 void
1738 smtp_closedown(uschar *message)
1739 {
1740 if (!smtp_in || smtp_batched_input) return;
1741 receive_swallow_smtp();
1742 smtp_printf("421 %s\r\n", FALSE, message);
1743
1744 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1745   {
1746   case EOF_CMD:
1747     return;
1748
1749   case QUIT_CMD:
1750     f.smtp_in_quit = TRUE;
1751     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1752     mac_smtp_fflush();
1753     return;
1754
1755   case RSET_CMD:
1756     smtp_printf("250 Reset OK\r\n", FALSE);
1757     break;
1758
1759   default:
1760     smtp_printf("421 %s\r\n", FALSE, message);
1761     break;
1762   }
1763 }
1764
1765
1766
1767
1768 /*************************************************
1769 *        Set up connection info for logging      *
1770 *************************************************/
1771
1772 /* This function is called when logging information about an SMTP connection.
1773 It sets up appropriate source information, depending on the type of connection.
1774 If sender_fullhost is NULL, we are at a very early stage of the connection;
1775 just use the IP address.
1776
1777 Argument:    none
1778 Returns:     a string describing the connection
1779 */
1780
1781 uschar *
1782 smtp_get_connection_info(void)
1783 {
1784 const uschar * hostname = sender_fullhost
1785   ? sender_fullhost : sender_host_address;
1786
1787 if (host_checking)
1788   return string_sprintf("SMTP connection from %s", hostname);
1789
1790 if (f.sender_host_unknown || f.sender_host_notsocket)
1791   return string_sprintf("SMTP connection from %s", sender_ident);
1792
1793 if (f.is_inetd)
1794   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1795
1796 if (LOGGING(incoming_interface) && interface_address)
1797   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1798     interface_address, interface_port);
1799
1800 return string_sprintf("SMTP connection from %s", hostname);
1801 }
1802
1803
1804
1805 #ifndef DISABLE_TLS
1806 /* Append TLS-related information to a log line
1807
1808 Arguments:
1809   g             String under construction: allocated string to extend, or NULL
1810
1811 Returns:        Allocated string or NULL
1812 */
1813 static gstring *
1814 s_tlslog(gstring * g)
1815 {
1816 if (LOGGING(tls_cipher) && tls_in.cipher)
1817   {
1818   g = string_append(g, 2, US" X=", tls_in.cipher);
1819 #ifndef DISABLE_TLS_RESUME
1820   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1821     g = string_catn(g, US"*", 1);
1822 #endif
1823   }
1824 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1825   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1826 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1827   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1828 if (LOGGING(tls_sni) && tls_in.sni)
1829   g = string_append(g, 2, US" SNI=", string_printing2(tls_in.sni, SP_TAB|SP_SPACE));
1830 return g;
1831 }
1832 #endif
1833
1834
1835
1836 static gstring *
1837 s_connhad_log(gstring * g)
1838 {
1839 const uschar * sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE
1840   ? US" C=..." : US" C=";
1841
1842 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1843   if (smtp_connection_had[i] != SCH_NONE)
1844     {
1845     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1846     sep = US",";
1847     }
1848 for (int i = 0; i < smtp_ch_index; i++, sep = US",")
1849   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1850 return g;
1851 }
1852
1853
1854 /*************************************************
1855 *      Log lack of MAIL if so configured         *
1856 *************************************************/
1857
1858 /* This function is called when an SMTP session ends. If the log selector
1859 smtp_no_mail is set, write a log line giving some details of what has happened
1860 in the SMTP session.
1861
1862 Arguments:   none
1863 Returns:     nothing
1864 */
1865
1866 void
1867 smtp_log_no_mail(void)
1868 {
1869 uschar * s;
1870 gstring * g = NULL;
1871
1872 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1873   return;
1874
1875 if (sender_host_authenticated)
1876   {
1877   g = string_append(g, 2, US" A=", sender_host_authenticated);
1878   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1879   }
1880
1881 #ifndef DISABLE_TLS
1882 g = s_tlslog(g);
1883 #endif
1884
1885 g = s_connhad_log(g);
1886
1887 if (!(s = string_from_gstring(g))) s = US"";
1888
1889 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1890   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1891   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1892 }
1893
1894
1895 /* Return list of recent smtp commands */
1896
1897 uschar *
1898 smtp_cmd_hist(void)
1899 {
1900 gstring * list = NULL;
1901 uschar * s;
1902
1903 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1904   if (smtp_connection_had[i] != SCH_NONE)
1905     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1906
1907 for (int i = 0; i < smtp_ch_index; i++)
1908   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1909
1910 s = string_from_gstring(list);
1911 return s ? s : US"";
1912 }
1913
1914
1915
1916
1917 /*************************************************
1918 *   Check HELO line and set sender_helo_name     *
1919 *************************************************/
1920
1921 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1922 the domain name of the sending host, or an ip literal in square brackets. The
1923 argument is placed in sender_helo_name, which is in malloc store, because it
1924 must persist over multiple incoming messages. If helo_accept_junk is set, this
1925 host is permitted to send any old junk (needed for some broken hosts).
1926 Otherwise, helo_allow_chars can be used for rogue characters in general
1927 (typically people want to let in underscores).
1928
1929 Argument:
1930   s       the data portion of the line (already past any white space)
1931
1932 Returns:  TRUE or FALSE
1933 */
1934
1935 static BOOL
1936 check_helo(uschar *s)
1937 {
1938 uschar *start = s;
1939 uschar *end = s + Ustrlen(s);
1940 BOOL yield = fl.helo_accept_junk;
1941
1942 /* Discard any previous helo name */
1943
1944 sender_helo_name = NULL;
1945
1946 /* Skip tests if junk is permitted. */
1947
1948 if (!yield)
1949
1950   /* Allow the new standard form for IPv6 address literals, namely,
1951   [IPv6:....], and because someone is bound to use it, allow an equivalent
1952   IPv4 form. Allow plain addresses as well. */
1953
1954   if (*s == '[')
1955     {
1956     if (end[-1] == ']')
1957       {
1958       end[-1] = 0;
1959       if (strncmpic(s, US"[IPv6:", 6) == 0)
1960         yield = (string_is_ip_address(s+6, NULL) == 6);
1961       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1962         yield = (string_is_ip_address(s+6, NULL) == 4);
1963       else
1964         yield = (string_is_ip_address(s+1, NULL) != 0);
1965       end[-1] = ']';
1966       }
1967     }
1968
1969   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1970   that have been configured (usually underscore - sigh). */
1971
1972   else if (*s)
1973     for (yield = TRUE; *s; s++)
1974       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1975           Ustrchr(helo_allow_chars, *s) == NULL)
1976         {
1977         yield = FALSE;
1978         break;
1979         }
1980
1981 /* Save argument if OK */
1982
1983 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
1984 return yield;
1985 }
1986
1987
1988
1989
1990
1991 /*************************************************
1992 *         Extract SMTP command option            *
1993 *************************************************/
1994
1995 /* This function picks the next option setting off the end of smtp_cmd_data. It
1996 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1997 things that can appear there.
1998
1999 Arguments:
2000    name           point this at the name
2001    value          point this at the data string
2002
2003 Returns:          TRUE if found an option
2004 */
2005
2006 static BOOL
2007 extract_option(uschar **name, uschar **value)
2008 {
2009 uschar *n;
2010 uschar *v;
2011 if (Ustrlen(smtp_cmd_data) <= 0) return FALSE;
2012 v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
2013 while (v > smtp_cmd_data && isspace(*v)) v--;
2014 v[1] = 0;
2015
2016 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
2017   {
2018   /* Take care to not stop at a space embedded in a quoted local-part */
2019   if (*v == '"')
2020     {
2021     do v--; while (v > smtp_cmd_data && *v != '"');
2022     if (v <= smtp_cmd_data) return FALSE;
2023     }
2024   v--;
2025   }
2026 if (v <= smtp_cmd_data) return FALSE;
2027
2028 n = v;
2029 if (*v == '=')
2030   {
2031   while (n > smtp_cmd_data && isalpha(n[-1])) n--;
2032   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2033   if (n <= smtp_cmd_data || !isspace(n[-1])) return FALSE;
2034   n[-1] = 0;
2035   }
2036 else
2037   {
2038   n++;
2039   }
2040 *v++ = 0;
2041 *name = n;
2042 *value = v;
2043 return TRUE;
2044 }
2045
2046
2047
2048
2049
2050 /*************************************************
2051 *         Reset for new message                  *
2052 *************************************************/
2053
2054 /* This function is called whenever the SMTP session is reset from
2055 within either of the setup functions; also from the daemon loop.
2056
2057 Argument:   the stacking pool storage reset point
2058 Returns:    nothing
2059 */
2060
2061 void *
2062 smtp_reset(void *reset_point)
2063 {
2064 recipients_list = NULL;
2065 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2066   raw_recipients_count = recipients_count = recipients_list_max = 0;
2067 message_linecount = 0;
2068 message_size = -1;
2069 message_body = message_body_end = NULL;
2070 acl_added_headers = NULL;
2071 acl_removed_headers = NULL;
2072 f.queue_only_policy = FALSE;
2073 rcpt_smtp_response = NULL;
2074 fl.rcpt_smtp_response_same = TRUE;
2075 fl.rcpt_in_progress = FALSE;
2076 f.deliver_freeze = FALSE;                               /* Can be set by ACL */
2077 freeze_tell = freeze_tell_config;                       /* Can be set by ACL */
2078 fake_response = OK;                                     /* Can be set by ACL */
2079 #ifdef WITH_CONTENT_SCAN
2080 f.no_mbox_unspool = FALSE;                              /* Can be set by ACL */
2081 #endif
2082 f.submission_mode = FALSE;                              /* Can be set by ACL */
2083 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2084 f.active_local_from_check = local_from_check;           /* Can be set by ACL */
2085 f.active_local_sender_retain = local_sender_retain;     /* Can be set by ACL */
2086 sending_ip_address = NULL;
2087 return_path = sender_address = NULL;
2088 deliver_localpart_data = deliver_domain_data =
2089 recipient_data = sender_data = NULL;                    /* Can be set by ACL */
2090 recipient_verify_failure = NULL;
2091 deliver_localpart_parent = deliver_localpart_orig = NULL;
2092 deliver_domain_parent = deliver_domain_orig = NULL;
2093 callout_address = NULL;
2094 submission_name = NULL;                                 /* Can be set by ACL */
2095 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2096 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2097 sender_verified_list = NULL;        /* No senders verified */
2098 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2099 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2100
2101 authenticated_sender = NULL;
2102 #ifdef EXPERIMENTAL_BRIGHTMAIL
2103 bmi_run = 0;
2104 bmi_verdicts = NULL;
2105 #endif
2106 dnslist_domain = dnslist_matched = NULL;
2107 #ifdef SUPPORT_SPF
2108 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2109 spf_result_guessed = FALSE;
2110 #endif
2111 #ifndef DISABLE_DKIM
2112 dkim_cur_signer = dkim_signers =
2113 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2114 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2115 f.dkim_disable_verify = FALSE;
2116 dkim_collect_input = 0;
2117 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2118 dkim_key_length = 0;
2119 #endif
2120 #ifdef SUPPORT_DMARC
2121 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2122 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2123 dmarc_used_domain = NULL;
2124 #endif
2125 #ifdef EXPERIMENTAL_ARC
2126 arc_state = arc_state_reason = NULL;
2127 arc_received_instance = 0;
2128 #endif
2129 dsn_ret = 0;
2130 dsn_envid = NULL;
2131 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2132 #ifndef DISABLE_PRDR
2133 prdr_requested = FALSE;
2134 #endif
2135 #ifdef SUPPORT_I18N
2136 message_smtputf8 = FALSE;
2137 #endif
2138 body_linecount = body_zerocount = 0;
2139
2140 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2141 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2142                    /* Note that ratelimiters_conn persists across resets. */
2143
2144 /* Reset message ACL variables */
2145
2146 acl_var_m = NULL;
2147
2148 /* Warning log messages are saved in malloc store. They are saved to avoid
2149 repetition in the same message, but it seems right to repeat them for different
2150 messages. */
2151
2152 while (acl_warn_logged)
2153   {
2154   string_item *this = acl_warn_logged;
2155   acl_warn_logged = acl_warn_logged->next;
2156   store_free(this);
2157   }
2158
2159 message_tidyup();
2160 store_reset(reset_point);
2161
2162 message_start();
2163 return store_mark();
2164 }
2165
2166
2167
2168
2169
2170 /*************************************************
2171 *  Initialize for incoming batched SMTP message  *
2172 *************************************************/
2173
2174 /* This function is called from smtp_setup_msg() in the case when
2175 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2176 of messages in one file with SMTP commands between them. All errors must be
2177 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2178 relevant. After an error on a sender, or an invalid recipient, the remainder
2179 of the message is skipped. The value of received_protocol is already set.
2180
2181 Argument: none
2182 Returns:  > 0 message successfully started (reached DATA)
2183           = 0 QUIT read or end of file reached
2184           < 0 should not occur
2185 */
2186
2187 static int
2188 smtp_setup_batch_msg(void)
2189 {
2190 int done = 0;
2191 rmark reset_point = store_mark();
2192
2193 /* Save the line count at the start of each transaction - single commands
2194 like HELO and RSET count as whole transactions. */
2195
2196 bsmtp_transaction_linecount = receive_linecount;
2197
2198 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2199
2200 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2201 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2202
2203 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2204 value. The values are 2 larger than the required yield of the function. */
2205
2206 while (done <= 0)
2207   {
2208   uschar *errmess;
2209   uschar *recipient = NULL;
2210   int start, end, sender_domain, recipient_domain;
2211
2212   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2213     {
2214     /* The HELO/EHLO commands set sender_address_helo if they have
2215     valid data; otherwise they are ignored, except that they do
2216     a reset of the state. */
2217
2218     case HELO_CMD:
2219     case EHLO_CMD:
2220
2221       check_helo(smtp_cmd_data);
2222       /* Fall through */
2223
2224     case RSET_CMD:
2225       cancel_cutthrough_connection(TRUE, US"RSET received");
2226       reset_point = smtp_reset(reset_point);
2227       bsmtp_transaction_linecount = receive_linecount;
2228       break;
2229
2230
2231     /* The MAIL FROM command requires an address as an operand. All we
2232     do here is to parse it for syntactic correctness. The form "<>" is
2233     a special case which converts into an empty string. The start/end
2234     pointers in the original are not used further for this address, as
2235     it is the canonical extracted address which is all that is kept. */
2236
2237     case MAIL_CMD:
2238       smtp_mailcmd_count++;              /* Count for no-mail log */
2239       if (sender_address)
2240         /* The function moan_smtp_batch() does not return. */
2241         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2242
2243       if (smtp_cmd_data[0] == 0)
2244         /* The function moan_smtp_batch() does not return. */
2245         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2246
2247       /* Reset to start of message */
2248
2249       cancel_cutthrough_connection(TRUE, US"MAIL received");
2250       reset_point = smtp_reset(reset_point);
2251
2252       /* Apply SMTP rewrite */
2253
2254       raw_sender = rewrite_existflags & rewrite_smtp
2255         /* deconst ok as smtp_cmd_data was not const */
2256         ? US rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL,
2257                       FALSE, US"", global_rewrite_rules)
2258         : smtp_cmd_data;
2259
2260       /* Extract the address; the TRUE flag allows <> as valid */
2261
2262       raw_sender =
2263         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2264           TRUE);
2265
2266       if (!raw_sender)
2267         /* The function moan_smtp_batch() does not return. */
2268         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2269
2270       sender_address = string_copy(raw_sender);
2271
2272       /* Qualify unqualified sender addresses if permitted to do so. */
2273
2274       if (  !sender_domain
2275          && sender_address[0] != 0 && sender_address[0] != '@')
2276         if (f.allow_unqualified_sender)
2277           {
2278           /* deconst ok as sender_address was not const */
2279           sender_address = US rewrite_address_qualify(sender_address, FALSE);
2280           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2281             "and rewritten\n", raw_sender);
2282           }
2283         /* The function moan_smtp_batch() does not return. */
2284         else
2285           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2286             "a domain");
2287       break;
2288
2289
2290     /* The RCPT TO command requires an address as an operand. All we do
2291     here is to parse it for syntactic correctness. There may be any number
2292     of RCPT TO commands, specifying multiple senders. We build them all into
2293     a data structure that is in argc/argv format. The start/end values
2294     given by parse_extract_address are not used, as we keep only the
2295     extracted address. */
2296
2297     case RCPT_CMD:
2298       if (!sender_address)
2299         /* The function moan_smtp_batch() does not return. */
2300         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2301
2302       if (smtp_cmd_data[0] == 0)
2303         /* The function moan_smtp_batch() does not return. */
2304         moan_smtp_batch(smtp_cmd_buffer,
2305           "501 RCPT TO must have an address operand");
2306
2307       /* Check maximum number allowed */
2308
2309       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2310         /* The function moan_smtp_batch() does not return. */
2311         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2312           recipients_max_reject? "552": "452");
2313
2314       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2315       recipient address */
2316
2317       recipient = rewrite_existflags & rewrite_smtp
2318         /* deconst ok as smtp_cmd_data was not const */
2319         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2320                       global_rewrite_rules)
2321         : smtp_cmd_data;
2322
2323       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2324         &recipient_domain, FALSE);
2325
2326       if (!recipient)
2327         /* The function moan_smtp_batch() does not return. */
2328         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2329
2330       /* If the recipient address is unqualified, qualify it if permitted. Then
2331       add it to the list of recipients. */
2332
2333       if (!recipient_domain)
2334         if (f.allow_unqualified_recipient)
2335           {
2336           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2337             recipient);
2338           /* deconst ok as recipient was not const */
2339           recipient = US rewrite_address_qualify(recipient, TRUE);
2340           }
2341         /* The function moan_smtp_batch() does not return. */
2342         else
2343           moan_smtp_batch(smtp_cmd_buffer,
2344             "501 recipient address must contain a domain");
2345
2346       receive_add_recipient(recipient, -1);
2347       break;
2348
2349
2350     /* The DATA command is legal only if it follows successful MAIL FROM
2351     and RCPT TO commands. This function is complete when a valid DATA
2352     command is encountered. */
2353
2354     case DATA_CMD:
2355       if (!sender_address || recipients_count <= 0)
2356         /* The function moan_smtp_batch() does not return. */
2357         if (!sender_address)
2358           moan_smtp_batch(smtp_cmd_buffer,
2359             "503 MAIL FROM:<sender> command must precede DATA");
2360         else
2361           moan_smtp_batch(smtp_cmd_buffer,
2362             "503 RCPT TO:<recipient> must precede DATA");
2363       else
2364         {
2365         done = 3;                      /* DATA successfully achieved */
2366         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2367         }
2368       break;
2369
2370
2371     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2372
2373     case VRFY_CMD:
2374     case EXPN_CMD:
2375     case HELP_CMD:
2376     case NOOP_CMD:
2377     case ETRN_CMD:
2378       bsmtp_transaction_linecount = receive_linecount;
2379       break;
2380
2381
2382     case QUIT_CMD:
2383       f.smtp_in_quit = TRUE;
2384     case EOF_CMD:
2385       done = 2;
2386       break;
2387
2388
2389     case BADARG_CMD:
2390       /* The function moan_smtp_batch() does not return. */
2391       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2392       break;
2393
2394
2395     case BADCHAR_CMD:
2396       /* The function moan_smtp_batch() does not return. */
2397       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2398       break;
2399
2400
2401     default:
2402       /* The function moan_smtp_batch() does not return. */
2403       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2404       break;
2405     }
2406   }
2407
2408 return done - 2;  /* Convert yield values */
2409 }
2410
2411
2412
2413
2414 #ifndef DISABLE_TLS
2415 static BOOL
2416 smtp_log_tls_fail(uschar * errstr)
2417 {
2418 uschar * conn_info = smtp_get_connection_info();
2419
2420 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2421 /* I'd like to get separated H= here, but too hard for now */
2422
2423 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2424 return FALSE;
2425 }
2426 #endif
2427
2428
2429
2430
2431 #ifdef TCP_FASTOPEN
2432 static void
2433 tfo_in_check(void)
2434 {
2435 # ifdef __FreeBSD__
2436 int is_fastopen;
2437 socklen_t len = sizeof(is_fastopen);
2438
2439 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2440 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2441
2442 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2443   {
2444   if (is_fastopen)
2445     {
2446     DEBUG(D_receive)
2447       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2448     f.tcp_in_fastopen = TRUE;
2449     }
2450   }
2451 else DEBUG(D_receive)
2452   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2453
2454 # elif defined(TCP_INFO)
2455 struct tcp_info tinfo;
2456 socklen_t len = sizeof(tinfo);
2457
2458 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2459 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2460   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2461     {
2462     DEBUG(D_receive)
2463       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2464     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2465     }
2466   else
2467 #  endif
2468     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2469     {
2470     DEBUG(D_receive)
2471       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2472     f.tcp_in_fastopen = TRUE;
2473     }
2474 else DEBUG(D_receive)
2475   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2476 # endif
2477 }
2478 #endif
2479
2480
2481 /*************************************************
2482 *          Start an SMTP session                 *
2483 *************************************************/
2484
2485 /* This function is called at the start of an SMTP session. Thereafter,
2486 smtp_setup_msg() is called to initiate each separate message. This
2487 function does host-specific testing, and outputs the banner line.
2488
2489 Arguments:     none
2490 Returns:       FALSE if the session can not continue; something has
2491                gone wrong, or the connection to the host is blocked
2492 */
2493
2494 BOOL
2495 smtp_start_session(void)
2496 {
2497 int esclen;
2498 uschar *user_msg, *log_msg;
2499 uschar *code, *esc;
2500 uschar *p, *s;
2501 gstring * ss;
2502
2503 gettimeofday(&smtp_connection_start, NULL);
2504 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2505   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2506 smtp_ch_index = 0;
2507
2508 /* Default values for certain variables */
2509
2510 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2511 smtp_mailcmd_count = 0;
2512 count_nonmail = TRUE_UNSET;
2513 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2514 smtp_delay_mail = smtp_rlm_base;
2515 fl.auth_advertised = FALSE;
2516 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2517 f.pipelining_enable = TRUE;
2518 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2519 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2520
2521 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2522 authentication settings from -oMaa to remain in force. */
2523
2524 if (!host_checking && !f.sender_host_notsocket)
2525   sender_host_auth_pubname = sender_host_authenticated = NULL;
2526 authenticated_by = NULL;
2527
2528 #ifndef DISABLE_TLS
2529 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2530 tls_in.ourcert = tls_in.peercert = NULL;
2531 tls_in.sni = NULL;
2532 tls_in.ocsp = OCSP_NOT_REQ;
2533 fl.tls_advertised = FALSE;
2534 #endif
2535 fl.dsn_advertised = FALSE;
2536 #ifdef SUPPORT_I18N
2537 fl.smtputf8_advertised = FALSE;
2538 #endif
2539
2540 /* Reset ACL connection variables */
2541
2542 acl_var_c = NULL;
2543
2544 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2545
2546 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, TRUE);
2547
2548 smtp_cmd_buffer[0] = 0;
2549 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2550
2551 /* For batched input, the protocol setting can be overridden from the
2552 command line by a trusted caller. */
2553
2554 if (smtp_batched_input)
2555   {
2556   if (!received_protocol) received_protocol = US"local-bsmtp";
2557   }
2558
2559 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2560 reset later if any of EHLO/AUTH/STARTTLS are received. */
2561
2562 else
2563   received_protocol =
2564     (sender_host_address ? protocols : protocols_local) [pnormal];
2565
2566 /* Set up the buffer for inputting using direct read() calls, and arrange to
2567 call the local functions instead of the standard C ones.  Place a NUL at the
2568 end of the buffer to safety-stop C-string reads from it. */
2569
2570 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2571   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2572 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2573
2574 receive_getc = smtp_getc;
2575 receive_getbuf = smtp_getbuf;
2576 receive_get_cache = smtp_get_cache;
2577 receive_ungetc = smtp_ungetc;
2578 receive_feof = smtp_feof;
2579 receive_ferror = smtp_ferror;
2580 receive_smtp_buffered = smtp_buffered;
2581 lwr_receive_getc = NULL;
2582 lwr_receive_getbuf = NULL;
2583 lwr_receive_ungetc = NULL;
2584 smtp_inptr = smtp_inend = smtp_inbuffer;
2585 smtp_had_eof = smtp_had_error = 0;
2586
2587 /* Set up the message size limit; this may be host-specific */
2588
2589 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2590 if (expand_string_message)
2591   {
2592   if (thismessage_size_limit == -1)
2593     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2594       "%s", expand_string_message);
2595   else
2596     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2597       "%s", expand_string_message);
2598   smtp_closedown(US"Temporary local problem - please try later");
2599   return FALSE;
2600   }
2601
2602 /* When a message is input locally via the -bs or -bS options, sender_host_
2603 unknown is set unless -oMa was used to force an IP address, in which case it
2604 is checked like a real remote connection. When -bs is used from inetd, this
2605 flag is not set, causing the sending host to be checked. The code that deals
2606 with IP source routing (if configured) is never required for -bs or -bS and
2607 the flag sender_host_notsocket is used to suppress it.
2608
2609 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2610 reserve for certain hosts and/or networks. */
2611
2612 if (!f.sender_host_unknown)
2613   {
2614   int rc;
2615   BOOL reserved_host = FALSE;
2616
2617   /* Look up IP options (source routing info) on the socket if this is not an
2618   -oMa "host", and if any are found, log them and drop the connection.
2619
2620   Linux (and others now, see below) is different to everyone else, so there
2621   has to be some conditional compilation here. Versions of Linux before 2.1.15
2622   used a structure whose name was "options". Somebody finally realized that
2623   this name was silly, and it got changed to "ip_options". I use the
2624   newer name here, but there is a fudge in the script that sets up os.h
2625   to define a macro in older Linux systems.
2626
2627   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2628   glibc 2, which has chosen ip_opts for the structure name. This is now
2629   really a glibc thing rather than a Linux thing, so the condition name
2630   has been changed to reflect this. It is relevant also to GNU/Hurd.
2631
2632   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2633   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2634   a special macro defined in the os.h file.
2635
2636   Some DGUX versions on older hardware appear not to support IP options at
2637   all, so there is now a general macro which can be set to cut out this
2638   support altogether.
2639
2640   How to do this properly in IPv6 is not yet known. */
2641
2642 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2643
2644   #ifdef GLIBC_IP_OPTIONS
2645     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2646     #define OPTSTYLE 1
2647     #else
2648     #define OPTSTYLE 2
2649     #endif
2650   #elif defined DARWIN_IP_OPTIONS
2651     #define OPTSTYLE 2
2652   #else
2653     #define OPTSTYLE 3
2654   #endif
2655
2656   if (!host_checking && !f.sender_host_notsocket)
2657     {
2658     #if OPTSTYLE == 1
2659     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2660     struct ip_options *ipopt = store_get(optlen, FALSE);
2661     #elif OPTSTYLE == 2
2662     struct ip_opts ipoptblock;
2663     struct ip_opts *ipopt = &ipoptblock;
2664     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2665     #else
2666     struct ipoption ipoptblock;
2667     struct ipoption *ipopt = &ipoptblock;
2668     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2669     #endif
2670
2671     /* Occasional genuine failures of getsockopt() have been seen - for
2672     example, "reset by peer". Therefore, just log and give up on this
2673     call, unless the error is ENOPROTOOPT. This error is given by systems
2674     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2675     of writing. So for that error, carry on - we just can't do an IP options
2676     check. */
2677
2678     DEBUG(D_receive) debug_printf("checking for IP options\n");
2679
2680     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2681           &optlen) < 0)
2682       {
2683       if (errno != ENOPROTOOPT)
2684         {
2685         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2686           host_and_ident(FALSE), strerror(errno));
2687         smtp_printf("451 SMTP service not available\r\n", FALSE);
2688         return FALSE;
2689         }
2690       }
2691
2692     /* Deal with any IP options that are set. On the systems I have looked at,
2693     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2694     more logging data than will fit in big_buffer. Nevertheless, after somebody
2695     questioned this code, I've added in some paranoid checking. */
2696
2697     else if (optlen > 0)
2698       {
2699       uschar *p = big_buffer;
2700       uschar *pend = big_buffer + big_buffer_size;
2701       uschar *adptr;
2702       int optcount;
2703       struct in_addr addr;
2704
2705       #if OPTSTYLE == 1
2706       uschar *optstart = US (ipopt->__data);
2707       #elif OPTSTYLE == 2
2708       uschar *optstart = US (ipopt->ip_opts);
2709       #else
2710       uschar *optstart = US (ipopt->ipopt_list);
2711       #endif
2712
2713       DEBUG(D_receive) debug_printf("IP options exist\n");
2714
2715       Ustrcpy(p, "IP options on incoming call:");
2716       p += Ustrlen(p);
2717
2718       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2719         switch (*opt)
2720           {
2721           case IPOPT_EOL:
2722           opt = NULL;
2723           break;
2724
2725           case IPOPT_NOP:
2726           opt++;
2727           break;
2728
2729           case IPOPT_SSRR:
2730           case IPOPT_LSRR:
2731           if (!string_format(p, pend-p, " %s [@%s",
2732                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2733                #if OPTSTYLE == 1
2734                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2735                #elif OPTSTYLE == 2
2736                inet_ntoa(ipopt->ip_dst)))
2737                #else
2738                inet_ntoa(ipopt->ipopt_dst)))
2739                #endif
2740             {
2741             opt = NULL;
2742             break;
2743             }
2744
2745           p += Ustrlen(p);
2746           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2747           adptr = opt + 3;
2748           while (optcount-- > 0)
2749             {
2750             memcpy(&addr, adptr, sizeof(addr));
2751             if (!string_format(p, pend - p - 1, "%s%s",
2752                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2753               {
2754               opt = NULL;
2755               break;
2756               }
2757             p += Ustrlen(p);
2758             adptr += sizeof(struct in_addr);
2759             }
2760           *p++ = ']';
2761           opt += opt[1];
2762           break;
2763
2764           default:
2765             {
2766             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2767             Ustrcat(p, "[ ");
2768             p += 2;
2769             for (int i = 0; i < opt[1]; i++)
2770               p += sprintf(CS p, "%2.2x ", opt[i]);
2771             *p++ = ']';
2772             }
2773           opt += opt[1];
2774           break;
2775           }
2776
2777       *p = 0;
2778       log_write(0, LOG_MAIN, "%s", big_buffer);
2779
2780       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2781
2782       log_write(0, LOG_MAIN|LOG_REJECT,
2783         "connection from %s refused (IP options)", host_and_ident(FALSE));
2784
2785       smtp_printf("554 SMTP service not available\r\n", FALSE);
2786       return FALSE;
2787       }
2788
2789     /* Length of options = 0 => there are no options */
2790
2791     else DEBUG(D_receive) debug_printf("no IP options found\n");
2792     }
2793 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2794
2795   /* Set keep-alive in socket options. The option is on by default. This
2796   setting is an attempt to get rid of some hanging connections that stick in
2797   read() when the remote end (usually a dialup) goes away. */
2798
2799   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2800     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2801
2802   /* If the current host matches host_lookup, set the name by doing a
2803   reverse lookup. On failure, sender_host_name will be NULL and
2804   host_lookup_failed will be TRUE. This may or may not be serious - optional
2805   checks later. */
2806
2807   if (verify_check_host(&host_lookup) == OK)
2808     {
2809     (void)host_name_lookup();
2810     host_build_sender_fullhost();
2811     }
2812
2813   /* Delay this until we have the full name, if it is looked up. */
2814
2815   set_process_info("handling incoming connection from %s",
2816     host_and_ident(FALSE));
2817
2818   /* Expand smtp_receive_timeout, if needed */
2819
2820   if (smtp_receive_timeout_s)
2821     {
2822     uschar * exp;
2823     if (  !(exp = expand_string(smtp_receive_timeout_s))
2824        || !(*exp)
2825        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2826        )
2827       log_write(0, LOG_MAIN|LOG_PANIC,
2828         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2829     }
2830
2831   /* Test for explicit connection rejection */
2832
2833   if (verify_check_host(&host_reject_connection) == OK)
2834     {
2835     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2836       "from %s (host_reject_connection)", host_and_ident(FALSE));
2837     smtp_printf("554 SMTP service not available\r\n", FALSE);
2838     return FALSE;
2839     }
2840
2841   /* Test with TCP Wrappers if so configured. There is a problem in that
2842   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2843   such as disks dying. In these cases, it is desirable to reject with a 4xx
2844   error instead of a 5xx error. There isn't a "right" way to detect such
2845   problems. The following kludge is used: errno is zeroed before calling
2846   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2847   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2848   not exist). */
2849
2850 #ifdef USE_TCP_WRAPPERS
2851   errno = 0;
2852   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2853     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2854       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2855         expand_string_message);
2856
2857   if (!hosts_ctl(tcp_wrappers_name,
2858          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2859          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2860          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2861     {
2862     if (errno == 0 || errno == ENOENT)
2863       {
2864       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2865       log_write(L_connection_reject,
2866                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2867                 "(tcp wrappers)", host_and_ident(FALSE));
2868       smtp_printf("554 SMTP service not available\r\n", FALSE);
2869       }
2870     else
2871       {
2872       int save_errno = errno;
2873       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2874         "errno value %d\n", save_errno);
2875       log_write(L_connection_reject,
2876                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2877                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2878       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2879       }
2880     return FALSE;
2881     }
2882 #endif
2883
2884   /* Check for reserved slots. The value of smtp_accept_count has already been
2885   incremented to include this process. */
2886
2887   if (smtp_accept_max > 0 &&
2888       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2889     {
2890     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2891       {
2892       log_write(L_connection_reject,
2893         LOG_MAIN, "temporarily refused connection from %s: not in "
2894         "reserve list: connected=%d max=%d reserve=%d%s",
2895         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2896         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2897       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2898         "please try again later\r\n", FALSE, smtp_active_hostname);
2899       return FALSE;
2900       }
2901     reserved_host = TRUE;
2902     }
2903
2904   /* If a load level above which only messages from reserved hosts are
2905   accepted is set, check the load. For incoming calls via the daemon, the
2906   check is done in the superior process if there are no reserved hosts, to
2907   save a fork. In all cases, the load average will already be available
2908   in a global variable at this point. */
2909
2910   if (smtp_load_reserve >= 0 &&
2911        load_average > smtp_load_reserve &&
2912        !reserved_host &&
2913        verify_check_host(&smtp_reserve_hosts) != OK)
2914     {
2915     log_write(L_connection_reject,
2916       LOG_MAIN, "temporarily refused connection from %s: not in "
2917       "reserve list and load average = %.2f", host_and_ident(FALSE),
2918       (double)load_average/1000.0);
2919     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2920       smtp_active_hostname);
2921     return FALSE;
2922     }
2923
2924   /* Determine whether unqualified senders or recipients are permitted
2925   for this host. Unfortunately, we have to do this every time, in order to
2926   set the flags so that they can be inspected when considering qualifying
2927   addresses in the headers. For a site that permits no qualification, this
2928   won't take long, however. */
2929
2930   f.allow_unqualified_sender =
2931     verify_check_host(&sender_unqualified_hosts) == OK;
2932
2933   f.allow_unqualified_recipient =
2934     verify_check_host(&recipient_unqualified_hosts) == OK;
2935
2936   /* Determine whether HELO/EHLO is required for this host. The requirement
2937   can be hard or soft. */
2938
2939   fl.helo_verify_required = verify_check_host(&helo_verify_hosts) == OK;
2940   if (!fl.helo_verify_required)
2941     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2942
2943   /* Determine whether this hosts is permitted to send syntactic junk
2944   after a HELO or EHLO command. */
2945
2946   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2947   }
2948
2949 /* For batch SMTP input we are now done. */
2950
2951 if (smtp_batched_input) return TRUE;
2952
2953 /* If valid Proxy Protocol source is connecting, set up session.
2954 Failure will not allow any SMTP function other than QUIT. */
2955
2956 #ifdef SUPPORT_PROXY
2957 proxy_session = FALSE;
2958 f.proxy_session_failed = FALSE;
2959 if (check_proxy_protocol_host())
2960   setup_proxy_protocol_host();
2961 #endif
2962
2963 /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2964 smtps port for use with older style SSL MTAs. */
2965
2966 #ifndef DISABLE_TLS
2967 if (tls_in.on_connect)
2968   {
2969   if (tls_server_start(&user_msg) != OK)
2970     return smtp_log_tls_fail(user_msg);
2971   cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2972   }
2973 #endif
2974
2975 /* Run the connect ACL if it exists */
2976
2977 user_msg = NULL;
2978 if (acl_smtp_connect)
2979   {
2980   int rc;
2981   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2982                       &log_msg)) != OK)
2983     {
2984     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2985     return FALSE;
2986     }
2987   }
2988
2989 /* Output the initial message for a two-way SMTP connection. It may contain
2990 newlines, which then cause a multi-line response to be given. */
2991
2992 code = US"220";   /* Default status code */
2993 esc = US"";       /* Default extended status code */
2994 esclen = 0;       /* Length of esc */
2995
2996 if (!user_msg)
2997   {
2998   if (!(s = expand_string(smtp_banner)))
2999     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
3000       "failed: %s", smtp_banner, expand_string_message);
3001   }
3002 else
3003   {
3004   int codelen = 3;
3005   s = user_msg;
3006   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
3007   if (codelen > 4)
3008     {
3009     esc = code + 4;
3010     esclen = codelen - 4;
3011     }
3012   }
3013
3014 /* Remove any terminating newlines; might as well remove trailing space too */
3015
3016 p = s + Ustrlen(s);
3017 while (p > s && isspace(p[-1])) p--;
3018 s = string_copyn(s, p-s);
3019
3020 /* It seems that CC:Mail is braindead, and assumes that the greeting message
3021 is all contained in a single IP packet. The original code wrote out the
3022 greeting using several calls to fprint/fputc, and on busy servers this could
3023 cause it to be split over more than one packet - which caused CC:Mail to fall
3024 over when it got the second part of the greeting after sending its first
3025 command. Sigh. To try to avoid this, build the complete greeting message
3026 first, and output it in one fell swoop. This gives a better chance of it
3027 ending up as a single packet. */
3028
3029 ss = string_get(256);
3030
3031 p = s;
3032 do       /* At least once, in case we have an empty string */
3033   {
3034   int len;
3035   uschar *linebreak = Ustrchr(p, '\n');
3036   ss = string_catn(ss, code, 3);
3037   if (!linebreak)
3038     {
3039     len = Ustrlen(p);
3040     ss = string_catn(ss, US" ", 1);
3041     }
3042   else
3043     {
3044     len = linebreak - p;
3045     ss = string_catn(ss, US"-", 1);
3046     }
3047   ss = string_catn(ss, esc, esclen);
3048   ss = string_catn(ss, p, len);
3049   ss = string_catn(ss, US"\r\n", 2);
3050   p += len;
3051   if (linebreak) p++;
3052   }
3053 while (*p);
3054
3055 /* Before we write the banner, check that there is no input pending, unless
3056 this synchronisation check is disabled. */
3057
3058 #ifndef DISABLE_PIPE_CONNECT
3059 fl.pipe_connect_acceptable =
3060   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3061
3062 if (!check_sync())
3063   if (fl.pipe_connect_acceptable)
3064     f.smtp_in_early_pipe_used = TRUE;
3065   else
3066 #else
3067 if (!check_sync())
3068 #endif
3069     {
3070     unsigned n = smtp_inend - smtp_inptr;
3071     if (n > 128) n = 128;
3072
3073     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3074       "synchronization error (input sent without waiting for greeting): "
3075       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3076       string_printing(string_copyn(smtp_inptr, n)));
3077     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3078     return FALSE;
3079     }
3080
3081 /* Now output the banner */
3082 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3083
3084 smtp_printf("%s",
3085 #ifndef DISABLE_PIPE_CONNECT
3086   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3087 #else
3088   FALSE,
3089 #endif
3090   string_from_gstring(ss));
3091
3092 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3093 handshake arrived.  If so we must have managed a TFO. */
3094
3095 #ifdef TCP_FASTOPEN
3096 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3097 #endif
3098
3099 return TRUE;
3100 }
3101
3102
3103
3104
3105
3106 /*************************************************
3107 *     Handle SMTP syntax and protocol errors     *
3108 *************************************************/
3109
3110 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3111 to do so. Then transmit the error response. The return value depends on the
3112 number of syntax and protocol errors in this SMTP session.
3113
3114 Arguments:
3115   type      error type, given as a log flag bit
3116   code      response code; <= 0 means don't send a response
3117   data      data to reflect in the response (can be NULL)
3118   errmess   the error message
3119
3120 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3121             +1   limit of syntax/protocol errors IS exceeded
3122
3123 These values fit in with the values of the "done" variable in the main
3124 processing loop in smtp_setup_msg(). */
3125
3126 static int
3127 synprot_error(int type, int code, uschar *data, uschar *errmess)
3128 {
3129 int yield = -1;
3130
3131 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3132   type == L_smtp_syntax_error ? "syntax" : "protocol",
3133   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3134
3135 if (++synprot_error_count > smtp_max_synprot_errors)
3136   {
3137   yield = 1;
3138   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3139     "syntax or protocol errors (last command was \"%s\", %s)",
3140     host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
3141     string_from_gstring(s_connhad_log(NULL))
3142     );
3143   }
3144
3145 if (code > 0)
3146   {
3147   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3148     data ? data : US"", data ? US": " : US"", errmess);
3149   if (yield == 1)
3150     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3151   }
3152
3153 return yield;
3154 }
3155
3156
3157
3158
3159 /*************************************************
3160 *    Send SMTP response, possibly multiline      *
3161 *************************************************/
3162
3163 /* There are, it seems, broken clients out there that cannot handle multiline
3164 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3165 output nothing for non-final calls, and only the first line for anything else.
3166
3167 Arguments:
3168   code          SMTP code, may involve extended status codes
3169   codelen       length of smtp code; if > 4 there's an ESC
3170   final         FALSE if the last line isn't the final line
3171   msg           message text, possibly containing newlines
3172
3173 Returns:        nothing
3174 */
3175
3176 void
3177 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3178 {
3179 int esclen = 0;
3180 uschar *esc = US"";
3181
3182 if (!final && f.no_multiline_responses) return;
3183
3184 if (codelen > 4)
3185   {
3186   esc = code + 4;
3187   esclen = codelen - 4;
3188   }
3189
3190 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3191 have had the same. Note: this code is also present in smtp_printf(). It would
3192 be tidier to have it only in one place, but when it was added, it was easier to
3193 do it that way, so as not to have to mess with the code for the RCPT command,
3194 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3195
3196 if (fl.rcpt_in_progress)
3197   {
3198   if (!rcpt_smtp_response)
3199     rcpt_smtp_response = string_copy(msg);
3200   else if (fl.rcpt_smtp_response_same &&
3201            Ustrcmp(rcpt_smtp_response, msg) != 0)
3202     fl.rcpt_smtp_response_same = FALSE;
3203   fl.rcpt_in_progress = FALSE;
3204   }
3205
3206 /* Now output the message, splitting it up into multiple lines if necessary.
3207 We only handle pipelining these responses as far as nonfinal/final groups,
3208 not the whole MAIL/RCPT/DATA response set. */
3209
3210 for (;;)
3211   {
3212   uschar *nl = Ustrchr(msg, '\n');
3213   if (!nl)
3214     {
3215     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3216     return;
3217     }
3218   else if (nl[1] == 0 || f.no_multiline_responses)
3219     {
3220     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3221       (int)(nl - msg), msg);
3222     return;
3223     }
3224   else
3225     {
3226     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3227     msg = nl + 1;
3228     Uskip_whitespace(&msg);
3229     }
3230   }
3231 }
3232
3233
3234
3235
3236 /*************************************************
3237 *            Parse user SMTP message             *
3238 *************************************************/
3239
3240 /* This function allows for user messages overriding the response code details
3241 by providing a suitable response code string at the start of the message
3242 user_msg. Check the message for starting with a response code and optionally an
3243 extended status code. If found, check that the first digit is valid, and if so,
3244 change the code pointer and length to use the replacement. An invalid code
3245 causes a panic log; in this case, if the log messages is the same as the user
3246 message, we must also adjust the value of the log message to show the code that
3247 is actually going to be used (the original one).
3248
3249 This function is global because it is called from receive.c as well as within
3250 this module.
3251
3252 Note that the code length returned includes the terminating whitespace
3253 character, which is always included in the regex match.
3254
3255 Arguments:
3256   code          SMTP code, may involve extended status codes
3257   codelen       length of smtp code; if > 4 there's an ESC
3258   msg           message text
3259   log_msg       optional log message, to be adjusted with the new SMTP code
3260   check_valid   if true, verify the response code
3261
3262 Returns:        nothing
3263 */
3264
3265 void
3266 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3267   BOOL check_valid)
3268 {
3269 int n;
3270 int ovector[3];
3271
3272 if (!msg || !*msg) return;
3273
3274 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3275   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3276
3277 if (check_valid && (*msg)[0] != (*code)[0])
3278   {
3279   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3280     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3281   if (log_msg != NULL && *log_msg == *msg)
3282     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3283   }
3284 else
3285   {
3286   *code = *msg;
3287   *codelen = ovector[1];    /* Includes final space */
3288   }
3289 *msg += ovector[1];         /* Chop the code off the message */
3290 return;
3291 }
3292
3293
3294
3295
3296 /*************************************************
3297 *           Handle an ACL failure                *
3298 *************************************************/
3299
3300 /* This function is called when acl_check() fails. As well as calls from within
3301 this module, it is called from receive.c for an ACL after DATA. It sorts out
3302 logging the incident, and sends the error response. A message containing
3303 newlines is turned into a multiline SMTP response, but for logging, only the
3304 first line is used.
3305
3306 There's a table of default permanent failure response codes to use in
3307 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3308 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3309 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3310 state, because there are broken clients that try VRFY before RCPT. A 5xx
3311 response should be given only when the address is positively known to be
3312 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3313 no explicit code, but if there is one we let it know best.
3314 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3315
3316 From Exim 4.63, it is possible to override the response code details by
3317 providing a suitable response code string at the start of the message provided
3318 in user_msg. The code's first digit is checked for validity.
3319
3320 Arguments:
3321   where        where the ACL was called from
3322   rc           the failure code
3323   user_msg     a message that can be included in an SMTP response
3324   log_msg      a message for logging
3325
3326 Returns:     0 in most cases
3327              2 if the failure code was FAIL_DROP, in which case the
3328                SMTP connection should be dropped (this value fits with the
3329                "done" variable in smtp_setup_msg() below)
3330 */
3331
3332 int
3333 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3334 {
3335 BOOL drop = rc == FAIL_DROP;
3336 int codelen = 3;
3337 uschar *smtp_code;
3338 uschar *lognl;
3339 uschar *sender_info = US"";
3340 uschar *what;
3341
3342 if (drop) rc = FAIL;
3343
3344 /* Set the default SMTP code, and allow a user message to change it. */
3345
3346 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3347 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3348   where != ACL_WHERE_VRFY);
3349
3350 /* We used to have sender_address here; however, there was a bug that was not
3351 updating sender_address after a rewrite during a verify. When this bug was
3352 fixed, sender_address at this point became the rewritten address. I'm not sure
3353 this is what should be logged, so I've changed to logging the unrewritten
3354 address to retain backward compatibility. */
3355
3356 switch (where)
3357   {
3358 #ifdef WITH_CONTENT_SCAN
3359   case ACL_WHERE_MIME:          what = US"during MIME ACL checks";      break;
3360 #endif
3361   case ACL_WHERE_PREDATA:       what = US"DATA";                        break;
3362   case ACL_WHERE_DATA:          what = US"after DATA";                  break;
3363 #ifndef DISABLE_PRDR
3364   case ACL_WHERE_PRDR:          what = US"after DATA PRDR";             break;
3365 #endif
3366   default:
3367     {
3368     uschar * place = smtp_cmd_data ? smtp_cmd_data : US"in \"connect\" ACL";
3369     int lim = 100;
3370
3371     if (where == ACL_WHERE_AUTH)        /* avoid logging auth creds */
3372       {
3373       uschar * s;
3374       for (s = smtp_cmd_data; *s && !isspace(*s); ) s++;
3375       lim = s - smtp_cmd_data;  /* atop after method */
3376       }
3377     what = string_sprintf("%s %.*s", acl_wherenames[where], lim, place);
3378     }
3379   }
3380 switch (where)
3381   {
3382   case ACL_WHERE_RCPT:
3383   case ACL_WHERE_DATA:
3384 #ifdef WITH_CONTENT_SCAN
3385   case ACL_WHERE_MIME:
3386 #endif
3387     sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3388       sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3389       sender_host_authenticated ? US" A="                                    : US"",
3390       sender_host_authenticated ? sender_host_authenticated                  : US"",
3391       sender_host_authenticated && authenticated_id ? US":"                  : US"",
3392       sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3393       );
3394   break;
3395   }
3396
3397 /* If there's been a sender verification failure with a specific message, and
3398 we have not sent a response about it yet, do so now, as a preliminary line for
3399 failures, but not defers. However, always log it for defer, and log it for fail
3400 unless the sender_verify_fail log selector has been turned off. */
3401
3402 if (sender_verified_failed &&
3403     !testflag(sender_verified_failed, af_sverify_told))
3404   {
3405   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3406   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3407
3408   setflag(sender_verified_failed, af_sverify_told);
3409
3410   if (rc != FAIL || LOGGING(sender_verify_fail))
3411     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3412       host_and_ident(TRUE),
3413       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3414       sender_verified_failed->address,
3415       (sender_verified_failed->message == NULL)? US"" :
3416       string_sprintf(": %s", sender_verified_failed->message));
3417
3418   if (rc == FAIL && sender_verified_failed->user_message)
3419     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3420         testflag(sender_verified_failed, af_verify_pmfail)?
3421           "Postmaster verification failed while checking <%s>\n%s\n"
3422           "Several RFCs state that you are required to have a postmaster\n"
3423           "mailbox for each mail domain. This host does not accept mail\n"
3424           "from domains whose servers reject the postmaster address."
3425           :
3426         testflag(sender_verified_failed, af_verify_nsfail)?
3427           "Callback setup failed while verifying <%s>\n%s\n"
3428           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3429           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3430           "RFC requirements, and stops you from receiving standard bounce\n"
3431           "messages. This host does not accept mail from domains whose servers\n"
3432           "refuse bounces."
3433           :
3434           "Verification failed for <%s>\n%s",
3435         sender_verified_failed->address,
3436         sender_verified_failed->user_message));
3437
3438   fl.rcpt_in_progress = save_rcpt_in_progress;
3439   }
3440
3441 /* Sort out text for logging */
3442
3443 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3444 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3445
3446 /* Send permanent failure response to the command, but the code used isn't
3447 always a 5xx one - see comments at the start of this function. If the original
3448 rc was FAIL_DROP we drop the connection and yield 2. */
3449
3450 if (rc == FAIL)
3451   smtp_respond(smtp_code, codelen, TRUE,
3452     user_msg ? user_msg : US"Administrative prohibition");
3453
3454 /* Send temporary failure response to the command. Don't give any details,
3455 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3456 verb, and for a header verify when smtp_return_error_details is set.
3457
3458 This conditional logic is all somewhat of a mess because of the odd
3459 interactions between temp_details and return_error_details. One day it should
3460 be re-implemented in a tidier fashion. */
3461
3462 else
3463   if (f.acl_temp_details && user_msg)
3464     {
3465     if (  smtp_return_error_details
3466        && sender_verified_failed
3467        && sender_verified_failed->message
3468        )
3469       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3470
3471     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3472     }
3473   else
3474     smtp_respond(smtp_code, codelen, TRUE,
3475       US"Temporary local problem - please try later");
3476
3477 /* Log the incident to the logs that are specified by log_reject_target
3478 (default main, reject). This can be empty to suppress logging of rejections. If
3479 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3480 is closing if required and return 2.  */
3481
3482 if (log_reject_target != 0)
3483   {
3484 #ifndef DISABLE_TLS
3485   gstring * g = s_tlslog(NULL);
3486   uschar * tls = string_from_gstring(g);
3487   if (!tls) tls = US"";
3488 #else
3489   uschar * tls = US"";
3490 #endif
3491   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3492     log_reject_target, "%s%s%s %s%srejected %s%s",
3493     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3494     host_and_ident(TRUE),
3495     tls,
3496     sender_info,
3497     rc == FAIL ? US"" : US"temporarily ",
3498     what, log_msg);
3499   }
3500
3501 if (!drop) return 0;
3502
3503 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3504   smtp_get_connection_info());
3505
3506 /* Run the not-quit ACL, but without any custom messages. This should not be a
3507 problem, because we get here only if some other ACL has issued "drop", and
3508 in that case, *its* custom messages will have been used above. */
3509
3510 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3511 return 2;
3512 }
3513
3514
3515
3516
3517 /*************************************************
3518 *     Handle SMTP exit when QUIT is not given    *
3519 *************************************************/
3520
3521 /* This function provides a logging/statistics hook for when an SMTP connection
3522 is dropped on the floor or the other end goes away. It's a global function
3523 because it's called from receive.c as well as this module. As well as running
3524 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3525 response, either with a custom message from the ACL, or using a default. There
3526 is one case, however, when no message is output - after "drop". In that case,
3527 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3528 passed to this function.
3529
3530 In case things go wrong while processing this function, causing an error that
3531 may re-enter this function, there is a recursion check.
3532
3533 Arguments:
3534   reason          What $smtp_notquit_reason will be set to in the ACL;
3535                     if NULL, the ACL is not run
3536   code            The error code to return as part of the response
3537   defaultrespond  The default message if there's no user_msg
3538
3539 Returns:          Nothing
3540 */
3541
3542 void
3543 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3544 {
3545 int rc;
3546 uschar *user_msg = NULL;
3547 uschar *log_msg = NULL;
3548
3549 /* Check for recursive call */
3550
3551 if (fl.smtp_exit_function_called)
3552   {
3553   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3554     reason);
3555   return;
3556   }
3557 fl.smtp_exit_function_called = TRUE;
3558
3559 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3560
3561 if (acl_smtp_notquit && reason)
3562   {
3563   smtp_notquit_reason = reason;
3564   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3565                       &log_msg)) == ERROR)
3566     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3567       log_msg);
3568   }
3569
3570 /* If the connection was dropped, we certainly are no longer talking TLS */
3571 tls_in.active.sock = -1;
3572
3573 /* Write an SMTP response if we are expected to give one. As the default
3574 responses are all internal, they should be reasonable size. */
3575
3576 if (code && defaultrespond)
3577   {
3578   if (user_msg)
3579     smtp_respond(code, 3, TRUE, user_msg);
3580   else
3581     {
3582     gstring * g;
3583     va_list ap;
3584
3585     va_start(ap, defaultrespond);
3586     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3587     va_end(ap);
3588     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3589     }
3590   mac_smtp_fflush();
3591   }
3592 }
3593
3594
3595
3596
3597 /*************************************************
3598 *             Verify HELO argument               *
3599 *************************************************/
3600
3601 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3602 matched. It is also called from ACL processing if verify = helo is used and
3603 verification was not previously tried (i.e. helo_try_verify_hosts was not
3604 matched). The result of its processing is to set helo_verified and
3605 helo_verify_failed. These variables should both be FALSE for this function to
3606 be called.
3607
3608 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3609 for IPv6 ::ffff: literals.
3610
3611 Argument:   none
3612 Returns:    TRUE if testing was completed;
3613             FALSE on a temporary failure
3614 */
3615
3616 BOOL
3617 smtp_verify_helo(void)
3618 {
3619 BOOL yield = TRUE;
3620
3621 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3622   sender_helo_name);
3623
3624 if (sender_helo_name == NULL)
3625   {
3626   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3627   }
3628
3629 /* Deal with the case of -bs without an IP address */
3630
3631 else if (sender_host_address == NULL)
3632   {
3633   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3634   f.helo_verified = TRUE;
3635   }
3636
3637 /* Deal with the more common case when there is a sending IP address */
3638
3639 else if (sender_helo_name[0] == '[')
3640   {
3641   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3642     Ustrlen(sender_host_address)) == 0;
3643
3644 #if HAVE_IPV6
3645   if (!f.helo_verified)
3646     {
3647     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3648       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3649         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3650     }
3651 #endif
3652
3653   HDEBUG(D_receive)
3654     { if (f.helo_verified) debug_printf("matched host address\n"); }
3655   }
3656
3657 /* Do a reverse lookup if one hasn't already given a positive or negative
3658 response. If that fails, or the name doesn't match, try checking with a forward
3659 lookup. */
3660
3661 else
3662   {
3663   if (sender_host_name == NULL && !host_lookup_failed)
3664     yield = host_name_lookup() != DEFER;
3665
3666   /* If a host name is known, check it and all its aliases. */
3667
3668   if (sender_host_name)
3669     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3670       {
3671       sender_helo_dnssec = sender_host_dnssec;
3672       HDEBUG(D_receive) debug_printf("matched host name\n");
3673       }
3674     else
3675       {
3676       uschar **aliases = sender_host_aliases;
3677       while (*aliases)
3678         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3679           {
3680           sender_helo_dnssec = sender_host_dnssec;
3681           break;
3682           }
3683
3684       HDEBUG(D_receive) if (f.helo_verified)
3685           debug_printf("matched alias %s\n", *(--aliases));
3686       }
3687
3688   /* Final attempt: try a forward lookup of the helo name */
3689
3690   if (!f.helo_verified)
3691     {
3692     int rc;
3693     host_item h =
3694       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3695     dnssec_domains d =
3696       {.request = US"*", .require = US""};
3697
3698     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3699       sender_helo_name);
3700     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3701                           NULL, NULL, NULL, &d, NULL, NULL);
3702     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3703       for (host_item * hh = &h; hh; hh = hh->next)
3704         if (Ustrcmp(hh->address, sender_host_address) == 0)
3705           {
3706           f.helo_verified = TRUE;
3707           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3708           HDEBUG(D_receive)
3709             debug_printf("IP address for %s matches calling address\n"
3710               "Forward DNS security status: %sverified\n",
3711               sender_helo_name, sender_helo_dnssec ? "" : "un");
3712           break;
3713           }
3714     }
3715   }
3716
3717 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3718 return yield;
3719 }
3720
3721
3722
3723
3724 /*************************************************
3725 *        Send user response message              *
3726 *************************************************/
3727
3728 /* This function is passed a default response code and a user message. It calls
3729 smtp_message_code() to check and possibly modify the response code, and then
3730 calls smtp_respond() to transmit the response. I put this into a function
3731 just to avoid a lot of repetition.
3732
3733 Arguments:
3734   code         the response code
3735   user_msg     the user message
3736
3737 Returns:       nothing
3738 */
3739
3740 static void
3741 smtp_user_msg(uschar *code, uschar *user_msg)
3742 {
3743 int len = 3;
3744 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3745 smtp_respond(code, len, TRUE, user_msg);
3746 }
3747
3748
3749
3750 static int
3751 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3752 {
3753 const uschar *set_id = NULL;
3754 int rc;
3755
3756 /* Run the checking code, passing the remainder of the command line as
3757 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3758 it as the only set numerical variable. The authenticator may set $auth<n>
3759 and also set other numeric variables. The $auth<n> variables are preferred
3760 nowadays; the numerical variables remain for backwards compatibility.
3761
3762 Afterwards, have a go at expanding the set_id string, even if
3763 authentication failed - for bad passwords it can be useful to log the
3764 userid. On success, require set_id to expand and exist, and put it in
3765 authenticated_id. Save this in permanent store, as the working store gets
3766 reset at HELO, RSET, etc. */
3767
3768 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3769 expand_nmax = 0;
3770 expand_nlength[0] = 0;   /* $0 contains nothing */
3771
3772 rc = (au->info->servercode)(au, smtp_cmd_data);
3773 if (au->set_id) set_id = expand_string(au->set_id);
3774 expand_nmax = -1;        /* Reset numeric variables */
3775 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3776
3777 /* The value of authenticated_id is stored in the spool file and printed in
3778 log lines. It must not contain binary zeros or newline characters. In
3779 normal use, it never will, but when playing around or testing, this error
3780 can (did) happen. To guard against this, ensure that the id contains only
3781 printing characters. */
3782
3783 if (set_id) set_id = string_printing(set_id);
3784
3785 /* For the non-OK cases, set up additional logging data if set_id
3786 is not empty. */
3787
3788 if (rc != OK)
3789   set_id = set_id && *set_id
3790     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3791
3792 /* Switch on the result */
3793
3794 switch(rc)
3795   {
3796   case OK:
3797     if (!au->set_id || set_id)    /* Complete success */
3798       {
3799       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3800       sender_host_authenticated = au->name;
3801       sender_host_auth_pubname  = au->public_name;
3802       authentication_failed = FALSE;
3803       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3804
3805       received_protocol =
3806         (sender_host_address ? protocols : protocols_local)
3807           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3808       *s = *ss = US"235 Authentication succeeded";
3809       authenticated_by = au;
3810       break;
3811       }
3812
3813     /* Authentication succeeded, but we failed to expand the set_id string.
3814     Treat this as a temporary error. */
3815
3816     auth_defer_msg = expand_string_message;
3817     /* Fall through */
3818
3819   case DEFER:
3820     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3821     *s = string_sprintf("435 Unable to authenticate at present%s",
3822       auth_defer_user_msg);
3823     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3824       set_id, auth_defer_msg);
3825     break;
3826
3827   case BAD64:
3828     *s = *ss = US"501 Invalid base64 data";
3829     break;
3830
3831   case CANCELLED:
3832     *s = *ss = US"501 Authentication cancelled";
3833     break;
3834
3835   case UNEXPECTED:
3836     *s = *ss = US"553 Initial data not expected";
3837     break;
3838
3839   case FAIL:
3840     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3841     *s = US"535 Incorrect authentication data";
3842     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3843     break;
3844
3845   default:
3846     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3847     *s = US"435 Internal error";
3848     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3849       "check", set_id, rc);
3850     break;
3851   }
3852
3853 return rc;
3854 }
3855
3856
3857
3858
3859
3860 static int
3861 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3862 {
3863 int rd;
3864 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3865   {
3866   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3867     *recipient);
3868   rd = Ustrlen(recipient) + 1;
3869   /* deconst ok as *recipient was not const */
3870   *recipient = US rewrite_address_qualify(*recipient, TRUE);
3871   return rd;
3872   }
3873 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3874   smtp_cmd_data);
3875 log_write(L_smtp_syntax_error,
3876   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3877   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3878 return 0;
3879 }
3880
3881
3882
3883
3884 static void
3885 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3886 {
3887 HAD(SCH_QUIT);
3888 f.smtp_in_quit = TRUE;
3889 incomplete_transaction_log(US"QUIT");
3890 if (  acl_smtp_quit
3891    && acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp)
3892         == ERROR)
3893     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3894       *log_msgp);
3895
3896 #ifdef EXIM_TCP_CORK
3897 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, EXIM_TCP_CORK, US &on, sizeof(on));
3898 #endif
3899
3900 if (*user_msgp)
3901   smtp_respond(US"221", 3, TRUE, *user_msgp);
3902 else
3903   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3904
3905 #ifdef SERVERSIDE_CLOSE_NOWAIT
3906 # ifndef DISABLE_TLS
3907 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3908 # endif
3909
3910 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3911   smtp_get_connection_info());
3912 #else
3913
3914 # ifndef DISABLE_TLS
3915 tls_close(NULL, TLS_SHUTDOWN_WAIT);
3916 # endif
3917
3918 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3919   smtp_get_connection_info());
3920
3921 /* Pause, hoping client will FIN first so that they get the TIME_WAIT.
3922 The socket should become readble (though with no data) */
3923
3924   {
3925   int fd = fileno(smtp_in);
3926   fd_set fds;
3927   struct timeval t_limit = {.tv_sec = 0, .tv_usec = 200*1000};
3928
3929   FD_ZERO(&fds);
3930   FD_SET(fd, &fds);
3931   (void) select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &t_limit);
3932   }
3933 #endif  /*!DAEMON_CLOSE_NOWAIT*/
3934 }
3935
3936
3937 static void
3938 smtp_rset_handler(void)
3939 {
3940 HAD(SCH_RSET);
3941 incomplete_transaction_log(US"RSET");
3942 smtp_printf("250 Reset OK\r\n", FALSE);
3943 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3944 }
3945
3946
3947 static int
3948 expand_mailmax(const uschar * s)
3949 {
3950 if (!(s = expand_cstring(s)))
3951   log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand smtp_accept_max_per_connection");
3952 return *s ? Uatoi(s) : 0;
3953 }
3954
3955 /*************************************************
3956 *       Initialize for SMTP incoming message     *
3957 *************************************************/
3958
3959 /* This function conducts the initial dialogue at the start of an incoming SMTP
3960 message, and builds a list of recipients. However, if the incoming message
3961 is part of a batch (-bS option) a separate function is called since it would
3962 be messy having tests splattered about all over this function. This function
3963 therefore handles the case where interaction is occurring. The input and output
3964 files are set up in smtp_in and smtp_out.
3965
3966 The global recipients_list is set to point to a vector of recipient_item
3967 blocks, whose number is given by recipients_count. This is extended by the
3968 receive_add_recipient() function. The global variable sender_address is set to
3969 the sender's address. The yield is +1 if a message has been successfully
3970 started, 0 if a QUIT command was encountered or the connection was refused from
3971 the particular host, or -1 if the connection was lost.
3972
3973 Argument: none
3974
3975 Returns:  > 0 message successfully started (reached DATA)
3976           = 0 QUIT read or end of file reached or call refused
3977           < 0 lost connection
3978 */
3979
3980 int
3981 smtp_setup_msg(void)
3982 {
3983 int done = 0;
3984 BOOL toomany = FALSE;
3985 BOOL discarded = FALSE;
3986 BOOL last_was_rej_mail = FALSE;
3987 BOOL last_was_rcpt = FALSE;
3988 rmark reset_point = store_mark();
3989
3990 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3991
3992 /* Reset for start of new message. We allow one RSET not to be counted as a
3993 nonmail command, for those MTAs that insist on sending it between every
3994 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3995 TLS between messages (an Exim client may do this if it has messages queued up
3996 for the host). Note: we do NOT reset AUTH at this point. */
3997
3998 reset_point = smtp_reset(reset_point);
3999 message_ended = END_NOTSTARTED;
4000
4001 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
4002
4003 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
4004 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
4005 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4006 #ifndef DISABLE_TLS
4007 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
4008 #endif
4009
4010 if (lwr_receive_getc != NULL)
4011   {
4012   /* This should have already happened, but if we've gotten confused,
4013   force a reset here. */
4014   DEBUG(D_receive) debug_printf("WARNING: smtp_setup_msg had to restore receive functions to lowers\n");
4015   bdat_pop_receive_functions();
4016   }
4017
4018 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
4019
4020 had_command_sigterm = 0;
4021 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
4022
4023 /* Batched SMTP is handled in a different function. */
4024
4025 if (smtp_batched_input) return smtp_setup_batch_msg();
4026
4027 #ifdef TCP_QUICKACK
4028 if (smtp_in)            /* Avoid pure-ACKs while in cmd pingpong phase */
4029   (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4030           US &off, sizeof(off));
4031 #endif
4032
4033 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
4034 value. The values are 2 larger than the required yield of the function. */
4035
4036 while (done <= 0)
4037   {
4038   const uschar **argv;
4039   uschar *etrn_command;
4040   uschar *etrn_serialize_key;
4041   uschar *errmess;
4042   uschar *log_msg, *smtp_code;
4043   uschar *user_msg = NULL;
4044   uschar *recipient = NULL;
4045   uschar *hello = NULL;
4046   uschar *s, *ss;
4047   BOOL was_rej_mail = FALSE;
4048   BOOL was_rcpt = FALSE;
4049   void (*oldsignal)(int);
4050   pid_t pid;
4051   int start, end, sender_domain, recipient_domain;
4052   int rc;
4053   int c;
4054   uschar *orcpt = NULL;
4055   int dsn_flags;
4056   gstring * g;
4057
4058 #ifdef AUTH_TLS
4059   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
4060   if (  tls_in.active.sock >= 0
4061      && tls_in.peercert
4062      && tls_in.certificate_verified
4063      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
4064      )
4065     {
4066     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
4067
4068     for (auth_instance * au = auths; au; au = au->next)
4069       if (strcmpic(US"tls", au->driver_name) == 0)
4070         {
4071         if (  acl_smtp_auth
4072            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4073                       &user_msg, &log_msg)) != OK
4074            )
4075           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4076         else
4077           {
4078           smtp_cmd_data = NULL;
4079
4080           if (smtp_in_auth(au, &s, &ss) == OK)
4081             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
4082           else
4083             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
4084           }
4085         break;
4086         }
4087     }
4088 #endif
4089
4090   switch(smtp_read_command(
4091 #ifndef DISABLE_PIPE_CONNECT
4092           !fl.pipe_connect_acceptable,
4093 #else
4094           TRUE,
4095 #endif
4096           GETC_BUFFER_UNLIMITED))
4097     {
4098     /* The AUTH command is not permitted to occur inside a transaction, and may
4099     occur successfully only once per connection. Actually, that isn't quite
4100     true. When TLS is started, all previous information about a connection must
4101     be discarded, so a new AUTH is permitted at that time.
4102
4103     AUTH may only be used when it has been advertised. However, it seems that
4104     there are clients that send AUTH when it hasn't been advertised, some of
4105     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4106     So there's a get-out that allows this to happen.
4107
4108     AUTH is initially labelled as a "nonmail command" so that one occurrence
4109     doesn't get counted. We change the label here so that multiple failing
4110     AUTHS will eventually hit the nonmail threshold. */
4111
4112     case AUTH_CMD:
4113       HAD(SCH_AUTH);
4114       authentication_failed = TRUE;
4115       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4116
4117       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4118         {
4119         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4120           US"AUTH command used when not advertised");
4121         break;
4122         }
4123       if (sender_host_authenticated)
4124         {
4125         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4126           US"already authenticated");
4127         break;
4128         }
4129       if (sender_address)
4130         {
4131         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4132           US"not permitted in mail transaction");
4133         break;
4134         }
4135
4136       /* Check the ACL */
4137
4138       if (  acl_smtp_auth
4139          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4140                     &user_msg, &log_msg)) != OK
4141          )
4142         {
4143         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4144         break;
4145         }
4146
4147       /* Find the name of the requested authentication mechanism. */
4148
4149       s = smtp_cmd_data;
4150       for (; (c = *smtp_cmd_data) && !isspace(c); smtp_cmd_data++)
4151         if (!isalnum(c) && c != '-' && c != '_')
4152           {
4153           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4154             US"invalid character in authentication mechanism name");
4155           goto COMMAND_LOOP;
4156           }
4157
4158       /* If not at the end of the line, we must be at white space. Terminate the
4159       name and move the pointer on to any data that may be present. */
4160
4161       if (*smtp_cmd_data)
4162         {
4163         *smtp_cmd_data++ = 0;
4164         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4165         }
4166
4167       /* Search for an authentication mechanism which is configured for use
4168       as a server and which has been advertised (unless, sigh, allow_auth_
4169       unadvertised is set). */
4170
4171         {
4172         auth_instance * au;
4173         for (au = auths; au; au = au->next)
4174           if (strcmpic(s, au->public_name) == 0 && au->server &&
4175               (au->advertised || f.allow_auth_unadvertised))
4176             break;
4177
4178         if (au)
4179           {
4180           c = smtp_in_auth(au, &s, &ss);
4181
4182           smtp_printf("%s\r\n", FALSE, s);
4183           if (c != OK)
4184             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4185               au->name, host_and_ident(FALSE), ss);
4186           }
4187         else
4188           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4189             string_sprintf("%s authentication mechanism not supported", s));
4190         }
4191
4192       break;  /* AUTH_CMD */
4193
4194     /* The HELO/EHLO commands are permitted to appear in the middle of a
4195     session as well as at the beginning. They have the effect of a reset in
4196     addition to their other functions. Their absence at the start cannot be
4197     taken to be an error.
4198
4199     RFC 2821 says:
4200
4201       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4202       or 502 failure replies MUST be returned as appropriate.  The SMTP
4203       server MUST stay in the same state after transmitting these replies
4204       that it was in before the EHLO was received.
4205
4206     Therefore, we do not do the reset until after checking the command for
4207     acceptability. This change was made for Exim release 4.11. Previously
4208     it did the reset first. */
4209
4210     case HELO_CMD:
4211       HAD(SCH_HELO);
4212       hello = US"HELO";
4213       fl.esmtp = FALSE;
4214       goto HELO_EHLO;
4215
4216     case EHLO_CMD:
4217       HAD(SCH_EHLO);
4218       hello = US"EHLO";
4219       fl.esmtp = TRUE;
4220
4221     HELO_EHLO:      /* Common code for HELO and EHLO */
4222       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4223       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4224
4225       /* Reject the HELO if its argument was invalid or non-existent. A
4226       successful check causes the argument to be saved in malloc store. */
4227
4228       if (!check_helo(smtp_cmd_data))
4229         {
4230         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4231
4232         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4233           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4234           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4235                              string_printing(smtp_cmd_argument));
4236
4237         if (++synprot_error_count > smtp_max_synprot_errors)
4238           {
4239           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4240             "syntax or protocol errors (last command was \"%s\", %s)",
4241             host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
4242             string_from_gstring(s_connhad_log(NULL))
4243             );
4244           done = 1;
4245           }
4246
4247         break;
4248         }
4249
4250       /* If sender_host_unknown is true, we have got here via the -bs interface,
4251       not called from inetd. Otherwise, we are running an IP connection and the
4252       host address will be set. If the helo name is the primary name of this
4253       host and we haven't done a reverse lookup, force one now. If helo_verify_required
4254       is set, ensure that the HELO name matches the actual host. If helo_verify
4255       is set, do the same check, but softly. */
4256
4257       if (!f.sender_host_unknown)
4258         {
4259         BOOL old_helo_verified = f.helo_verified;
4260         uschar *p = smtp_cmd_data;
4261
4262         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4263         *p = 0;
4264
4265         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4266         because otherwise the log can be confusing. */
4267
4268         if (  !sender_host_name
4269            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4270                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4271           (void)host_name_lookup();
4272
4273         /* Rebuild the fullhost info to include the HELO name (and the real name
4274         if it was looked up.) */
4275
4276         host_build_sender_fullhost();  /* Rebuild */
4277         set_process_info("handling%s incoming connection from %s",
4278           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4279
4280         /* Verify if configured. This doesn't give much security, but it does
4281         make some people happy to be able to do it. If helo_verify_required is set,
4282         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4283         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4284         now obsolescent, since the verification can now be requested selectively
4285         at ACL time. */
4286
4287         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4288         if (fl.helo_verify_required || fl.helo_verify)
4289           {
4290           BOOL tempfail = !smtp_verify_helo();
4291           if (!f.helo_verified)
4292             {
4293             if (fl.helo_verify_required)
4294               {
4295               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4296                 tempfail? 451 : 550, hello);
4297               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4298                 tempfail? "temporarily " : "",
4299                 hello, sender_helo_name, host_and_ident(FALSE));
4300               f.helo_verified = old_helo_verified;
4301               break;                   /* End of HELO/EHLO processing */
4302               }
4303             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4304               "helo_try_verify_hosts\n", hello);
4305             }
4306           }
4307         }
4308
4309 #ifdef SUPPORT_SPF
4310       /* set up SPF context */
4311       spf_conn_init(sender_helo_name, sender_host_address);
4312 #endif
4313
4314       /* Apply an ACL check if one is defined; afterwards, recheck
4315       synchronization in case the client started sending in a delay. */
4316
4317       if (acl_smtp_helo)
4318         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4319                   &user_msg, &log_msg)) != OK)
4320           {
4321           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4322           sender_helo_name = NULL;
4323           host_build_sender_fullhost();  /* Rebuild */
4324           break;
4325           }
4326 #ifndef DISABLE_PIPE_CONNECT
4327         else if (!fl.pipe_connect_acceptable && !check_sync())
4328 #else
4329         else if (!check_sync())
4330 #endif
4331           goto SYNC_FAILURE;
4332
4333       /* Generate an OK reply. The default string includes the ident if present,
4334       and also the IP address if present. Reflecting back the ident is intended
4335       as a deterrent to mail forgers. For maximum efficiency, and also because
4336       some broken systems expect each response to be in a single packet, arrange
4337       that the entire reply is sent in one write(). */
4338
4339       fl.auth_advertised = FALSE;
4340       f.smtp_in_pipelining_advertised = FALSE;
4341 #ifndef DISABLE_TLS
4342       fl.tls_advertised = FALSE;
4343 #endif
4344       fl.dsn_advertised = FALSE;
4345 #ifdef SUPPORT_I18N
4346       fl.smtputf8_advertised = FALSE;
4347 #endif
4348
4349       /* Expand the per-connection message count limit option */
4350       smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4351
4352       smtp_code = US"250 ";        /* Default response code plus space*/
4353       if (!user_msg)
4354         {
4355         /* sender_host_name below will be tainted, so save on copy when we hit it */
4356         g = string_get_tainted(24, TRUE);
4357         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4358           smtp_code,
4359           smtp_active_hostname,
4360           sender_ident ? sender_ident : US"",
4361           sender_ident ? US" at " : US"",
4362           sender_host_name ? sender_host_name : sender_helo_name);
4363
4364         if (sender_host_address)
4365           g = string_fmt_append(g, " [%s]", sender_host_address);
4366         }
4367
4368       /* A user-supplied EHLO greeting may not contain more than one line. Note
4369       that the code returned by smtp_message_code() includes the terminating
4370       whitespace character. */
4371
4372       else
4373         {
4374         char *ss;
4375         int codelen = 4;
4376         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4377         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4378         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4379           {
4380           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4381             "newlines: message truncated: %s", string_printing(s));
4382           *ss = 0;
4383           }
4384         g = string_cat(NULL, s);
4385         }
4386
4387       g = string_catn(g, US"\r\n", 2);
4388
4389       /* If we received EHLO, we must create a multiline response which includes
4390       the functions supported. */
4391
4392       if (fl.esmtp)
4393         {
4394         g->s[3] = '-';
4395
4396         /* I'm not entirely happy with this, as an MTA is supposed to check
4397         that it has enough room to accept a message of maximum size before
4398         it sends this. However, there seems little point in not sending it.
4399         The actual size check happens later at MAIL FROM time. By postponing it
4400         till then, VRFY and EXPN can be used after EHLO when space is short. */
4401
4402         if (thismessage_size_limit > 0)
4403           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4404             thismessage_size_limit);
4405         else
4406           {
4407           g = string_catn(g, smtp_code, 3);
4408           g = string_catn(g, US"-SIZE\r\n", 7);
4409           }
4410
4411 #ifdef EXPERIMENTAL_ESMTP_LIMITS
4412         if (  (smtp_mailcmd_max > 0 || recipients_max)
4413            && verify_check_host(&limits_advertise_hosts) == OK)
4414           {
4415           g = string_fmt_append(g, "%.3s-LIMITS", smtp_code);
4416           if (smtp_mailcmd_max > 0)
4417             g = string_fmt_append(g, " MAILMAX=%d", smtp_mailcmd_max);
4418           if (recipients_max)
4419             g = string_fmt_append(g, " RCPTMAX=%d", recipients_max);
4420           g = string_catn(g, US"\r\n", 2);
4421           }
4422 #endif
4423
4424         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4425         clean; if it has an 8-bit character in its hand, it just sends it. It
4426         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4427         However, some users want this option simply in order to stop MUAs
4428         mangling messages that contain top-bit-set characters. It is therefore
4429         provided as an option. */
4430
4431         if (accept_8bitmime)
4432           {
4433           g = string_catn(g, smtp_code, 3);
4434           g = string_catn(g, US"-8BITMIME\r\n", 11);
4435           }
4436
4437         /* Advertise DSN support if configured to do so. */
4438         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4439           {
4440           g = string_catn(g, smtp_code, 3);
4441           g = string_catn(g, US"-DSN\r\n", 6);
4442           fl.dsn_advertised = TRUE;
4443           }
4444
4445         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4446         permitted to issue them; a check is made when any host actually tries. */
4447
4448         if (acl_smtp_etrn)
4449           {
4450           g = string_catn(g, smtp_code, 3);
4451           g = string_catn(g, US"-ETRN\r\n", 7);
4452           }
4453         if (acl_smtp_vrfy)
4454           {
4455           g = string_catn(g, smtp_code, 3);
4456           g = string_catn(g, US"-VRFY\r\n", 7);
4457           }
4458         if (acl_smtp_expn)
4459           {
4460           g = string_catn(g, smtp_code, 3);
4461           g = string_catn(g, US"-EXPN\r\n", 7);
4462           }
4463
4464         /* Exim is quite happy with pipelining, so let the other end know that
4465         it is safe to use it, unless advertising is disabled. */
4466
4467         if (  f.pipelining_enable
4468            && verify_check_host(&pipelining_advertise_hosts) == OK)
4469           {
4470           g = string_catn(g, smtp_code, 3);
4471           g = string_catn(g, US"-PIPELINING\r\n", 13);
4472           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4473           f.smtp_in_pipelining_advertised = TRUE;
4474
4475 #ifndef DISABLE_PIPE_CONNECT
4476           if (fl.pipe_connect_acceptable)
4477             {
4478             f.smtp_in_early_pipe_advertised = TRUE;
4479             g = string_catn(g, smtp_code, 3);
4480             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4481             }
4482 #endif
4483           }
4484
4485
4486         /* If any server authentication mechanisms are configured, advertise
4487         them if the current host is in auth_advertise_hosts. The problem with
4488         advertising always is that some clients then require users to
4489         authenticate (and aren't configurable otherwise) even though it may not
4490         be necessary (e.g. if the host is in host_accept_relay).
4491
4492         RFC 2222 states that SASL mechanism names contain only upper case
4493         letters, so output the names in upper case, though we actually recognize
4494         them in either case in the AUTH command. */
4495
4496         if (  auths
4497 #ifdef AUTH_TLS
4498            && !sender_host_authenticated
4499 #endif
4500            && verify_check_host(&auth_advertise_hosts) == OK
4501            )
4502           {
4503           BOOL first = TRUE;
4504           for (auth_instance * au = auths; au; au = au->next)
4505             {
4506             au->advertised = FALSE;
4507             if (au->server)
4508               {
4509               DEBUG(D_auth+D_expand) debug_printf_indent(
4510                 "Evaluating advertise_condition for %s %s athenticator\n",
4511                 au->name, au->public_name);
4512               if (  !au->advertise_condition
4513                  || expand_check_condition(au->advertise_condition, au->name,
4514                         US"authenticator")
4515                  )
4516                 {
4517                 int saveptr;
4518                 if (first)
4519                   {
4520                   g = string_catn(g, smtp_code, 3);
4521                   g = string_catn(g, US"-AUTH", 5);
4522                   first = FALSE;
4523                   fl.auth_advertised = TRUE;
4524                   }
4525                 saveptr = g->ptr;
4526                 g = string_catn(g, US" ", 1);
4527                 g = string_cat (g, au->public_name);
4528                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4529                 au->advertised = TRUE;
4530                 }
4531               }
4532             }
4533
4534           if (!first) g = string_catn(g, US"\r\n", 2);
4535           }
4536
4537         /* RFC 3030 CHUNKING */
4538
4539         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4540           {
4541           g = string_catn(g, smtp_code, 3);
4542           g = string_catn(g, US"-CHUNKING\r\n", 11);
4543           f.chunking_offered = TRUE;
4544           chunking_state = CHUNKING_OFFERED;
4545           }
4546
4547         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4548         if it has been included in the binary, and the host matches
4549         tls_advertise_hosts. We must *not* advertise if we are already in a
4550         secure connection. */
4551
4552 #ifndef DISABLE_TLS
4553         if (tls_in.active.sock < 0 &&
4554             verify_check_host(&tls_advertise_hosts) != FAIL)
4555           {
4556           g = string_catn(g, smtp_code, 3);
4557           g = string_catn(g, US"-STARTTLS\r\n", 11);
4558           fl.tls_advertised = TRUE;
4559           }
4560 #endif
4561
4562 #ifndef DISABLE_PRDR
4563         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4564         if (prdr_enable)
4565           {
4566           g = string_catn(g, smtp_code, 3);
4567           g = string_catn(g, US"-PRDR\r\n", 7);
4568           }
4569 #endif
4570
4571 #ifdef SUPPORT_I18N
4572         if (  accept_8bitmime
4573            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4574           {
4575           g = string_catn(g, smtp_code, 3);
4576           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4577           fl.smtputf8_advertised = TRUE;
4578           }
4579 #endif
4580
4581         /* Finish off the multiline reply with one that is always available. */
4582
4583         g = string_catn(g, smtp_code, 3);
4584         g = string_catn(g, US" HELP\r\n", 7);
4585         }
4586
4587       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4588       has been seen. */
4589
4590 #ifndef DISABLE_TLS
4591       if (tls_in.active.sock >= 0)
4592         (void)tls_write(NULL, g->s, g->ptr,
4593 # ifndef DISABLE_PIPE_CONNECT
4594                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4595 # else
4596                         FALSE);
4597 # endif
4598       else
4599 #endif
4600         (void) fwrite(g->s, 1, g->ptr, smtp_out);
4601
4602       DEBUG(D_receive)
4603         {
4604         uschar *cr;
4605
4606         (void) string_from_gstring(g);
4607         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4608           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4609         debug_printf("SMTP>> %s", g->s);
4610         }
4611       fl.helo_seen = TRUE;
4612
4613       /* Reset the protocol and the state, abandoning any previous message. */
4614       received_protocol =
4615         (sender_host_address ? protocols : protocols_local)
4616           [ (fl.esmtp
4617             ? pextend + (sender_host_authenticated ? pauthed : 0)
4618             : pnormal)
4619           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4620           ];
4621       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4622       reset_point = smtp_reset(reset_point);
4623       toomany = FALSE;
4624       break;   /* HELO/EHLO */
4625
4626
4627     /* The MAIL command requires an address as an operand. All we do
4628     here is to parse it for syntactic correctness. The form "<>" is
4629     a special case which converts into an empty string. The start/end
4630     pointers in the original are not used further for this address, as
4631     it is the canonical extracted address which is all that is kept. */
4632
4633     case MAIL_CMD:
4634       HAD(SCH_MAIL);
4635       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4636       message_start();
4637       was_rej_mail = TRUE;               /* Reset if accepted */
4638       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4639
4640       if (!fl.helo_seen)
4641         if (  fl.helo_verify_required
4642            || verify_check_host(&hosts_require_helo) == OK)
4643           {
4644           smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4645           log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4646             "HELO/EHLO given", host_and_ident(FALSE));
4647           break;
4648           }
4649         else if (smtp_mailcmd_max < 0)
4650           smtp_mailcmd_max = expand_mailmax(smtp_accept_max_per_connection);
4651
4652       if (sender_address)
4653         {
4654         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4655           US"sender already given");
4656         break;
4657         }
4658
4659       if (!*smtp_cmd_data)
4660         {
4661         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4662           US"MAIL must have an address operand");
4663         break;
4664         }
4665
4666       /* Check to see if the limit for messages per connection would be
4667       exceeded by accepting further messages. */
4668
4669       if (smtp_mailcmd_max > 0 && smtp_mailcmd_count > smtp_mailcmd_max)
4670         {
4671         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4672         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4673           "messages in one connection", host_and_ident(TRUE));
4674         break;
4675         }
4676
4677       /* Reset for start of message - even if this is going to fail, we
4678       obviously need to throw away any previous data. */
4679
4680       cancel_cutthrough_connection(TRUE, US"MAIL received");
4681       reset_point = smtp_reset(reset_point);
4682       toomany = FALSE;
4683       sender_data = recipient_data = NULL;
4684
4685       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4686
4687       if (fl.esmtp) for(;;)
4688         {
4689         uschar *name, *value, *end;
4690         unsigned long int size;
4691         BOOL arg_error = FALSE;
4692
4693         if (!extract_option(&name, &value)) break;
4694
4695         for (mail_args = env_mail_type_list;
4696              mail_args->value != ENV_MAIL_OPT_NULL;
4697              mail_args++
4698             )
4699           if (strcmpic(name, mail_args->name) == 0)
4700             break;
4701         if (mail_args->need_value && strcmpic(value, US"") == 0)
4702           break;
4703
4704         switch(mail_args->value)
4705           {
4706           /* Handle SIZE= by reading the value. We don't do the check till later,
4707           in order to be able to log the sender address on failure. */
4708           case ENV_MAIL_OPT_SIZE:
4709             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4710               {
4711               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4712                 size = INT_MAX;
4713               message_size = (int)size;
4714               }
4715             else
4716               arg_error = TRUE;
4717             break;
4718
4719           /* If this session was initiated with EHLO and accept_8bitmime is set,
4720           Exim will have indicated that it supports the BODY=8BITMIME option. In
4721           fact, it does not support this according to the RFCs, in that it does not
4722           take any special action for forwarding messages containing 8-bit
4723           characters. That is why accept_8bitmime is not the default setting, but
4724           some sites want the action that is provided. We recognize both "8BITMIME"
4725           and "7BIT" as body types, but take no action. */
4726           case ENV_MAIL_OPT_BODY:
4727             if (accept_8bitmime) {
4728               if (strcmpic(value, US"8BITMIME") == 0)
4729                 body_8bitmime = 8;
4730               else if (strcmpic(value, US"7BIT") == 0)
4731                 body_8bitmime = 7;
4732               else
4733                 {
4734                 body_8bitmime = 0;
4735                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4736                   US"invalid data for BODY");
4737                 goto COMMAND_LOOP;
4738                 }
4739               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4740               break;
4741             }
4742             arg_error = TRUE;
4743             break;
4744
4745           /* Handle the two DSN options, but only if configured to do so (which
4746           will have caused "DSN" to be given in the EHLO response). The code itself
4747           is included only if configured in at build time. */
4748
4749           case ENV_MAIL_OPT_RET:
4750             if (fl.dsn_advertised)
4751               {
4752               /* Check if RET has already been set */
4753               if (dsn_ret > 0)
4754                 {
4755                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4756                   US"RET can be specified once only");
4757                 goto COMMAND_LOOP;
4758                 }
4759               dsn_ret = strcmpic(value, US"HDRS") == 0
4760                 ? dsn_ret_hdrs
4761                 : strcmpic(value, US"FULL") == 0
4762                 ? dsn_ret_full
4763                 : 0;
4764               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4765               /* Check for invalid invalid value, and exit with error */
4766               if (dsn_ret == 0)
4767                 {
4768                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4769                   US"Value for RET is invalid");
4770                 goto COMMAND_LOOP;
4771                 }
4772               }
4773             break;
4774           case ENV_MAIL_OPT_ENVID:
4775             if (fl.dsn_advertised)
4776               {
4777               /* Check if the dsn envid has been already set */
4778               if (dsn_envid)
4779                 {
4780                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4781                   US"ENVID can be specified once only");
4782                 goto COMMAND_LOOP;
4783                 }
4784               dsn_envid = string_copy(value);
4785               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4786               }
4787             break;
4788
4789           /* Handle the AUTH extension. If the value given is not "<>" and either
4790           the ACL says "yes" or there is no ACL but the sending host is
4791           authenticated, we set it up as the authenticated sender. However, if the
4792           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4793           the condition is met. The value of AUTH is an xtext, which means that +,
4794           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4795           coding. */
4796           case ENV_MAIL_OPT_AUTH:
4797             if (Ustrcmp(value, "<>") != 0)
4798               {
4799               int rc;
4800               uschar *ignore_msg;
4801
4802               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4803                 {
4804                 /* Put back terminator overrides for error message */
4805                 value[-1] = '=';
4806                 name[-1] = ' ';
4807                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4808                   US"invalid data for AUTH");
4809                 goto COMMAND_LOOP;
4810                 }
4811               if (!acl_smtp_mailauth)
4812                 {
4813                 ignore_msg = US"client not authenticated";
4814                 rc = sender_host_authenticated ? OK : FAIL;
4815                 }
4816               else
4817                 {
4818                 ignore_msg = US"rejected by ACL";
4819                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4820                   &user_msg, &log_msg);
4821                 }
4822
4823               switch (rc)
4824                 {
4825                 case OK:
4826                   if (authenticated_by == NULL ||
4827                       authenticated_by->mail_auth_condition == NULL ||
4828                       expand_check_condition(authenticated_by->mail_auth_condition,
4829                           authenticated_by->name, US"authenticator"))
4830                     break;     /* Accept the AUTH */
4831
4832                   ignore_msg = US"server_mail_auth_condition failed";
4833                   if (authenticated_id != NULL)
4834                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4835                       ignore_msg, authenticated_id);
4836
4837                 /* Fall through */
4838
4839                 case FAIL:
4840                   authenticated_sender = NULL;
4841                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4842                     value, host_and_ident(TRUE), ignore_msg);
4843                   break;
4844
4845                 /* Should only get DEFER or ERROR here. Put back terminator
4846                 overrides for error message */
4847
4848                 default:
4849                   value[-1] = '=';
4850                   name[-1] = ' ';
4851                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4852                     log_msg);
4853                   goto COMMAND_LOOP;
4854                 }
4855               }
4856               break;
4857
4858 #ifndef DISABLE_PRDR
4859           case ENV_MAIL_OPT_PRDR:
4860             if (prdr_enable)
4861               prdr_requested = TRUE;
4862             break;
4863 #endif
4864
4865 #ifdef SUPPORT_I18N
4866           case ENV_MAIL_OPT_UTF8:
4867             if (!fl.smtputf8_advertised)
4868               {
4869               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4870                 US"SMTPUTF8 used when not advertised");
4871               goto COMMAND_LOOP;
4872               }
4873
4874             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4875             message_smtputf8 = allow_utf8_domains = TRUE;
4876             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4877               {
4878               int old_pool = store_pool;
4879               store_pool = POOL_PERM;
4880               received_protocol = string_sprintf("utf8%s", received_protocol);
4881               store_pool = old_pool;
4882               }
4883             break;
4884 #endif
4885
4886           /* No valid option. Stick back the terminator characters and break
4887           the loop.  Do the name-terminator second as extract_option sets
4888           value==name when it found no equal-sign.
4889           An error for a malformed address will occur. */
4890           case ENV_MAIL_OPT_NULL:
4891             value[-1] = '=';
4892             name[-1] = ' ';
4893             arg_error = TRUE;
4894             break;
4895
4896           default:  assert(0);
4897           }
4898         /* Break out of for loop if switch() had bad argument or
4899            when start of the email address is reached */
4900         if (arg_error) break;
4901         }
4902
4903       /* If we have passed the threshold for rate limiting, apply the current
4904       delay, and update it for next time, provided this is a limited host. */
4905
4906       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4907           verify_check_host(&smtp_ratelimit_hosts) == OK)
4908         {
4909         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4910           smtp_delay_mail/1000.0);
4911         millisleep((int)smtp_delay_mail);
4912         smtp_delay_mail *= smtp_rlm_factor;
4913         if (smtp_delay_mail > (double)smtp_rlm_limit)
4914           smtp_delay_mail = (double)smtp_rlm_limit;
4915         }
4916
4917       /* Now extract the address, first applying any SMTP-time rewriting. The
4918       TRUE flag allows "<>" as a sender address. */
4919
4920       raw_sender = rewrite_existflags & rewrite_smtp
4921         /* deconst ok as smtp_cmd_data was not const */
4922         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4923                       global_rewrite_rules)
4924         : smtp_cmd_data;
4925
4926       raw_sender =
4927         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4928           TRUE);
4929
4930       if (!raw_sender)
4931         {
4932         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4933         break;
4934         }
4935
4936       sender_address = raw_sender;
4937
4938       /* If there is a configured size limit for mail, check that this message
4939       doesn't exceed it. The check is postponed to this point so that the sender
4940       can be logged. */
4941
4942       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4943         {
4944         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4945         log_write(L_size_reject,
4946             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4947             "message too big: size%s=%d max=%d",
4948             sender_address,
4949             host_and_ident(TRUE),
4950             (message_size == INT_MAX)? ">" : "",
4951             message_size,
4952             thismessage_size_limit);
4953         sender_address = NULL;
4954         break;
4955         }
4956
4957       /* Check there is enough space on the disk unless configured not to.
4958       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4959       plus the current message - i.e. we accept the message only if it won't
4960       reduce the space below the threshold. Add 5000 to the size to allow for
4961       overheads such as the Received: line and storing of recipients, etc.
4962       By putting the check here, even when SIZE is not given, it allow VRFY
4963       and EXPN etc. to be used when space is short. */
4964
4965       if (!receive_check_fs(
4966            smtp_check_spool_space && message_size >= 0
4967               ? message_size + 5000 : 0))
4968         {
4969         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4970         sender_address = NULL;
4971         break;
4972         }
4973
4974       /* If sender_address is unqualified, reject it, unless this is a locally
4975       generated message, or the sending host or net is permitted to send
4976       unqualified addresses - typically local machines behaving as MUAs -
4977       in which case just qualify the address. The flag is set above at the start
4978       of the SMTP connection. */
4979
4980       if (!sender_domain && *sender_address)
4981         if (f.allow_unqualified_sender)
4982           {
4983           sender_domain = Ustrlen(sender_address) + 1;
4984           /* deconst ok as sender_address was not const */
4985           sender_address = US rewrite_address_qualify(sender_address, FALSE);
4986           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4987             raw_sender);
4988           }
4989         else
4990           {
4991           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4992             smtp_cmd_data);
4993           log_write(L_smtp_syntax_error,
4994             LOG_MAIN|LOG_REJECT,
4995             "unqualified sender rejected: <%s> %s%s",
4996             raw_sender,
4997             host_and_ident(TRUE),
4998             host_lookup_msg);
4999           sender_address = NULL;
5000           break;
5001           }
5002
5003       /* Apply an ACL check if one is defined, before responding. Afterwards,
5004       when pipelining is not advertised, do another sync check in case the ACL
5005       delayed and the client started sending in the meantime. */
5006
5007       if (acl_smtp_mail)
5008         {
5009         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
5010         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
5011           goto SYNC_FAILURE;
5012         }
5013       else
5014         rc = OK;
5015
5016       if (rc == OK || rc == DISCARD)
5017         {
5018         BOOL more = pipeline_response();
5019
5020         if (!user_msg)
5021           smtp_printf("%s%s%s", more, US"250 OK",
5022                     #ifndef DISABLE_PRDR
5023                       prdr_requested ? US", PRDR Requested" : US"",
5024                     #else
5025                       US"",
5026                     #endif
5027                       US"\r\n");
5028         else
5029           {
5030         #ifndef DISABLE_PRDR
5031           if (prdr_requested)
5032              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
5033         #endif
5034           smtp_user_msg(US"250", user_msg);
5035           }
5036         smtp_delay_rcpt = smtp_rlr_base;
5037         f.recipients_discarded = (rc == DISCARD);
5038         was_rej_mail = FALSE;
5039         }
5040       else
5041         {
5042         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
5043         sender_address = NULL;
5044         }
5045       break;
5046
5047
5048     /* The RCPT command requires an address as an operand. There may be any
5049     number of RCPT commands, specifying multiple recipients. We build them all
5050     into a data structure. The start/end values given by parse_extract_address
5051     are not used, as we keep only the extracted address. */
5052
5053     case RCPT_CMD:
5054       HAD(SCH_RCPT);
5055       /* We got really to many recipients. A check against configured
5056       limits is done later */
5057       if (rcpt_count < 0 || rcpt_count >= INT_MAX/2)
5058         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Too many recipients: %d", rcpt_count);
5059       rcpt_count++;
5060       was_rcpt = fl.rcpt_in_progress = TRUE;
5061
5062       /* There must be a sender address; if the sender was rejected and
5063       pipelining was advertised, we assume the client was pipelining, and do not
5064       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5065       get the same treatment. */
5066
5067       if (sender_address == NULL)
5068         {
5069         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5070           {
5071           smtp_printf("503 sender not yet given\r\n", FALSE);
5072           was_rej_mail = TRUE;
5073           }
5074         else
5075           {
5076           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5077             US"sender not yet given");
5078           was_rcpt = FALSE;             /* Not a valid RCPT */
5079           }
5080         rcpt_fail_count++;
5081         break;
5082         }
5083
5084       /* Check for an operand */
5085
5086       if (smtp_cmd_data[0] == 0)
5087         {
5088         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5089           US"RCPT must have an address operand");
5090         rcpt_fail_count++;
5091         break;
5092         }
5093
5094       /* Set the DSN flags orcpt and dsn_flags from the session*/
5095       orcpt = NULL;
5096       dsn_flags = 0;
5097
5098       if (fl.esmtp) for(;;)
5099         {
5100         uschar *name, *value;
5101
5102         if (!extract_option(&name, &value))
5103           break;
5104
5105         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5106           {
5107           /* Check whether orcpt has been already set */
5108           if (orcpt)
5109             {
5110             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5111               US"ORCPT can be specified once only");
5112             goto COMMAND_LOOP;
5113             }
5114           orcpt = string_copy(value);
5115           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5116           }
5117
5118         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5119           {
5120           /* Check if the notify flags have been already set */
5121           if (dsn_flags > 0)
5122             {
5123             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5124                 US"NOTIFY can be specified once only");
5125             goto COMMAND_LOOP;
5126             }
5127           if (strcmpic(value, US"NEVER") == 0)
5128             dsn_flags |= rf_notify_never;
5129           else
5130             {
5131             uschar *p = value;
5132             while (*p != 0)
5133               {
5134               uschar *pp = p;
5135               while (*pp != 0 && *pp != ',') pp++;
5136               if (*pp == ',') *pp++ = 0;
5137               if (strcmpic(p, US"SUCCESS") == 0)
5138                 {
5139                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5140                 dsn_flags |= rf_notify_success;
5141                 }
5142               else if (strcmpic(p, US"FAILURE") == 0)
5143                 {
5144                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5145                 dsn_flags |= rf_notify_failure;
5146                 }
5147               else if (strcmpic(p, US"DELAY") == 0)
5148                 {
5149                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5150                 dsn_flags |= rf_notify_delay;
5151                 }
5152               else
5153                 {
5154                 /* Catch any strange values */
5155                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5156                   US"Invalid value for NOTIFY parameter");
5157                 goto COMMAND_LOOP;
5158                 }
5159               p = pp;
5160               }
5161               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5162             }
5163           }
5164
5165         /* Unknown option. Stick back the terminator characters and break
5166         the loop. An error for a malformed address will occur. */
5167
5168         else
5169           {
5170           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5171           name[-1] = ' ';
5172           value[-1] = '=';
5173           break;
5174           }
5175         }
5176
5177       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5178       as a recipient address */
5179
5180       recipient = rewrite_existflags & rewrite_smtp
5181         /* deconst ok as smtp_cmd_data was not const */
5182         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5183             global_rewrite_rules)
5184         : smtp_cmd_data;
5185
5186       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5187         &recipient_domain, FALSE)))
5188         {
5189         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5190         rcpt_fail_count++;
5191         break;
5192         }
5193
5194       /* If the recipient address is unqualified, reject it, unless this is a
5195       locally generated message. However, unqualified addresses are permitted
5196       from a configured list of hosts and nets - typically when behaving as
5197       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5198       really. The flag is set at the start of the SMTP connection.
5199
5200       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5201       assumed this meant "reserved local part", but the revision of RFC 821 and
5202       friends now makes it absolutely clear that it means *mailbox*. Consequently
5203       we must always qualify this address, regardless. */
5204
5205       if (!recipient_domain)
5206         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5207                                     US"recipient")))
5208           {
5209           rcpt_fail_count++;
5210           break;
5211           }
5212
5213       /* Check maximum allowed */
5214
5215       if (rcpt_count+1 < 0 || rcpt_count > recipients_max && recipients_max > 0)
5216         {
5217         if (recipients_max_reject)
5218           {
5219           rcpt_fail_count++;
5220           smtp_printf("552 too many recipients\r\n", FALSE);
5221           if (!toomany)
5222             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5223               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5224           }
5225         else
5226           {
5227           rcpt_defer_count++;
5228           smtp_printf("452 too many recipients\r\n", FALSE);
5229           if (!toomany)
5230             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5231               "temporarily rejected: sender=<%s> %s", sender_address,
5232               host_and_ident(TRUE));
5233           }
5234
5235         toomany = TRUE;
5236         break;
5237         }
5238
5239       /* If we have passed the threshold for rate limiting, apply the current
5240       delay, and update it for next time, provided this is a limited host. */
5241
5242       if (rcpt_count > smtp_rlr_threshold &&
5243           verify_check_host(&smtp_ratelimit_hosts) == OK)
5244         {
5245         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5246           smtp_delay_rcpt/1000.0);
5247         millisleep((int)smtp_delay_rcpt);
5248         smtp_delay_rcpt *= smtp_rlr_factor;
5249         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5250           smtp_delay_rcpt = (double)smtp_rlr_limit;
5251         }
5252
5253       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5254       for them. Otherwise, check the access control list for this recipient. As
5255       there may be a delay in this, re-check for a synchronization error
5256       afterwards, unless pipelining was advertised. */
5257
5258       if (f.recipients_discarded)
5259         rc = DISCARD;
5260       else
5261         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5262                       &log_msg)) == OK
5263            && !f.smtp_in_pipelining_advertised && !check_sync())
5264           goto SYNC_FAILURE;
5265
5266       /* The ACL was happy */
5267
5268       if (rc == OK)
5269         {
5270         BOOL more = pipeline_response();
5271
5272         if (user_msg)
5273           smtp_user_msg(US"250", user_msg);
5274         else
5275           smtp_printf("250 Accepted\r\n", more);
5276         receive_add_recipient(recipient, -1);
5277
5278         /* Set the dsn flags in the recipients_list */
5279         recipients_list[recipients_count-1].orcpt = orcpt;
5280         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5281
5282         /* DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5283           recipients_list[recipients_count-1].orcpt,
5284           recipients_list[recipients_count-1].dsn_flags); */
5285         }
5286
5287       /* The recipient was discarded */
5288
5289       else if (rc == DISCARD)
5290         {
5291         if (user_msg)
5292           smtp_user_msg(US"250", user_msg);
5293         else
5294           smtp_printf("250 Accepted\r\n", FALSE);
5295         rcpt_fail_count++;
5296         discarded = TRUE;
5297         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5298           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5299           sender_address_unrewritten ? sender_address_unrewritten : sender_address,
5300           smtp_cmd_argument, f.recipients_discarded ? "MAIL" : "RCPT",
5301           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5302         }
5303
5304       /* Either the ACL failed the address, or it was deferred. */
5305
5306       else
5307         {
5308         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5309         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5310         }
5311       break;
5312
5313
5314     /* The DATA command is legal only if it follows successful MAIL FROM
5315     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5316     not counted as a protocol error if it follows RCPT (which must have been
5317     rejected if there are no recipients.) This function is complete when a
5318     valid DATA command is encountered.
5319
5320     Note concerning the code used: RFC 2821 says this:
5321
5322      -  If there was no MAIL, or no RCPT, command, or all such commands
5323         were rejected, the server MAY return a "command out of sequence"
5324         (503) or "no valid recipients" (554) reply in response to the
5325         DATA command.
5326
5327     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5328     because it is the same whether pipelining is in use or not.
5329
5330     If all the RCPT commands that precede DATA provoked the same error message
5331     (often indicating some kind of system error), it is helpful to include it
5332     with the DATA rejection (an idea suggested by Tony Finch). */
5333
5334     case BDAT_CMD:
5335       {
5336       int n;
5337
5338       HAD(SCH_BDAT);
5339       if (chunking_state != CHUNKING_OFFERED)
5340         {
5341         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5342           US"BDAT command used when CHUNKING not advertised");
5343         break;
5344         }
5345
5346       /* grab size, endmarker */
5347
5348       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5349         {
5350         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5351           US"missing size for BDAT command");
5352         break;
5353         }
5354       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5355         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5356       chunking_data_left = chunking_datasize;
5357       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5358                                     (int)chunking_state, chunking_data_left);
5359
5360       f.bdat_readers_wanted = TRUE; /* FIXME: redundant vs chunking_state? */
5361       f.dot_ends = FALSE;
5362
5363       goto DATA_BDAT;
5364       }
5365
5366     case DATA_CMD:
5367       HAD(SCH_DATA);
5368       f.dot_ends = TRUE;
5369       f.bdat_readers_wanted = FALSE;
5370
5371     DATA_BDAT:          /* Common code for DATA and BDAT */
5372 #ifndef DISABLE_PIPE_CONNECT
5373       fl.pipe_connect_acceptable = FALSE;
5374 #endif
5375       if (!discarded && recipients_count <= 0)
5376         {
5377         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5378           {
5379           uschar *code = US"503";
5380           int len = Ustrlen(rcpt_smtp_response);
5381           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5382             "this error:");
5383           /* Responses from smtp_printf() will have \r\n on the end */
5384           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5385             rcpt_smtp_response[len-2] = 0;
5386           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5387           }
5388         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5389           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5390             smtp_names[smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)]]);
5391         else
5392           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5393             smtp_connection_had[SMTP_HBUFF_PREV(smtp_ch_index)] == SCH_DATA
5394             ? US"valid RCPT command must precede DATA"
5395             : US"valid RCPT command must precede BDAT");
5396
5397         if (chunking_state > CHUNKING_OFFERED)
5398           {
5399           bdat_push_receive_functions();
5400           bdat_flush_data();
5401           }
5402         break;
5403         }
5404
5405       if (toomany && recipients_max_reject)
5406         {
5407         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5408         sender_address_unrewritten = NULL;
5409         smtp_printf("554 Too many recipients\r\n", FALSE);
5410
5411         if (chunking_state > CHUNKING_OFFERED)
5412           {
5413           bdat_push_receive_functions();
5414           bdat_flush_data();
5415           }
5416         break;
5417         }
5418
5419       if (chunking_state > CHUNKING_OFFERED)
5420         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5421       else
5422         {
5423         /* If there is an ACL, re-check the synchronization afterwards, since the
5424         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5425         to get the DATA command sent. */
5426
5427         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5428           rc = OK;
5429         else
5430           {
5431           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5432           f.enable_dollar_recipients = TRUE;
5433           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5434             &log_msg);
5435           f.enable_dollar_recipients = FALSE;
5436           if (rc == OK && !check_sync())
5437             goto SYNC_FAILURE;
5438
5439           if (rc != OK)
5440             {   /* Either the ACL failed the address, or it was deferred. */
5441             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5442             break;
5443             }
5444           }
5445
5446         if (user_msg)
5447           smtp_user_msg(US"354", user_msg);
5448         else
5449           smtp_printf(
5450             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5451         }
5452
5453       if (f.bdat_readers_wanted)
5454         bdat_push_receive_functions();
5455
5456 #ifdef TCP_QUICKACK
5457       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5458         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5459                 US &on, sizeof(on));
5460 #endif
5461       done = 3;
5462       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5463
5464       break;
5465
5466
5467     case VRFY_CMD:
5468       {
5469       uschar * address;
5470
5471       HAD(SCH_VRFY);
5472
5473       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5474             &start, &end, &recipient_domain, FALSE)))
5475         {
5476         smtp_printf("501 %s\r\n", FALSE, errmess);
5477         break;
5478         }
5479
5480       if (!recipient_domain)
5481         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5482                                     US"verify")))
5483           break;
5484
5485       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5486                     &user_msg, &log_msg)) != OK)
5487         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5488       else
5489         {
5490         uschar * s = NULL;
5491         address_item * addr = deliver_make_addr(address, FALSE);
5492
5493         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5494                -1, -1, NULL, NULL, NULL))
5495           {
5496           case OK:
5497             s = string_sprintf("250 <%s> is deliverable", address);
5498             break;
5499
5500           case DEFER:
5501             s = (addr->user_message != NULL)?
5502               string_sprintf("451 <%s> %s", address, addr->user_message) :
5503               string_sprintf("451 Cannot resolve <%s> at this time", address);
5504             break;
5505
5506           case FAIL:
5507             s = (addr->user_message != NULL)?
5508               string_sprintf("550 <%s> %s", address, addr->user_message) :
5509               string_sprintf("550 <%s> is not deliverable", address);
5510             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5511               smtp_cmd_argument, host_and_ident(TRUE));
5512             break;
5513           }
5514
5515         smtp_printf("%s\r\n", FALSE, s);
5516         }
5517       break;
5518       }
5519
5520
5521     case EXPN_CMD:
5522       HAD(SCH_EXPN);
5523       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5524       if (rc != OK)
5525         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5526       else
5527         {
5528         BOOL save_log_testing_mode = f.log_testing_mode;
5529         f.address_test_mode = f.log_testing_mode = TRUE;
5530         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5531           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5532           NULL, NULL, NULL);
5533         f.address_test_mode = FALSE;
5534         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5535         }
5536       break;
5537
5538
5539     #ifndef DISABLE_TLS
5540
5541     case STARTTLS_CMD:
5542       HAD(SCH_STARTTLS);
5543       if (!fl.tls_advertised)
5544         {
5545         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5546           US"STARTTLS command used when not advertised");
5547         break;
5548         }
5549
5550       /* Apply an ACL check if one is defined */
5551
5552       if (  acl_smtp_starttls
5553          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5554                     &user_msg, &log_msg)) != OK
5555          )
5556         {
5557         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5558         break;
5559         }
5560
5561       /* RFC 2487 is not clear on when this command may be sent, though it
5562       does state that all information previously obtained from the client
5563       must be discarded if a TLS session is started. It seems reasonable to
5564       do an implied RSET when STARTTLS is received. */
5565
5566       incomplete_transaction_log(US"STARTTLS");
5567       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5568       reset_point = smtp_reset(reset_point);
5569       toomany = FALSE;
5570       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5571
5572       /* There's an attack where more data is read in past the STARTTLS command
5573       before TLS is negotiated, then assumed to be part of the secure session
5574       when used afterwards; we use segregated input buffers, so are not
5575       vulnerable, but we want to note when it happens and, for sheer paranoia,
5576       ensure that the buffer is "wiped".
5577       Pipelining sync checks will normally have protected us too, unless disabled
5578       by configuration. */
5579
5580       if (receive_smtp_buffered())
5581         {
5582         DEBUG(D_any)
5583           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5584         if (tls_in.active.sock < 0)
5585           smtp_inend = smtp_inptr = smtp_inbuffer;
5586         /* and if TLS is already active, tls_server_start() should fail */
5587         }
5588
5589       /* There is nothing we value in the input buffer and if TLS is successfully
5590       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5591       fresh content into it.  The buffer contains arbitrary content from an
5592       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5593       It seems safest to just wipe away the content rather than leave it as a
5594       target to jump to. */
5595
5596       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5597
5598       /* Attempt to start up a TLS session, and if successful, discard all
5599       knowledge that was obtained previously. At least, that's what the RFC says,
5600       and that's what happens by default. However, in order to work round YAEB,
5601       there is an option to remember the esmtp state. Sigh.
5602
5603       We must allow for an extra EHLO command and an extra AUTH command after
5604       STARTTLS that don't add to the nonmail command count. */
5605
5606       s = NULL;
5607       if ((rc = tls_server_start(&s)) == OK)
5608         {
5609         if (!tls_remember_esmtp)
5610           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5611         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5612         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5613         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5614         if (sender_helo_name)
5615           {
5616           sender_helo_name = NULL;
5617           host_build_sender_fullhost();  /* Rebuild */
5618           set_process_info("handling incoming TLS connection from %s",
5619             host_and_ident(FALSE));
5620           }
5621         received_protocol =
5622           (sender_host_address ? protocols : protocols_local)
5623             [ (fl.esmtp
5624               ? pextend + (sender_host_authenticated ? pauthed : 0)
5625               : pnormal)
5626             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5627             ];
5628
5629         sender_host_auth_pubname = sender_host_authenticated = NULL;
5630         authenticated_id = NULL;
5631         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5632         DEBUG(D_tls) debug_printf("TLS active\n");
5633         break;     /* Successful STARTTLS */
5634         }
5635       else
5636         (void) smtp_log_tls_fail(s);
5637
5638       /* Some local configuration problem was discovered before actually trying
5639       to do a TLS handshake; give a temporary error. */
5640
5641       if (rc == DEFER)
5642         {
5643         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5644         break;
5645         }
5646
5647       /* Hard failure. Reject everything except QUIT or closed connection. One
5648       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5649       set, but we must still reject all incoming commands.  Another is a handshake
5650       failure - and there may some encrypted data still in the pipe to us, which we
5651       see as garbage commands. */
5652
5653       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5654       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5655         {
5656         case EOF_CMD:
5657           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5658             smtp_get_connection_info());
5659           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5660           done = 2;
5661           break;
5662
5663         /* It is perhaps arguable as to which exit ACL should be called here,
5664         but as it is probably a situation that almost never arises, it
5665         probably doesn't matter. We choose to call the real QUIT ACL, which in
5666         some sense is perhaps "right". */
5667
5668         case QUIT_CMD:
5669           f.smtp_in_quit = TRUE;
5670           user_msg = NULL;
5671           if (  acl_smtp_quit
5672              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5673                                 &log_msg)) == ERROR))
5674               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5675                 log_msg);
5676           if (user_msg)
5677             smtp_respond(US"221", 3, TRUE, user_msg);
5678           else
5679             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5680           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5681             smtp_get_connection_info());
5682           done = 2;
5683           break;
5684
5685         default:
5686           smtp_printf("554 Security failure\r\n", FALSE);
5687           break;
5688         }
5689       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5690       break;
5691     #endif
5692
5693
5694     /* The ACL for QUIT is provided for gathering statistical information or
5695     similar; it does not affect the response code, but it can supply a custom
5696     message. */
5697
5698     case QUIT_CMD:
5699       smtp_quit_handler(&user_msg, &log_msg);
5700       done = 2;
5701       break;
5702
5703
5704     case RSET_CMD:
5705       smtp_rset_handler();
5706       cancel_cutthrough_connection(TRUE, US"RSET received");
5707       reset_point = smtp_reset(reset_point);
5708       toomany = FALSE;
5709       break;
5710
5711
5712     case NOOP_CMD:
5713       HAD(SCH_NOOP);
5714       smtp_printf("250 OK\r\n", FALSE);
5715       break;
5716
5717
5718     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5719     used, a check will be done for permitted hosts. Show STARTTLS only if not
5720     already in a TLS session and if it would be advertised in the EHLO
5721     response. */
5722
5723     case HELP_CMD:
5724       HAD(SCH_HELP);
5725       smtp_printf("214-Commands supported:\r\n", TRUE);
5726         {
5727         uschar buffer[256];
5728         buffer[0] = 0;
5729         Ustrcat(buffer, US" AUTH");
5730         #ifndef DISABLE_TLS
5731         if (tls_in.active.sock < 0 &&
5732             verify_check_host(&tls_advertise_hosts) != FAIL)
5733           Ustrcat(buffer, US" STARTTLS");
5734         #endif
5735         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5736         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5737         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5738         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5739         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5740         smtp_printf("214%s\r\n", FALSE, buffer);
5741         }
5742       break;
5743
5744
5745     case EOF_CMD:
5746       incomplete_transaction_log(US"connection lost");
5747       smtp_notquit_exit(US"connection-lost", US"421",
5748         US"%s lost input connection", smtp_active_hostname);
5749
5750       /* Don't log by default unless in the middle of a message, as some mailers
5751       just drop the call rather than sending QUIT, and it clutters up the logs.
5752       */
5753
5754       if (sender_address || recipients_count > 0)
5755         log_write(L_lost_incoming_connection, LOG_MAIN,
5756           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5757           f.sender_host_unknown ? "EOF" : "disconnection",
5758           f.tcp_in_fastopen_logged
5759           ? US""
5760           : f.tcp_in_fastopen
5761           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5762           : US"",
5763           host_and_ident(FALSE), smtp_read_error,
5764           string_timesince(&smtp_connection_start)
5765           );
5766
5767       else
5768         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5769           smtp_get_connection_info(),
5770           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5771           smtp_read_error,
5772           string_timesince(&smtp_connection_start)
5773           );
5774
5775       done = 1;
5776       break;
5777
5778
5779     case ETRN_CMD:
5780       HAD(SCH_ETRN);
5781       if (sender_address)
5782         {
5783         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5784           US"ETRN is not permitted inside a transaction");
5785         break;
5786         }
5787
5788       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5789         host_and_ident(FALSE));
5790
5791       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5792                   &user_msg, &log_msg)) != OK)
5793         {
5794         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5795         break;
5796         }
5797
5798       /* Compute the serialization key for this command. */
5799
5800       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5801
5802       /* If a command has been specified for running as a result of ETRN, we
5803       permit any argument to ETRN. If not, only the # standard form is permitted,
5804       since that is strictly the only kind of ETRN that can be implemented
5805       according to the RFC. */
5806
5807       if (smtp_etrn_command)
5808         {
5809         uschar *error;
5810         BOOL rc;
5811         etrn_command = smtp_etrn_command;
5812         deliver_domain = smtp_cmd_data;
5813         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5814           US"ETRN processing", &error);
5815         deliver_domain = NULL;
5816         if (!rc)
5817           {
5818           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5819             error);
5820           smtp_printf("458 Internal failure\r\n", FALSE);
5821           break;
5822           }
5823         }
5824
5825       /* Else set up to call Exim with the -R option. */
5826
5827       else
5828         {
5829         if (*smtp_cmd_data++ != '#')
5830           {
5831           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5832             US"argument must begin with #");
5833           break;
5834           }
5835         etrn_command = US"exim -R";
5836         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5837           *queue_name ? 4 : 2,
5838           US"-R", smtp_cmd_data,
5839           US"-MCG", queue_name);
5840         }
5841
5842       /* If we are host-testing, don't actually do anything. */
5843
5844       if (host_checking)
5845         {
5846         HDEBUG(D_any)
5847           {
5848           debug_printf("ETRN command is: %s\n", etrn_command);
5849           debug_printf("ETRN command execution skipped\n");
5850           }
5851         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5852           else smtp_user_msg(US"250", user_msg);
5853         break;
5854         }
5855
5856
5857       /* If ETRN queue runs are to be serialized, check the database to
5858       ensure one isn't already running. */
5859
5860       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5861         {
5862         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5863         break;
5864         }
5865
5866       /* Fork a child process and run the command. We don't want to have to
5867       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5868       forking. It should be set that way anyway for external incoming SMTP,
5869       but we save and restore to be tidy. If serialization is required, we
5870       actually run the command in yet another process, so we can wait for it
5871       to complete and then remove the serialization lock. */
5872
5873       oldsignal = signal(SIGCHLD, SIG_IGN);
5874
5875       if ((pid = exim_fork(US"etrn-command")) == 0)
5876         {
5877         smtp_input = FALSE;       /* This process is not associated with the */
5878         (void)fclose(smtp_in);    /* SMTP call any more. */
5879         (void)fclose(smtp_out);
5880
5881         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5882
5883         /* If not serializing, do the exec right away. Otherwise, fork down
5884         into another process. */
5885
5886         if (  !smtp_etrn_serialize
5887            || (pid = exim_fork(US"etrn-serialised-command")) == 0)
5888           {
5889           DEBUG(D_exec) debug_print_argv(argv);
5890           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5891           execv(CS argv[0], (char *const *)argv);
5892           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5893             etrn_command, strerror(errno));
5894           _exit(EXIT_FAILURE);         /* paranoia */
5895           }
5896
5897         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5898         is, we are in the first subprocess, after forking again. All we can do
5899         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5900         complete, before removing the serialization. */
5901
5902         if (pid < 0)
5903           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5904             "failed: %s", strerror(errno));
5905         else
5906           {
5907           int status;
5908           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5909             (int)pid);
5910           (void)wait(&status);
5911           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5912             (int)pid);
5913           }
5914
5915         enq_end(etrn_serialize_key);
5916         exim_underbar_exit(EXIT_SUCCESS);
5917         }
5918
5919       /* Back in the top level SMTP process. Check that we started a subprocess
5920       and restore the signal state. */
5921
5922       if (pid < 0)
5923         {
5924         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5925           strerror(errno));
5926         smtp_printf("458 Unable to fork process\r\n", FALSE);
5927         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5928         }
5929       else
5930         if (!user_msg)
5931           smtp_printf("250 OK\r\n", FALSE);
5932         else
5933           smtp_user_msg(US"250", user_msg);
5934
5935       signal(SIGCHLD, oldsignal);
5936       break;
5937
5938
5939     case BADARG_CMD:
5940       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5941         US"unexpected argument data");
5942       break;
5943
5944
5945     /* This currently happens only for NULLs, but could be extended. */
5946
5947     case BADCHAR_CMD:
5948       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5949         US"NUL character(s) present (shown as '?')");
5950       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5951                   FALSE);
5952       break;
5953
5954
5955     case BADSYN_CMD:
5956     SYNC_FAILURE:
5957       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5958         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5959       c = smtp_inend - smtp_inptr;
5960       if (c > 150) c = 150;     /* limit logged amount */
5961       smtp_inptr[c] = 0;
5962       incomplete_transaction_log(US"sync failure");
5963       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5964         "(next input sent too soon: pipelining was%s advertised): "
5965         "rejected \"%s\" %s next input=\"%s\"",
5966         f.smtp_in_pipelining_advertised ? "" : " not",
5967         smtp_cmd_buffer, host_and_ident(TRUE),
5968         string_printing(smtp_inptr));
5969       smtp_notquit_exit(US"synchronization-error", US"554",
5970         US"SMTP synchronization error");
5971       done = 1;   /* Pretend eof - drops connection */
5972       break;
5973
5974
5975     case TOO_MANY_NONMAIL_CMD:
5976       s = smtp_cmd_buffer;
5977       while (*s != 0 && !isspace(*s)) s++;
5978       incomplete_transaction_log(US"too many non-mail commands");
5979       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5980         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5981         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5982       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5983       done = 1;   /* Pretend eof - drops connection */
5984       break;
5985
5986 #ifdef SUPPORT_PROXY
5987     case PROXY_FAIL_IGNORE_CMD:
5988       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5989       break;
5990 #endif
5991
5992     default:
5993       if (unknown_command_count++ >= smtp_max_unknown_commands)
5994         {
5995         log_write(L_smtp_syntax_error, LOG_MAIN,
5996           "SMTP syntax error in \"%s\" %s %s",
5997           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5998           US"unrecognized command");
5999         incomplete_transaction_log(US"unrecognized command");
6000         smtp_notquit_exit(US"bad-commands", US"500",
6001           US"Too many unrecognized commands");
6002         done = 2;
6003         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
6004           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
6005           string_printing(smtp_cmd_buffer));
6006         }
6007       else
6008         done = synprot_error(L_smtp_syntax_error, 500, NULL,
6009           US"unrecognized command");
6010       break;
6011     }
6012
6013   /* This label is used by goto's inside loops that want to break out to
6014   the end of the command-processing loop. */
6015
6016   COMMAND_LOOP:
6017   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
6018   last_was_rcpt = was_rcpt;             /* protocol error handling */
6019   continue;
6020   }
6021
6022 return done - 2;  /* Convert yield values */
6023 }
6024
6025
6026
6027 gstring *
6028 authres_smtpauth(gstring * g)
6029 {
6030 if (!sender_host_authenticated)
6031   return g;
6032
6033 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
6034
6035 if (Ustrcmp(sender_host_auth_pubname, "tls") == 0)
6036   g = authenticated_id
6037     ? string_append(g, 2, US") x509.auth=", authenticated_id)
6038     : string_cat(g, US") reason=x509.auth");
6039 else
6040   g = authenticated_id
6041     ? string_append(g, 2, US") smtp.auth=", authenticated_id)
6042     : string_cat(g, US", no id saved)");
6043
6044 if (authenticated_sender)
6045   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
6046 return g;
6047 }
6048
6049
6050
6051 /* vi: aw ai sw=2
6052 */
6053 /* End of smtp_in.c */