0b67336730fb4a42a8e9bcefcb60c22a90d934aa
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions for handling an incoming SMTP call. */
10
11
12 #include "exim.h"
13 #include <assert.h>
14
15
16 /* Initialize for TCP wrappers if so configured. It appears that the macro
17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
18 including that header, and restore its value afterwards. */
19
20 #ifdef USE_TCP_WRAPPERS
21
22   #if HAVE_IPV6
23   #define EXIM_HAVE_IPV6
24   #endif
25   #undef HAVE_IPV6
26   #include <tcpd.h>
27   #undef HAVE_IPV6
28   #ifdef EXIM_HAVE_IPV6
29   #define HAVE_IPV6 TRUE
30   #endif
31
32 int allow_severity = LOG_INFO;
33 int deny_severity  = LOG_NOTICE;
34 uschar *tcp_wrappers_name;
35 #endif
36
37
38 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
39 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
40 commands that accept arguments, and this in particular applies to AUTH, where
41 the data can be quite long.  More recently this value was 2048 in Exim;
42 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
43 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
44 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
45 we need room to handle large base64-encoded AUTHs for GSSAPI.
46 */
47
48 #define SMTP_CMD_BUFFER_SIZE  16384
49
50 /* Size of buffer for reading SMTP incoming packets */
51
52 #define IN_BUFFER_SIZE  8192
53
54 /* Structure for SMTP command list */
55
56 typedef struct {
57   const char *name;
58   int len;
59   short int cmd;
60   short int has_arg;
61   short int is_mail_cmd;
62 } smtp_cmd_list;
63
64 /* Codes for identifying commands. We order them so that those that come first
65 are those for which synchronization is always required. Checking this can help
66 block some spam.  */
67
68 enum {
69   /* These commands are required to be synchronized, i.e. to be the last in a
70   block of commands when pipelining. */
71
72   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
73   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
74   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
75   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
76   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
77
78   /* This is a dummy to identify the non-sync commands when pipelining */
79
80   NON_SYNC_CMD_PIPELINING,
81
82   /* These commands need not be synchronized when pipelining */
83
84   MAIL_CMD, RCPT_CMD, RSET_CMD,
85
86   /* This is a dummy to identify the non-sync commands when not pipelining */
87
88   NON_SYNC_CMD_NON_PIPELINING,
89
90   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
91   processed the message is sent using a series of BDAT commands"
92   implies that BDAT should be synchronized.  However, we see Google, at least,
93   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
94   processing of the RCPT response(s).  We shall do the same, and not require
95   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
96   command-header in the same packet we cannot do the usual "is there any
97   follow-on data after the command line" even for non-pipeline mode.
98   So we'll need an explicit check after reading the expected chunk amount
99   when non-pipe, before sending the ACK. */
100
101   BDAT_CMD,
102
103   /* I have been unable to find a statement about the use of pipelining
104   with AUTH, so to be on the safe side it is here, though I kind of feel
105   it should be up there with the synchronized commands. */
106
107   AUTH_CMD,
108
109   /* I'm not sure about these, but I don't think they matter. */
110
111   QUIT_CMD, HELP_CMD,
112
113 #ifdef SUPPORT_PROXY
114   PROXY_FAIL_IGNORE_CMD,
115 #endif
116
117   /* These are specials that don't correspond to actual commands */
118
119   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
120   TOO_MANY_NONMAIL_CMD };
121
122
123 /* This is a convenience macro for adding the identity of an SMTP command
124 to the circular buffer that holds a list of the last n received. */
125
126 #define HAD(n) \
127     smtp_connection_had[smtp_ch_index++] = n; \
128     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
129
130
131 /*************************************************
132 *                Local static variables          *
133 *************************************************/
134
135 static struct {
136   BOOL auth_advertised                  :1;
137 #ifndef DISABLE_TLS
138   BOOL tls_advertised                   :1;
139 #endif
140   BOOL dsn_advertised                   :1;
141   BOOL esmtp                            :1;
142   BOOL helo_required                    :1;
143   BOOL helo_verify                      :1;
144   BOOL helo_seen                        :1;
145   BOOL helo_accept_junk                 :1;
146 #ifndef DISABLE_PIPE_CONNECT
147   BOOL pipe_connect_acceptable          :1;
148 #endif
149   BOOL rcpt_smtp_response_same          :1;
150   BOOL rcpt_in_progress                 :1;
151   BOOL smtp_exit_function_called        :1;
152 #ifdef SUPPORT_I18N
153   BOOL smtputf8_advertised              :1;
154 #endif
155 } fl = {
156   .helo_required = FALSE,
157   .helo_verify = FALSE,
158   .smtp_exit_function_called = FALSE,
159 };
160
161 static auth_instance *authenticated_by;
162 static int  count_nonmail;
163 static int  nonmail_command_count;
164 static int  synprot_error_count;
165 static int  unknown_command_count;
166 static int  sync_cmd_limit;
167 static int  smtp_write_error = 0;
168
169 static uschar *rcpt_smtp_response;
170 static uschar *smtp_data_buffer;
171 static uschar *smtp_cmd_data;
172
173 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
174 final fields of all except AUTH are forced TRUE at the start of a new message
175 setup, to allow one of each between messages that is not counted as a nonmail
176 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
177 allow a new EHLO after starting up TLS.
178
179 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
180 counted. However, the flag is changed when AUTH is received, so that multiple
181 failing AUTHs will eventually hit the limit. After a successful AUTH, another
182 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
183 forced TRUE, to allow for the re-authentication that can happen at that point.
184
185 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
186 count of non-mail commands and possibly provoke an error.
187
188 tls_auth is a pseudo-command, never expected in input.  It is activated
189 on TLS startup and looks for a tls authenticator. */
190
191 static smtp_cmd_list cmd_list[] = {
192   /* name         len                     cmd     has_arg is_mail_cmd */
193
194   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
195   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
196   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
197   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
198 #ifndef DISABLE_TLS
199   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
200   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, FALSE },
201 #endif
202
203 /* If you change anything above here, also fix the definitions below. */
204
205   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
206   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
207   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
208   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
209   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
210   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
211   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
212   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
213   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
214   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
215 };
216
217 static smtp_cmd_list *cmd_list_end =
218   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
219
220 #define CMD_LIST_RSET      0
221 #define CMD_LIST_HELO      1
222 #define CMD_LIST_EHLO      2
223 #define CMD_LIST_AUTH      3
224 #define CMD_LIST_STARTTLS  4
225 #define CMD_LIST_TLS_AUTH  5
226
227 /* This list of names is used for performing the smtp_no_mail logging action.
228 It must be kept in step with the SCH_xxx enumerations. */
229
230 static uschar *smtp_names[] =
231   {
232   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
233   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
234   US"STARTTLS", US"VRFY" };
235
236 static uschar *protocols_local[] = {
237   US"local-smtp",        /* HELO */
238   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
239   US"local-esmtp",       /* EHLO */
240   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
241   US"local-esmtpa",      /* EHLO->AUTH */
242   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
243   };
244 static uschar *protocols[] = {
245   US"smtp",              /* HELO */
246   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
247   US"esmtp",             /* EHLO */
248   US"esmtps",            /* EHLO->STARTTLS->EHLO */
249   US"esmtpa",            /* EHLO->AUTH */
250   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
251   };
252
253 #define pnormal  0
254 #define pextend  2
255 #define pcrpted  1  /* added to pextend or pnormal */
256 #define pauthed  2  /* added to pextend */
257
258 /* Sanity check and validate optional args to MAIL FROM: envelope */
259 enum {
260   ENV_MAIL_OPT_NULL,
261   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
262 #ifndef DISABLE_PRDR
263   ENV_MAIL_OPT_PRDR,
264 #endif
265   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
266 #ifdef SUPPORT_I18N
267   ENV_MAIL_OPT_UTF8,
268 #endif
269   };
270 typedef struct {
271   uschar *   name;  /* option requested during MAIL cmd */
272   int       value;  /* enum type */
273   BOOL need_value;  /* TRUE requires value (name=value pair format)
274                        FALSE is a singleton */
275   } env_mail_type_t;
276 static env_mail_type_t env_mail_type_list[] = {
277     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
278     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
279     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
280 #ifndef DISABLE_PRDR
281     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
282 #endif
283     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
284     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
285 #ifdef SUPPORT_I18N
286     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
287 #endif
288     /* keep this the last entry */
289     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
290   };
291
292 /* When reading SMTP from a remote host, we have to use our own versions of the
293 C input-reading functions, in order to be able to flush the SMTP output only
294 when about to read more data from the socket. This is the only way to get
295 optimal performance when the client is using pipelining. Flushing for every
296 command causes a separate packet and reply packet each time; saving all the
297 responses up (when pipelining) combines them into one packet and one response.
298
299 For simplicity, these functions are used for *all* SMTP input, not only when
300 receiving over a socket. However, after setting up a secure socket (SSL), input
301 is read via the OpenSSL library, and another set of functions is used instead
302 (see tls.c).
303
304 These functions are set in the receive_getc etc. variables and called with the
305 same interface as the C functions. However, since there can only ever be
306 one incoming SMTP call, we just use a single buffer and flags. There is no need
307 to implement a complicated private FILE-like structure.*/
308
309 static uschar *smtp_inbuffer;
310 static uschar *smtp_inptr;
311 static uschar *smtp_inend;
312 static int     smtp_had_eof;
313 static int     smtp_had_error;
314
315
316 /* forward declarations */
317 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
318 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
319 static void smtp_quit_handler(uschar **, uschar **);
320 static void smtp_rset_handler(void);
321
322 /*************************************************
323 *          Recheck synchronization               *
324 *************************************************/
325
326 /* Synchronization checks can never be perfect because a packet may be on its
327 way but not arrived when the check is done.  Normally, the checks happen when
328 commands are read: Exim ensures that there is no more input in the input buffer.
329 In normal cases, the response to the command will be fast, and there is no
330 further check.
331
332 However, for some commands an ACL is run, and that can include delays. In those
333 cases, it is useful to do another check on the input just before sending the
334 response. This also applies at the start of a connection. This function does
335 that check by means of the select() function, as long as the facility is not
336 disabled or inappropriate. A failure of select() is ignored.
337
338 When there is unwanted input, we read it so that it appears in the log of the
339 error.
340
341 Arguments: none
342 Returns:   TRUE if all is well; FALSE if there is input pending
343 */
344
345 static BOOL
346 wouldblock_reading(void)
347 {
348 int fd, rc;
349 fd_set fds;
350 struct timeval tzero;
351
352 #ifndef DISABLE_TLS
353 if (tls_in.active.sock >= 0)
354  return !tls_could_read();
355 #endif
356
357 if (smtp_inptr < smtp_inend)
358   return FALSE;
359
360 fd = fileno(smtp_in);
361 FD_ZERO(&fds);
362 FD_SET(fd, &fds);
363 tzero.tv_sec = 0;
364 tzero.tv_usec = 0;
365 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
366
367 if (rc <= 0) return TRUE;     /* Not ready to read */
368 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
369 if (rc < 0) return TRUE;      /* End of file or error */
370
371 smtp_ungetc(rc);
372 return FALSE;
373 }
374
375 static BOOL
376 check_sync(void)
377 {
378 if (!smtp_enforce_sync || !sender_host_address || f.sender_host_notsocket)
379   return TRUE;
380
381 return wouldblock_reading();
382 }
383
384
385 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
386 a reponse with the one following. */
387
388 static BOOL
389 pipeline_response(void)
390 {
391 if (  !smtp_enforce_sync || !sender_host_address
392    || f.sender_host_notsocket || !f.smtp_in_pipelining_advertised)
393   return FALSE;
394
395 if (wouldblock_reading()) return FALSE;
396 f.smtp_in_pipelining_used = TRUE;
397 return TRUE;
398 }
399
400
401 #ifndef DISABLE_PIPE_CONNECT
402 static BOOL
403 pipeline_connect_sends(void)
404 {
405 if (!sender_host_address || f.sender_host_notsocket || !fl.pipe_connect_acceptable)
406   return FALSE;
407
408 if (wouldblock_reading()) return FALSE;
409 f.smtp_in_early_pipe_used = TRUE;
410 return TRUE;
411 }
412 #endif
413
414 /*************************************************
415 *          Log incomplete transactions           *
416 *************************************************/
417
418 /* This function is called after a transaction has been aborted by RSET, QUIT,
419 connection drops or other errors. It logs the envelope information received
420 so far in order to preserve address verification attempts.
421
422 Argument:   string to indicate what aborted the transaction
423 Returns:    nothing
424 */
425
426 static void
427 incomplete_transaction_log(uschar *what)
428 {
429 if (!sender_address                             /* No transaction in progress */
430    || !LOGGING(smtp_incomplete_transaction))
431   return;
432
433 /* Build list of recipients for logging */
434
435 if (recipients_count > 0)
436   {
437   raw_recipients = store_get(recipients_count * sizeof(uschar *), FALSE);
438   for (int i = 0; i < recipients_count; i++)
439     raw_recipients[i] = recipients_list[i].address;
440   raw_recipients_count = recipients_count;
441   }
442
443 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
444   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
445 }
446
447
448
449
450 void
451 smtp_command_timeout_exit(void)
452 {
453 log_write(L_lost_incoming_connection,
454           LOG_MAIN, "SMTP command timeout on%s connection from %s",
455           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
456 if (smtp_batched_input)
457   moan_smtp_batch(NULL, "421 SMTP command timeout"); /* Does not return */
458 smtp_notquit_exit(US"command-timeout", US"421",
459   US"%s: SMTP command timeout - closing connection",
460   smtp_active_hostname);
461 exim_exit(EXIT_FAILURE);
462 }
463
464 void
465 smtp_command_sigterm_exit(void)
466 {
467 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
468 if (smtp_batched_input)
469   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
470 smtp_notquit_exit(US"signal-exit", US"421",
471   US"%s: Service not available - closing connection", smtp_active_hostname);
472 exim_exit(EXIT_FAILURE);
473 }
474
475 void
476 smtp_data_timeout_exit(void)
477 {
478 log_write(L_lost_incoming_connection,
479   LOG_MAIN, "SMTP data timeout (message abandoned) on connection from %s F=<%s>",
480   sender_fullhost ? sender_fullhost : US"local process", sender_address);
481 receive_bomb_out(US"data-timeout", US"SMTP incoming data timeout");
482 /* Does not return */
483 }
484
485 void
486 smtp_data_sigint_exit(void)
487 {
488 log_write(0, LOG_MAIN, "%s closed after %s",
489   smtp_get_connection_info(), had_data_sigint == SIGTERM ? "SIGTERM":"SIGINT");
490 receive_bomb_out(US"signal-exit",
491   US"Service not available - SIGTERM or SIGINT received");
492 /* Does not return */
493 }
494
495
496
497 /* Refill the buffer, and notify DKIM verification code.
498 Return false for error or EOF.
499 */
500
501 static BOOL
502 smtp_refill(unsigned lim)
503 {
504 int rc, save_errno;
505 if (!smtp_out) return FALSE;
506 fflush(smtp_out);
507 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
508
509 /* Limit amount read, so non-message data is not fed to DKIM.
510 Take care to not touch the safety NUL at the end of the buffer. */
511
512 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE-1, lim));
513 save_errno = errno;
514 if (smtp_receive_timeout > 0) ALARM_CLR(0);
515 if (rc <= 0)
516   {
517   /* Must put the error text in fixed store, because this might be during
518   header reading, where it releases unused store above the header. */
519   if (rc < 0)
520     {
521     if (had_command_timeout)            /* set by signal handler */
522       smtp_command_timeout_exit();      /* does not return */
523     if (had_command_sigterm)
524       smtp_command_sigterm_exit();
525     if (had_data_timeout)
526       smtp_data_timeout_exit();
527     if (had_data_sigint)
528       smtp_data_sigint_exit();
529
530     smtp_had_error = save_errno;
531     smtp_read_error = string_copy_perm(
532       string_sprintf(" (error: %s)", strerror(save_errno)), FALSE);
533     }
534   else
535     smtp_had_eof = 1;
536   return FALSE;
537   }
538 #ifndef DISABLE_DKIM
539 dkim_exim_verify_feed(smtp_inbuffer, rc);
540 #endif
541 smtp_inend = smtp_inbuffer + rc;
542 smtp_inptr = smtp_inbuffer;
543 return TRUE;
544 }
545
546 /*************************************************
547 *          SMTP version of getc()                *
548 *************************************************/
549
550 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
551 it flushes the output, and refills the buffer, with a timeout. The signal
552 handler is set appropriately by the calling function. This function is not used
553 after a connection has negotiated itself into an TLS/SSL state.
554
555 Arguments:  lim         Maximum amount to read/buffer
556 Returns:    the next character or EOF
557 */
558
559 int
560 smtp_getc(unsigned lim)
561 {
562 if (smtp_inptr >= smtp_inend)
563   if (!smtp_refill(lim))
564     return EOF;
565 return *smtp_inptr++;
566 }
567
568 uschar *
569 smtp_getbuf(unsigned * len)
570 {
571 unsigned size;
572 uschar * buf;
573
574 if (smtp_inptr >= smtp_inend)
575   if (!smtp_refill(*len))
576     { *len = 0; return NULL; }
577
578 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
579 buf = smtp_inptr;
580 smtp_inptr += size;
581 *len = size;
582 return buf;
583 }
584
585 void
586 smtp_get_cache(void)
587 {
588 #ifndef DISABLE_DKIM
589 int n = smtp_inend - smtp_inptr;
590 if (n > 0)
591   dkim_exim_verify_feed(smtp_inptr, n);
592 #endif
593 }
594
595
596 /* Forward declarations */
597 static inline void bdat_push_receive_functions(void);
598 static inline void bdat_pop_receive_functions(void);
599
600
601 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
602 previous BDAT chunk and getting new ones when we run out.  Uses the
603 underlying smtp_getc or tls_getc both for that and for getting the
604 (buffered) data byte.  EOD signals (an expected) no further data.
605 ERR signals a protocol error, and EOF a closed input stream.
606
607 Called from read_bdat_smtp() in receive.c for the message body, but also
608 by the headers read loop in receive_msg(); manipulates chunking_state
609 to handle the BDAT command/response.
610 Placed here due to the correlation with the above smtp_getc(), which it wraps,
611 and also by the need to do smtp command/response handling.
612
613 Arguments:  lim         (ignored)
614 Returns:    the next character or ERR, EOD or EOF
615 */
616
617 int
618 bdat_getc(unsigned lim)
619 {
620 uschar * user_msg = NULL;
621 uschar * log_msg;
622
623 for(;;)
624   {
625 #ifndef DISABLE_DKIM
626   unsigned dkim_save;
627 #endif
628
629   if (chunking_data_left > 0)
630     return lwr_receive_getc(chunking_data_left--);
631
632   bdat_pop_receive_functions();
633 #ifndef DISABLE_DKIM
634   dkim_save = dkim_collect_input;
635   dkim_collect_input = 0;
636 #endif
637
638   /* Unless PIPELINING was offered, there should be no next command
639   until after we ack that chunk */
640
641   if (!f.smtp_in_pipelining_advertised && !check_sync())
642     {
643     unsigned n = smtp_inend - smtp_inptr;
644     if (n > 32) n = 32;
645
646     incomplete_transaction_log(US"sync failure");
647     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
648       "(next input sent too soon: pipelining was not advertised): "
649       "rejected \"%s\" %s next input=\"%s\"%s",
650       smtp_cmd_buffer, host_and_ident(TRUE),
651       string_printing(string_copyn(smtp_inptr, n)),
652       smtp_inend - smtp_inptr > n ? "..." : "");
653     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
654       US"SMTP synchronization error");
655     goto repeat_until_rset;
656     }
657
658   /* If not the last, ack the received chunk.  The last response is delayed
659   until after the data ACL decides on it */
660
661   if (chunking_state == CHUNKING_LAST)
662     {
663 #ifndef DISABLE_DKIM
664     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
665 #endif
666     return EOD;
667     }
668
669   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
670   chunking_state = CHUNKING_OFFERED;
671   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
672
673   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
674   QUIT, RSET or NOOP but handling them seems obvious */
675
676 next_cmd:
677   switch(smtp_read_command(TRUE, 1))
678     {
679     default:
680       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
681         US"only BDAT permissible after non-LAST BDAT");
682
683   repeat_until_rset:
684       switch(smtp_read_command(TRUE, 1))
685         {
686         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
687         case EOF_CMD:   return EOF;
688         case RSET_CMD:  smtp_rset_handler(); return ERR;
689         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
690                                           US"only RSET accepted now") > 0)
691                           return EOF;
692                         goto repeat_until_rset;
693         }
694
695     case QUIT_CMD:
696       smtp_quit_handler(&user_msg, &log_msg);
697       /*FALLTHROUGH*/
698     case EOF_CMD:
699       return EOF;
700
701     case RSET_CMD:
702       smtp_rset_handler();
703       return ERR;
704
705     case NOOP_CMD:
706       HAD(SCH_NOOP);
707       smtp_printf("250 OK\r\n", FALSE);
708       goto next_cmd;
709
710     case BDAT_CMD:
711       {
712       int n;
713
714       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
715         {
716         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
717           US"missing size for BDAT command");
718         return ERR;
719         }
720       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
721         ? CHUNKING_LAST : CHUNKING_ACTIVE;
722       chunking_data_left = chunking_datasize;
723       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
724                                     (int)chunking_state, chunking_data_left);
725
726       if (chunking_datasize == 0)
727         if (chunking_state == CHUNKING_LAST)
728           return EOD;
729         else
730           {
731           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
732             US"zero size for BDAT command");
733           goto repeat_until_rset;
734           }
735
736       bdat_push_receive_functions();
737 #ifndef DISABLE_DKIM
738       dkim_collect_input = dkim_save;
739 #endif
740       break;    /* to top of main loop */
741       }
742     }
743   }
744 }
745
746 uschar *
747 bdat_getbuf(unsigned * len)
748 {
749 uschar * buf;
750
751 if (chunking_data_left <= 0)
752   { *len = 0; return NULL; }
753
754 if (*len > chunking_data_left) *len = chunking_data_left;
755 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
756 chunking_data_left -= *len;
757 return buf;
758 }
759
760 void
761 bdat_flush_data(void)
762 {
763 while (chunking_data_left)
764   {
765   unsigned n = chunking_data_left;
766   if (!bdat_getbuf(&n)) break;
767   }
768
769 bdat_pop_receive_functions();
770
771 if (chunking_state != CHUNKING_LAST)
772   {
773   chunking_state = CHUNKING_OFFERED;
774   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
775   }
776 }
777
778
779 static inline void
780 bdat_push_receive_functions(void)
781 {
782 /* push the current receive_* function on the "stack", and
783 replace them by bdat_getc(), which in turn will use the lwr_receive_*
784 functions to do the dirty work. */
785 if (lwr_receive_getc == NULL)
786   {
787   lwr_receive_getc = receive_getc;
788   lwr_receive_getbuf = receive_getbuf;
789   lwr_receive_ungetc = receive_ungetc;
790   }
791 else
792   {
793   DEBUG(D_receive) debug_printf("chunking double-push receive functions\n");
794   }
795
796 receive_getc = bdat_getc;
797 receive_ungetc = bdat_ungetc;
798 }
799
800 static inline void
801 bdat_pop_receive_functions(void)
802 {
803 receive_getc = lwr_receive_getc;
804 receive_getbuf = lwr_receive_getbuf;
805 receive_ungetc = lwr_receive_ungetc;
806 lwr_receive_getc = NULL;
807 lwr_receive_getbuf = NULL;
808 lwr_receive_ungetc = NULL;
809 }
810
811 /*************************************************
812 *          SMTP version of ungetc()              *
813 *************************************************/
814
815 /* Puts a character back in the input buffer. Only ever
816 called once.
817
818 Arguments:
819   ch           the character
820
821 Returns:       the character
822 */
823
824 int
825 smtp_ungetc(int ch)
826 {
827 *--smtp_inptr = ch;
828 return ch;
829 }
830
831
832 int
833 bdat_ungetc(int ch)
834 {
835 chunking_data_left++;
836 return lwr_receive_ungetc(ch);
837 }
838
839
840
841 /*************************************************
842 *          SMTP version of feof()                *
843 *************************************************/
844
845 /* Tests for a previous EOF
846
847 Arguments:     none
848 Returns:       non-zero if the eof flag is set
849 */
850
851 int
852 smtp_feof(void)
853 {
854 return smtp_had_eof;
855 }
856
857
858
859
860 /*************************************************
861 *          SMTP version of ferror()              *
862 *************************************************/
863
864 /* Tests for a previous read error, and returns with errno
865 restored to what it was when the error was detected.
866
867 Arguments:     none
868 Returns:       non-zero if the error flag is set
869 */
870
871 int
872 smtp_ferror(void)
873 {
874 errno = smtp_had_error;
875 return smtp_had_error;
876 }
877
878
879
880 /*************************************************
881 *      Test for characters in the SMTP buffer    *
882 *************************************************/
883
884 /* Used at the end of a message
885
886 Arguments:     none
887 Returns:       TRUE/FALSE
888 */
889
890 BOOL
891 smtp_buffered(void)
892 {
893 return smtp_inptr < smtp_inend;
894 }
895
896
897
898 /*************************************************
899 *     Write formatted string to SMTP channel     *
900 *************************************************/
901
902 /* This is a separate function so that we don't have to repeat everything for
903 TLS support or debugging. It is global so that the daemon and the
904 authentication functions can use it. It does not return any error indication,
905 because major problems such as dropped connections won't show up till an output
906 flush for non-TLS connections. The smtp_fflush() function is available for
907 checking that: for convenience, TLS output errors are remembered here so that
908 they are also picked up later by smtp_fflush().
909
910 This function is exposed to the local_scan API; do not change the signature.
911
912 Arguments:
913   format      format string
914   more        further data expected
915   ...         optional arguments
916
917 Returns:      nothing
918 */
919
920 void
921 smtp_printf(const char *format, BOOL more, ...)
922 {
923 va_list ap;
924
925 va_start(ap, more);
926 smtp_vprintf(format, more, ap);
927 va_end(ap);
928 }
929
930 /* This is split off so that verify.c:respond_printf() can, in effect, call
931 smtp_printf(), bearing in mind that in C a vararg function can't directly
932 call another vararg function, only a function which accepts a va_list.
933
934 This function is exposed to the local_scan API; do not change the signature.
935 */
936 /*XXX consider passing caller-info in, for string_vformat-onward */
937
938 void
939 smtp_vprintf(const char *format, BOOL more, va_list ap)
940 {
941 gstring gs = { .size = big_buffer_size, .ptr = 0, .s = big_buffer };
942 BOOL yield;
943
944 /* Use taint-unchecked routines for writing into big_buffer, trusting
945 that we'll never expand it. */
946
947 yield = !! string_vformat(&gs, SVFMT_TAINT_NOCHK, format, ap);
948 string_from_gstring(&gs);
949
950 DEBUG(D_receive)
951   {
952   uschar *msg_copy, *cr, *end;
953   msg_copy = string_copy(gs.s);
954   end = msg_copy + gs.ptr;
955   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
956     memmove(cr, cr + 1, (end--) - cr);
957   debug_printf("SMTP>> %s", msg_copy);
958   }
959
960 if (!yield)
961   {
962   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
963   smtp_closedown(US"Unexpected error");
964   exim_exit(EXIT_FAILURE);
965   }
966
967 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
968 have had the same. Note: this code is also present in smtp_respond(). It would
969 be tidier to have it only in one place, but when it was added, it was easier to
970 do it that way, so as not to have to mess with the code for the RCPT command,
971 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
972
973 if (fl.rcpt_in_progress)
974   {
975   if (rcpt_smtp_response == NULL)
976     rcpt_smtp_response = string_copy(big_buffer);
977   else if (fl.rcpt_smtp_response_same &&
978            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
979     fl.rcpt_smtp_response_same = FALSE;
980   fl.rcpt_in_progress = FALSE;
981   }
982
983 /* Now write the string */
984
985 if (
986 #ifndef DISABLE_TLS
987     tls_in.active.sock >= 0 ? (tls_write(NULL, gs.s, gs.ptr, more) < 0) :
988 #endif
989     (fwrite(gs.s, gs.ptr, 1, smtp_out) == 0)
990    )
991     smtp_write_error = -1;
992 }
993
994
995
996 /*************************************************
997 *        Flush SMTP out and check for error      *
998 *************************************************/
999
1000 /* This function isn't currently used within Exim (it detects errors when it
1001 tries to read the next SMTP input), but is available for use in local_scan().
1002 It flushes the output and checks for errors.
1003
1004 Arguments:  none
1005 Returns:    0 for no error; -1 after an error
1006 */
1007
1008 int
1009 smtp_fflush(void)
1010 {
1011 if (tls_in.active.sock < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
1012
1013 if (
1014 #ifndef DISABLE_TLS
1015     tls_in.active.sock >= 0 ? (tls_write(NULL, NULL, 0, FALSE) < 0) :
1016 #endif
1017     (fflush(smtp_out) != 0)
1018    )
1019     smtp_write_error = -1;
1020
1021 return smtp_write_error;
1022 }
1023
1024
1025
1026 /*************************************************
1027 *          SMTP command read timeout             *
1028 *************************************************/
1029
1030 /* Signal handler for timing out incoming SMTP commands. This attempts to
1031 finish off tidily.
1032
1033 Argument: signal number (SIGALRM)
1034 Returns:  nothing
1035 */
1036
1037 static void
1038 command_timeout_handler(int sig)
1039 {
1040 had_command_timeout = sig;
1041 }
1042
1043
1044
1045 /*************************************************
1046 *               SIGTERM received                 *
1047 *************************************************/
1048
1049 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
1050
1051 Argument: signal number (SIGTERM)
1052 Returns:  nothing
1053 */
1054
1055 static void
1056 command_sigterm_handler(int sig)
1057 {
1058 had_command_sigterm = sig;
1059 }
1060
1061
1062
1063
1064 #ifdef SUPPORT_PROXY
1065 /*************************************************
1066 *     Restore socket timeout to previous value   *
1067 *************************************************/
1068 /* If the previous value was successfully retrieved, restore
1069 it before returning control to the non-proxy routines
1070
1071 Arguments: fd     - File descriptor for input
1072            get_ok - Successfully retrieved previous values
1073            tvtmp  - Time struct with previous values
1074            vslen  - Length of time struct
1075 Returns:   none
1076 */
1077 static void
1078 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
1079 {
1080 if (get_ok == 0)
1081   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
1082 }
1083
1084 /*************************************************
1085 *       Check if host is required proxy host     *
1086 *************************************************/
1087 /* The function determines if inbound host will be a regular smtp host
1088 or if it is configured that it must use Proxy Protocol.  A local
1089 connection cannot.
1090
1091 Arguments: none
1092 Returns:   bool
1093 */
1094
1095 static BOOL
1096 check_proxy_protocol_host()
1097 {
1098 int rc;
1099
1100 if (  sender_host_address
1101    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
1102                            sender_host_address, NULL)) == OK)
1103   {
1104   DEBUG(D_receive)
1105     debug_printf("Detected proxy protocol configured host\n");
1106   proxy_session = TRUE;
1107   }
1108 return proxy_session;
1109 }
1110
1111
1112 /*************************************************
1113 *    Read data until newline or end of buffer    *
1114 *************************************************/
1115 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1116 read an entire buffer and assume there will be nothing past a proxy protocol
1117 header.  Our approach normally is to use stdio, but again that relies upon
1118 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1119 reading _nothing_ before client TLS handshake.  So we don't want to use the
1120 usual buffering reads which may read enough to block TLS starting.
1121
1122 So unfortunately we're down to "read one byte at a time, with a syscall each,
1123 and expect a little overhead", for all proxy-opened connections which are v1,
1124 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1125 underlying fd, we can't assume that we can feed them any already-read content.
1126
1127 We need to know where to read to, the max capacity, and we'll read until we
1128 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1129
1130 Return the amount read.
1131 */
1132
1133 static int
1134 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1135 {
1136 uschar *to = base + already;
1137 uschar *cr;
1138 int have = 0;
1139 int ret;
1140 int last = 0;
1141
1142 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1143 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1144
1145 cr = memchr(base, '\r', already);
1146 if (cr != NULL)
1147   {
1148   if ((cr - base) < already - 1)
1149     {
1150     /* \r and presumed \n already within what we have; probably not
1151     actually proxy protocol, but abort cleanly. */
1152     return 0;
1153     }
1154   /* \r is last character read, just need one more. */
1155   last = 1;
1156   }
1157
1158 while (capacity > 0)
1159   {
1160   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1161   if (ret == -1)
1162     return -1;
1163   have++;
1164   if (last)
1165     return have;
1166   if (*to == '\r')
1167     last = 1;
1168   capacity--;
1169   to++;
1170   }
1171
1172 /* reached end without having room for a final newline, abort */
1173 errno = EOVERFLOW;
1174 return -1;
1175 }
1176
1177 /*************************************************
1178 *         Setup host for proxy protocol          *
1179 *************************************************/
1180 /* The function configures the connection based on a header from the
1181 inbound host to use Proxy Protocol. The specification is very exact
1182 so exit with an error if do not find the exact required pieces. This
1183 includes an incorrect number of spaces separating args.
1184
1185 Arguments: none
1186 Returns:   Boolean success
1187 */
1188
1189 static void
1190 setup_proxy_protocol_host()
1191 {
1192 union {
1193   struct {
1194     uschar line[108];
1195   } v1;
1196   struct {
1197     uschar sig[12];
1198     uint8_t ver_cmd;
1199     uint8_t fam;
1200     uint16_t len;
1201     union {
1202       struct { /* TCP/UDP over IPv4, len = 12 */
1203         uint32_t src_addr;
1204         uint32_t dst_addr;
1205         uint16_t src_port;
1206         uint16_t dst_port;
1207       } ip4;
1208       struct { /* TCP/UDP over IPv6, len = 36 */
1209         uint8_t  src_addr[16];
1210         uint8_t  dst_addr[16];
1211         uint16_t src_port;
1212         uint16_t dst_port;
1213       } ip6;
1214       struct { /* AF_UNIX sockets, len = 216 */
1215         uschar   src_addr[108];
1216         uschar   dst_addr[108];
1217       } unx;
1218     } addr;
1219   } v2;
1220 } hdr;
1221
1222 /* Temp variables used in PPv2 address:port parsing */
1223 uint16_t tmpport;
1224 char tmpip[INET_ADDRSTRLEN];
1225 struct sockaddr_in tmpaddr;
1226 char tmpip6[INET6_ADDRSTRLEN];
1227 struct sockaddr_in6 tmpaddr6;
1228
1229 /* We can't read "all data until end" because while SMTP is
1230 server-speaks-first, the TLS handshake is client-speaks-first, so for
1231 TLS-on-connect ports the proxy protocol header will usually be immediately
1232 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1233 reinject data for reading by those.  So instead we first read "enough to be
1234 safely read within the header, and figure out how much more to read".
1235 For v1 we will later read to the end-of-line, for v2 we will read based upon
1236 the stated length.
1237
1238 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1239 data is needed total.  For v1, where the line looks like:
1240 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1241
1242 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1243 We seem to support that.  So, if we read 14 octets then we can tell if we're
1244 v2 or v1.  If we're v1, we can continue reading as normal.
1245
1246 If we're v2, we can't slurp up the entire header.  We need the length in the
1247 15th & 16th octets, then to read everything after that.
1248
1249 So to safely handle v1 and v2, with client-sent-first supported correctly,
1250 we have to do a minimum of 3 read calls, not 1.  Eww.
1251 */
1252
1253 #define PROXY_INITIAL_READ 14
1254 #define PROXY_V2_HEADER_SIZE 16
1255 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1256 # error Code bug in sizes of data to read for proxy usage
1257 #endif
1258
1259 int get_ok = 0;
1260 int size, ret;
1261 int fd = fileno(smtp_in);
1262 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1263 uschar * iptype;  /* To display debug info */
1264 struct timeval tv;
1265 struct timeval tvtmp;
1266 socklen_t vslen = sizeof(struct timeval);
1267 BOOL yield = FALSE;
1268
1269 /* Save current socket timeout values */
1270 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1271
1272 /* Proxy Protocol host must send header within a short time
1273 (default 3 seconds) or it's considered invalid */
1274 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1275 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1276 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1277   goto bad;
1278
1279 do
1280   {
1281   /* The inbound host was declared to be a Proxy Protocol host, so
1282   don't do a PEEK into the data, actually slurp up enough to be
1283   "safe". Can't take it all because TLS-on-connect clients follow
1284   immediately with TLS handshake. */
1285   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1286   }
1287   while (ret == -1 && errno == EINTR);
1288
1289 if (ret == -1)
1290   goto proxyfail;
1291
1292 /* For v2, handle reading the length, and then the rest. */
1293 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1294   {
1295   int retmore;
1296   uint8_t ver;
1297
1298   /* First get the length fields. */
1299   do
1300     {
1301     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1302     } while (retmore == -1 && errno == EINTR);
1303   if (retmore == -1)
1304     goto proxyfail;
1305   ret += retmore;
1306
1307   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1308
1309   /* May 2014: haproxy combined the version and command into one byte to
1310   allow two full bytes for the length field in order to proxy SSL
1311   connections.  SSL Proxy is not supported in this version of Exim, but
1312   must still separate values here. */
1313
1314   if (ver != 0x02)
1315     {
1316     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1317     goto proxyfail;
1318     }
1319
1320   /* The v2 header will always be 16 bytes per the spec. */
1321   size = 16 + ntohs(hdr.v2.len);
1322   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1323       size, (int)sizeof(hdr));
1324
1325   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1326   amount that we need.  Double-check that the size is not unreasonable, then
1327   get the rest. */
1328   if (size > sizeof(hdr))
1329     {
1330     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1331     goto proxyfail;
1332     }
1333
1334   do
1335     {
1336     do
1337       {
1338       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1339       } while (retmore == -1 && errno == EINTR);
1340     if (retmore == -1)
1341       goto proxyfail;
1342     ret += retmore;
1343     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1344     } while (ret < size);
1345
1346   } /* end scope for getting rest of data for v2 */
1347
1348 /* At this point: if PROXYv2, we've read the exact size required for all data;
1349 if PROXYv1 then we've read "less than required for any valid line" and should
1350 read the rest". */
1351
1352 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1353   {
1354   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1355
1356   switch (cmd)
1357     {
1358     case 0x01: /* PROXY command */
1359       switch (hdr.v2.fam)
1360         {
1361         case 0x11:  /* TCPv4 address type */
1362           iptype = US"IPv4";
1363           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1364           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1365           if (!string_is_ip_address(US tmpip, NULL))
1366             {
1367             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1368             goto proxyfail;
1369             }
1370           proxy_local_address = sender_host_address;
1371           sender_host_address = string_copy(US tmpip);
1372           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1373           proxy_local_port    = sender_host_port;
1374           sender_host_port    = tmpport;
1375           /* Save dest ip/port */
1376           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1377           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1378           if (!string_is_ip_address(US tmpip, NULL))
1379             {
1380             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1381             goto proxyfail;
1382             }
1383           proxy_external_address = string_copy(US tmpip);
1384           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1385           proxy_external_port  = tmpport;
1386           goto done;
1387         case 0x21:  /* TCPv6 address type */
1388           iptype = US"IPv6";
1389           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1390           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1391           if (!string_is_ip_address(US tmpip6, NULL))
1392             {
1393             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1394             goto proxyfail;
1395             }
1396           proxy_local_address = sender_host_address;
1397           sender_host_address = string_copy(US tmpip6);
1398           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1399           proxy_local_port    = sender_host_port;
1400           sender_host_port    = tmpport;
1401           /* Save dest ip/port */
1402           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1403           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1404           if (!string_is_ip_address(US tmpip6, NULL))
1405             {
1406             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1407             goto proxyfail;
1408             }
1409           proxy_external_address = string_copy(US tmpip6);
1410           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1411           proxy_external_port  = tmpport;
1412           goto done;
1413         default:
1414           DEBUG(D_receive)
1415             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1416                          hdr.v2.fam);
1417           goto proxyfail;
1418         }
1419       /* Unsupported protocol, keep local connection address */
1420       break;
1421     case 0x00: /* LOCAL command */
1422       /* Keep local connection address for LOCAL */
1423       iptype = US"local";
1424       break;
1425     default:
1426       DEBUG(D_receive)
1427         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1428       goto proxyfail;
1429     }
1430   }
1431 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1432   {
1433   uschar *p;
1434   uschar *end;
1435   uschar *sp;     /* Utility variables follow */
1436   int     tmp_port;
1437   int     r2;
1438   char   *endc;
1439
1440   /* get the rest of the line */
1441   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1442   if (r2 == -1)
1443     goto proxyfail;
1444   ret += r2;
1445
1446   p = string_copy(hdr.v1.line);
1447   end = memchr(p, '\r', ret - 1);
1448
1449   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1450     {
1451     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1452     goto proxyfail;
1453     }
1454   *end = '\0'; /* Terminate the string */
1455   size = end + 2 - p; /* Skip header + CRLF */
1456   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1457   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1458   /* Step through the string looking for the required fields. Ensure
1459   strict adherence to required formatting, exit for any error. */
1460   p += 5;
1461   if (!isspace(*(p++)))
1462     {
1463     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1464     goto proxyfail;
1465     }
1466   if (!Ustrncmp(p, CCS"TCP4", 4))
1467     iptype = US"IPv4";
1468   else if (!Ustrncmp(p,CCS"TCP6", 4))
1469     iptype = US"IPv6";
1470   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1471     {
1472     iptype = US"Unknown";
1473     goto done;
1474     }
1475   else
1476     {
1477     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1478     goto proxyfail;
1479     }
1480
1481   p += Ustrlen(iptype);
1482   if (!isspace(*(p++)))
1483     {
1484     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1485     goto proxyfail;
1486     }
1487   /* Find the end of the arg */
1488   if ((sp = Ustrchr(p, ' ')) == NULL)
1489     {
1490     DEBUG(D_receive)
1491       debug_printf("Did not find proxied src %s\n", iptype);
1492     goto proxyfail;
1493     }
1494   *sp = '\0';
1495   if(!string_is_ip_address(p, NULL))
1496     {
1497     DEBUG(D_receive)
1498       debug_printf("Proxied src arg is not an %s address\n", iptype);
1499     goto proxyfail;
1500     }
1501   proxy_local_address = sender_host_address;
1502   sender_host_address = p;
1503   p = sp + 1;
1504   if ((sp = Ustrchr(p, ' ')) == NULL)
1505     {
1506     DEBUG(D_receive)
1507       debug_printf("Did not find proxy dest %s\n", iptype);
1508     goto proxyfail;
1509     }
1510   *sp = '\0';
1511   if(!string_is_ip_address(p, NULL))
1512     {
1513     DEBUG(D_receive)
1514       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1515     goto proxyfail;
1516     }
1517   proxy_external_address = p;
1518   p = sp + 1;
1519   if ((sp = Ustrchr(p, ' ')) == NULL)
1520     {
1521     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1522     goto proxyfail;
1523     }
1524   *sp = '\0';
1525   tmp_port = strtol(CCS p, &endc, 10);
1526   if (*endc || tmp_port == 0)
1527     {
1528     DEBUG(D_receive)
1529       debug_printf("Proxied src port '%s' not an integer\n", p);
1530     goto proxyfail;
1531     }
1532   proxy_local_port = sender_host_port;
1533   sender_host_port = tmp_port;
1534   p = sp + 1;
1535   if ((sp = Ustrchr(p, '\0')) == NULL)
1536     {
1537     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1538     goto proxyfail;
1539     }
1540   tmp_port = strtol(CCS p, &endc, 10);
1541   if (*endc || tmp_port == 0)
1542     {
1543     DEBUG(D_receive)
1544       debug_printf("Proxy dest port '%s' not an integer\n", p);
1545     goto proxyfail;
1546     }
1547   proxy_external_port = tmp_port;
1548   /* Already checked for /r /n above. Good V1 header received. */
1549   }
1550 else
1551   {
1552   /* Wrong protocol */
1553   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1554   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1555   goto proxyfail;
1556   }
1557
1558 done:
1559   DEBUG(D_receive)
1560     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1561   yield = proxy_session;
1562
1563 /* Don't flush any potential buffer contents. Any input on proxyfail
1564 should cause a synchronization failure */
1565
1566 proxyfail:
1567   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1568
1569 bad:
1570   if (yield)
1571     {
1572     sender_host_name = NULL;
1573     (void) host_name_lookup();
1574     host_build_sender_fullhost();
1575     }
1576   else
1577     {
1578     f.proxy_session_failed = TRUE;
1579     DEBUG(D_receive)
1580       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1581     }
1582
1583 return;
1584 }
1585 #endif
1586
1587 /*************************************************
1588 *           Read one command line                *
1589 *************************************************/
1590
1591 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1592 There are sites that don't do this, and in any case internal SMTP probably
1593 should check only for LF. Consequently, we check here for LF only. The line
1594 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1595 an unknown command. The command is read into the global smtp_cmd_buffer so that
1596 it is available via $smtp_command.
1597
1598 The character reading routine sets up a timeout for each block actually read
1599 from the input (which may contain more than one command). We set up a special
1600 signal handler that closes down the session on a timeout. Control does not
1601 return when it runs.
1602
1603 Arguments:
1604   check_sync    if TRUE, check synchronization rules if global option is TRUE
1605   buffer_lim    maximum to buffer in lower layer
1606
1607 Returns:       a code identifying the command (enumerated above)
1608 */
1609
1610 static int
1611 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1612 {
1613 int c;
1614 int ptr = 0;
1615 BOOL hadnull = FALSE;
1616
1617 had_command_timeout = 0;
1618 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1619
1620 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1621   {
1622   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1623     {
1624     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1625     return OTHER_CMD;
1626     }
1627   if (c == 0)
1628     {
1629     hadnull = TRUE;
1630     c = '?';
1631     }
1632   smtp_cmd_buffer[ptr++] = c;
1633   }
1634
1635 receive_linecount++;    /* For BSMTP errors */
1636 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1637
1638 /* If hit end of file, return pseudo EOF command. Whether we have a
1639 part-line already read doesn't matter, since this is an error state. */
1640
1641 if (c == EOF) return EOF_CMD;
1642
1643 /* Remove any CR and white space at the end of the line, and terminate the
1644 string. */
1645
1646 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1647 smtp_cmd_buffer[ptr] = 0;
1648
1649 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1650
1651 /* NULLs are not allowed in SMTP commands */
1652
1653 if (hadnull) return BADCHAR_CMD;
1654
1655 /* Scan command list and return identity, having set the data pointer
1656 to the start of the actual data characters. Check for SMTP synchronization
1657 if required. */
1658
1659 for (smtp_cmd_list * p = cmd_list; p < cmd_list_end; p++)
1660   {
1661 #ifdef SUPPORT_PROXY
1662   /* Only allow QUIT command if Proxy Protocol parsing failed */
1663   if (proxy_session && f.proxy_session_failed && p->cmd != QUIT_CMD)
1664     continue;
1665 #endif
1666   if (  p->len
1667      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1668      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1669         || smtp_cmd_buffer[p->len] == 0
1670         || smtp_cmd_buffer[p->len] == ' '
1671      )  )
1672     {
1673     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1674         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1675         check_sync &&                                  /* Local flag set */
1676         smtp_enforce_sync &&                           /* Global flag set */
1677         sender_host_address != NULL &&                 /* Not local input */
1678         !f.sender_host_notsocket)                        /* Really is a socket */
1679       return BADSYN_CMD;
1680
1681     /* The variables $smtp_command and $smtp_command_argument point into the
1682     unmodified input buffer. A copy of the latter is taken for actual
1683     processing, so that it can be chopped up into separate parts if necessary,
1684     for example, when processing a MAIL command options such as SIZE that can
1685     follow the sender address. */
1686
1687     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1688     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1689     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1690     smtp_cmd_data = smtp_data_buffer;
1691
1692     /* Count non-mail commands from those hosts that are controlled in this
1693     way. The default is all hosts. We don't waste effort checking the list
1694     until we get a non-mail command, but then cache the result to save checking
1695     again. If there's a DEFER while checking the host, assume it's in the list.
1696
1697     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1698     start of each incoming message by fiddling with the value in the table. */
1699
1700     if (!p->is_mail_cmd)
1701       {
1702       if (count_nonmail == TRUE_UNSET) count_nonmail =
1703         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1704       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1705         return TOO_MANY_NONMAIL_CMD;
1706       }
1707
1708     /* If there is data for a command that does not expect it, generate the
1709     error here. */
1710
1711     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1712     }
1713   }
1714
1715 #ifdef SUPPORT_PROXY
1716 /* Only allow QUIT command if Proxy Protocol parsing failed */
1717 if (proxy_session && f.proxy_session_failed)
1718   return PROXY_FAIL_IGNORE_CMD;
1719 #endif
1720
1721 /* Enforce synchronization for unknown commands */
1722
1723 if (  smtp_inptr < smtp_inend           /* Outstanding input */
1724    && check_sync                        /* Local flag set */
1725    && smtp_enforce_sync                 /* Global flag set */
1726    && sender_host_address               /* Not local input */
1727    && !f.sender_host_notsocket)         /* Really is a socket */
1728   return BADSYN_CMD;
1729
1730 return OTHER_CMD;
1731 }
1732
1733
1734
1735 /*************************************************
1736 *          Forced closedown of call              *
1737 *************************************************/
1738
1739 /* This function is called from log.c when Exim is dying because of a serious
1740 disaster, and also from some other places. If an incoming non-batched SMTP
1741 channel is open, it swallows the rest of the incoming message if in the DATA
1742 phase, sends the reply string, and gives an error to all subsequent commands
1743 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1744 smtp_in.
1745
1746 Arguments:
1747   message   SMTP reply string to send, excluding the code
1748
1749 Returns:    nothing
1750 */
1751
1752 void
1753 smtp_closedown(uschar *message)
1754 {
1755 if (!smtp_in || smtp_batched_input) return;
1756 receive_swallow_smtp();
1757 smtp_printf("421 %s\r\n", FALSE, message);
1758
1759 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1760   {
1761   case EOF_CMD:
1762     return;
1763
1764   case QUIT_CMD:
1765     smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1766     mac_smtp_fflush();
1767     return;
1768
1769   case RSET_CMD:
1770     smtp_printf("250 Reset OK\r\n", FALSE);
1771     break;
1772
1773   default:
1774     smtp_printf("421 %s\r\n", FALSE, message);
1775     break;
1776   }
1777 }
1778
1779
1780
1781
1782 /*************************************************
1783 *        Set up connection info for logging      *
1784 *************************************************/
1785
1786 /* This function is called when logging information about an SMTP connection.
1787 It sets up appropriate source information, depending on the type of connection.
1788 If sender_fullhost is NULL, we are at a very early stage of the connection;
1789 just use the IP address.
1790
1791 Argument:    none
1792 Returns:     a string describing the connection
1793 */
1794
1795 uschar *
1796 smtp_get_connection_info(void)
1797 {
1798 const uschar * hostname = sender_fullhost
1799   ? sender_fullhost : sender_host_address;
1800
1801 if (host_checking)
1802   return string_sprintf("SMTP connection from %s", hostname);
1803
1804 if (f.sender_host_unknown || f.sender_host_notsocket)
1805   return string_sprintf("SMTP connection from %s", sender_ident);
1806
1807 if (f.is_inetd)
1808   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1809
1810 if (LOGGING(incoming_interface) && interface_address)
1811   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1812     interface_address, interface_port);
1813
1814 return string_sprintf("SMTP connection from %s", hostname);
1815 }
1816
1817
1818
1819 #ifndef DISABLE_TLS
1820 /* Append TLS-related information to a log line
1821
1822 Arguments:
1823   g             String under construction: allocated string to extend, or NULL
1824
1825 Returns:        Allocated string or NULL
1826 */
1827 static gstring *
1828 s_tlslog(gstring * g)
1829 {
1830 if (LOGGING(tls_cipher) && tls_in.cipher)
1831   {
1832   g = string_append(g, 2, US" X=", tls_in.cipher);
1833 #ifdef EXPERIMENTAL_TLS_RESUME
1834   if (LOGGING(tls_resumption) && tls_in.resumption & RESUME_USED)
1835     g = string_catn(g, US"*", 1);
1836 #endif
1837   }
1838 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1839   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1840 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1841   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1842 if (LOGGING(tls_sni) && tls_in.sni)
1843   g = string_append(g, 2, US" SNI=", string_printing2(tls_in.sni, SP_TAB|SP_SPACE));
1844 return g;
1845 }
1846 #endif
1847
1848
1849
1850 static gstring *
1851 s_connhad_log(gstring * g)
1852 {
1853 uschar * sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE
1854   ? US" C=..." : US" C=";
1855
1856 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1857   if (smtp_connection_had[i] != SCH_NONE)
1858     {
1859     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1860     sep = US",";
1861     }
1862 for (int i = 0; i < smtp_ch_index; i++)
1863   {
1864   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1865   sep = US",";
1866   }
1867 return g;
1868 }
1869
1870
1871 /*************************************************
1872 *      Log lack of MAIL if so configured         *
1873 *************************************************/
1874
1875 /* This function is called when an SMTP session ends. If the log selector
1876 smtp_no_mail is set, write a log line giving some details of what has happened
1877 in the SMTP session.
1878
1879 Arguments:   none
1880 Returns:     nothing
1881 */
1882
1883 void
1884 smtp_log_no_mail(void)
1885 {
1886 uschar * s;
1887 gstring * g = NULL;
1888
1889 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1890   return;
1891
1892 if (sender_host_authenticated)
1893   {
1894   g = string_append(g, 2, US" A=", sender_host_authenticated);
1895   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1896   }
1897
1898 #ifndef DISABLE_TLS
1899 g = s_tlslog(g);
1900 #endif
1901
1902 g = s_connhad_log(g);
1903
1904 if (!(s = string_from_gstring(g))) s = US"";
1905
1906 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1907   f.tcp_in_fastopen ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO " : US"",
1908   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1909 }
1910
1911
1912 /* Return list of recent smtp commands */
1913
1914 uschar *
1915 smtp_cmd_hist(void)
1916 {
1917 gstring * list = NULL;
1918 uschar * s;
1919
1920 for (int i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1921   if (smtp_connection_had[i] != SCH_NONE)
1922     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1923
1924 for (int i = 0; i < smtp_ch_index; i++)
1925   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1926
1927 s = string_from_gstring(list);
1928 return s ? s : US"";
1929 }
1930
1931
1932
1933
1934 /*************************************************
1935 *   Check HELO line and set sender_helo_name     *
1936 *************************************************/
1937
1938 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1939 the domain name of the sending host, or an ip literal in square brackets. The
1940 argument is placed in sender_helo_name, which is in malloc store, because it
1941 must persist over multiple incoming messages. If helo_accept_junk is set, this
1942 host is permitted to send any old junk (needed for some broken hosts).
1943 Otherwise, helo_allow_chars can be used for rogue characters in general
1944 (typically people want to let in underscores).
1945
1946 Argument:
1947   s       the data portion of the line (already past any white space)
1948
1949 Returns:  TRUE or FALSE
1950 */
1951
1952 static BOOL
1953 check_helo(uschar *s)
1954 {
1955 uschar *start = s;
1956 uschar *end = s + Ustrlen(s);
1957 BOOL yield = fl.helo_accept_junk;
1958
1959 /* Discard any previous helo name */
1960
1961 sender_helo_name = NULL;
1962
1963 /* Skip tests if junk is permitted. */
1964
1965 if (!yield)
1966
1967   /* Allow the new standard form for IPv6 address literals, namely,
1968   [IPv6:....], and because someone is bound to use it, allow an equivalent
1969   IPv4 form. Allow plain addresses as well. */
1970
1971   if (*s == '[')
1972     {
1973     if (end[-1] == ']')
1974       {
1975       end[-1] = 0;
1976       if (strncmpic(s, US"[IPv6:", 6) == 0)
1977         yield = (string_is_ip_address(s+6, NULL) == 6);
1978       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1979         yield = (string_is_ip_address(s+6, NULL) == 4);
1980       else
1981         yield = (string_is_ip_address(s+1, NULL) != 0);
1982       end[-1] = ']';
1983       }
1984     }
1985
1986   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1987   that have been configured (usually underscore - sigh). */
1988
1989   else if (*s)
1990     for (yield = TRUE; *s; s++)
1991       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1992           Ustrchr(helo_allow_chars, *s) == NULL)
1993         {
1994         yield = FALSE;
1995         break;
1996         }
1997
1998 /* Save argument if OK */
1999
2000 if (yield) sender_helo_name = string_copy_perm(start, TRUE);
2001 return yield;
2002 }
2003
2004
2005
2006
2007
2008 /*************************************************
2009 *         Extract SMTP command option            *
2010 *************************************************/
2011
2012 /* This function picks the next option setting off the end of smtp_cmd_data. It
2013 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
2014 things that can appear there.
2015
2016 Arguments:
2017    name           point this at the name
2018    value          point this at the data string
2019
2020 Returns:          TRUE if found an option
2021 */
2022
2023 static BOOL
2024 extract_option(uschar **name, uschar **value)
2025 {
2026 uschar *n;
2027 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
2028 while (isspace(*v)) v--;
2029 v[1] = '\0';
2030 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
2031   {
2032   /* Take care to not stop at a space embedded in a quoted local-part */
2033
2034   if ((*v == '"') && (v > smtp_cmd_data + 1))
2035     do v--; while (*v != '"' && v > smtp_cmd_data+1);
2036   v--;
2037   }
2038
2039 n = v;
2040 if (*v == '=')
2041   {
2042   while(isalpha(n[-1])) n--;
2043   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
2044   if (!isspace(n[-1])) return FALSE;
2045   n[-1] = 0;
2046   }
2047 else
2048   {
2049   n++;
2050   if (v == smtp_cmd_data) return FALSE;
2051   }
2052 *v++ = 0;
2053 *name = n;
2054 *value = v;
2055 return TRUE;
2056 }
2057
2058
2059
2060
2061
2062 /*************************************************
2063 *         Reset for new message                  *
2064 *************************************************/
2065
2066 /* This function is called whenever the SMTP session is reset from
2067 within either of the setup functions; also from the daemon loop.
2068
2069 Argument:   the stacking pool storage reset point
2070 Returns:    nothing
2071 */
2072
2073 void *
2074 smtp_reset(void *reset_point)
2075 {
2076 recipients_list = NULL;
2077 rcpt_count = rcpt_defer_count = rcpt_fail_count =
2078   raw_recipients_count = recipients_count = recipients_list_max = 0;
2079 message_linecount = 0;
2080 message_size = -1;
2081 acl_added_headers = NULL;
2082 acl_removed_headers = NULL;
2083 f.queue_only_policy = FALSE;
2084 rcpt_smtp_response = NULL;
2085 fl.rcpt_smtp_response_same = TRUE;
2086 fl.rcpt_in_progress = FALSE;
2087 f.deliver_freeze = FALSE;                              /* Can be set by ACL */
2088 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
2089 fake_response = OK;                                  /* Can be set by ACL */
2090 #ifdef WITH_CONTENT_SCAN
2091 f.no_mbox_unspool = FALSE;                             /* Can be set by ACL */
2092 #endif
2093 f.submission_mode = FALSE;                             /* Can be set by ACL */
2094 f.suppress_local_fixups = f.suppress_local_fixups_default; /* Can be set by ACL */
2095 f.active_local_from_check = local_from_check;          /* Can be set by ACL */
2096 f.active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
2097 sending_ip_address = NULL;
2098 return_path = sender_address = NULL;
2099 deliver_localpart_data = deliver_domain_data =
2100 recipient_data = sender_data = NULL;                    /* Can be set by ACL */
2101 deliver_localpart_parent = deliver_localpart_orig = NULL;
2102 deliver_domain_parent = deliver_domain_orig = NULL;
2103 callout_address = NULL;
2104 submission_name = NULL;                              /* Can be set by ACL */
2105 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
2106 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
2107 sender_verified_list = NULL;        /* No senders verified */
2108 memset(sender_address_cache, 0, sizeof(sender_address_cache));
2109 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
2110
2111 authenticated_sender = NULL;
2112 #ifdef EXPERIMENTAL_BRIGHTMAIL
2113 bmi_run = 0;
2114 bmi_verdicts = NULL;
2115 #endif
2116 dnslist_domain = dnslist_matched = NULL;
2117 #ifdef SUPPORT_SPF
2118 spf_header_comment = spf_received = spf_result = spf_smtp_comment = NULL;
2119 spf_result_guessed = FALSE;
2120 #endif
2121 #ifndef DISABLE_DKIM
2122 dkim_cur_signer = dkim_signers =
2123 dkim_signing_domain = dkim_signing_selector = dkim_signatures = NULL;
2124 dkim_cur_signer = dkim_signers = dkim_signing_domain = dkim_signing_selector = NULL;
2125 f.dkim_disable_verify = FALSE;
2126 dkim_collect_input = 0;
2127 dkim_verify_overall = dkim_verify_status = dkim_verify_reason = NULL;
2128 dkim_key_length = 0;
2129 #endif
2130 #ifdef SUPPORT_DMARC
2131 f.dmarc_has_been_checked = f.dmarc_disable_verify = f.dmarc_enable_forensic = FALSE;
2132 dmarc_domain_policy = dmarc_status = dmarc_status_text =
2133 dmarc_used_domain = NULL;
2134 #endif
2135 #ifdef EXPERIMENTAL_ARC
2136 arc_state = arc_state_reason = NULL;
2137 arc_received_instance = 0;
2138 #endif
2139 dsn_ret = 0;
2140 dsn_envid = NULL;
2141 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2142 #ifndef DISABLE_PRDR
2143 prdr_requested = FALSE;
2144 #endif
2145 #ifdef SUPPORT_I18N
2146 message_smtputf8 = FALSE;
2147 #endif
2148 body_linecount = body_zerocount = 0;
2149
2150 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2151 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2152                    /* Note that ratelimiters_conn persists across resets. */
2153
2154 /* Reset message ACL variables */
2155
2156 acl_var_m = NULL;
2157
2158 /* The message body variables use malloc store. They may be set if this is
2159 not the first message in an SMTP session and the previous message caused them
2160 to be referenced in an ACL. */
2161
2162 if (message_body)
2163   {
2164   store_free(message_body);
2165   message_body = NULL;
2166   }
2167
2168 if (message_body_end)
2169   {
2170   store_free(message_body_end);
2171   message_body_end = NULL;
2172   }
2173
2174 /* Warning log messages are also saved in malloc store. They are saved to avoid
2175 repetition in the same message, but it seems right to repeat them for different
2176 messages. */
2177
2178 while (acl_warn_logged)
2179   {
2180   string_item *this = acl_warn_logged;
2181   acl_warn_logged = acl_warn_logged->next;
2182   store_free(this);
2183   }
2184 store_reset(reset_point);
2185 return store_mark();
2186 }
2187
2188
2189
2190
2191
2192 /*************************************************
2193 *  Initialize for incoming batched SMTP message  *
2194 *************************************************/
2195
2196 /* This function is called from smtp_setup_msg() in the case when
2197 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2198 of messages in one file with SMTP commands between them. All errors must be
2199 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2200 relevant. After an error on a sender, or an invalid recipient, the remainder
2201 of the message is skipped. The value of received_protocol is already set.
2202
2203 Argument: none
2204 Returns:  > 0 message successfully started (reached DATA)
2205           = 0 QUIT read or end of file reached
2206           < 0 should not occur
2207 */
2208
2209 static int
2210 smtp_setup_batch_msg(void)
2211 {
2212 int done = 0;
2213 rmark reset_point = store_mark();
2214
2215 /* Save the line count at the start of each transaction - single commands
2216 like HELO and RSET count as whole transactions. */
2217
2218 bsmtp_transaction_linecount = receive_linecount;
2219
2220 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2221
2222 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2223 reset_point = smtp_reset(reset_point);                /* Reset for start of message */
2224
2225 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2226 value. The values are 2 larger than the required yield of the function. */
2227
2228 while (done <= 0)
2229   {
2230   uschar *errmess;
2231   uschar *recipient = NULL;
2232   int start, end, sender_domain, recipient_domain;
2233
2234   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2235     {
2236     /* The HELO/EHLO commands set sender_address_helo if they have
2237     valid data; otherwise they are ignored, except that they do
2238     a reset of the state. */
2239
2240     case HELO_CMD:
2241     case EHLO_CMD:
2242
2243       check_helo(smtp_cmd_data);
2244       /* Fall through */
2245
2246     case RSET_CMD:
2247       cancel_cutthrough_connection(TRUE, US"RSET received");
2248       reset_point = smtp_reset(reset_point);
2249       bsmtp_transaction_linecount = receive_linecount;
2250       break;
2251
2252
2253     /* The MAIL FROM command requires an address as an operand. All we
2254     do here is to parse it for syntactic correctness. The form "<>" is
2255     a special case which converts into an empty string. The start/end
2256     pointers in the original are not used further for this address, as
2257     it is the canonical extracted address which is all that is kept. */
2258
2259     case MAIL_CMD:
2260       smtp_mailcmd_count++;              /* Count for no-mail log */
2261       if (sender_address != NULL)
2262         /* The function moan_smtp_batch() does not return. */
2263         moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2264
2265       if (smtp_cmd_data[0] == 0)
2266         /* The function moan_smtp_batch() does not return. */
2267         moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2268
2269       /* Reset to start of message */
2270
2271       cancel_cutthrough_connection(TRUE, US"MAIL received");
2272       reset_point = smtp_reset(reset_point);
2273
2274       /* Apply SMTP rewrite */
2275
2276       raw_sender = rewrite_existflags & rewrite_smtp
2277         /* deconst ok as smtp_cmd_data was not const */
2278         ? US rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL,
2279                       FALSE, US"", global_rewrite_rules)
2280         : smtp_cmd_data;
2281
2282       /* Extract the address; the TRUE flag allows <> as valid */
2283
2284       raw_sender =
2285         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2286           TRUE);
2287
2288       if (!raw_sender)
2289         /* The function moan_smtp_batch() does not return. */
2290         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2291
2292       sender_address = string_copy(raw_sender);
2293
2294       /* Qualify unqualified sender addresses if permitted to do so. */
2295
2296       if (  !sender_domain
2297          && sender_address[0] != 0 && sender_address[0] != '@')
2298         if (f.allow_unqualified_sender)
2299           {
2300           /* deconst ok as sender_address was not const */
2301           sender_address = US rewrite_address_qualify(sender_address, FALSE);
2302           DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2303             "and rewritten\n", raw_sender);
2304           }
2305         /* The function moan_smtp_batch() does not return. */
2306         else
2307           moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2308             "a domain");
2309       break;
2310
2311
2312     /* The RCPT TO command requires an address as an operand. All we do
2313     here is to parse it for syntactic correctness. There may be any number
2314     of RCPT TO commands, specifying multiple senders. We build them all into
2315     a data structure that is in argc/argv format. The start/end values
2316     given by parse_extract_address are not used, as we keep only the
2317     extracted address. */
2318
2319     case RCPT_CMD:
2320       if (!sender_address)
2321         /* The function moan_smtp_batch() does not return. */
2322         moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2323
2324       if (smtp_cmd_data[0] == 0)
2325         /* The function moan_smtp_batch() does not return. */
2326         moan_smtp_batch(smtp_cmd_buffer,
2327           "501 RCPT TO must have an address operand");
2328
2329       /* Check maximum number allowed */
2330
2331       if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2332         /* The function moan_smtp_batch() does not return. */
2333         moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2334           recipients_max_reject? "552": "452");
2335
2336       /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2337       recipient address */
2338
2339       recipient = rewrite_existflags & rewrite_smtp
2340         /* deconst ok as smtp_cmd_data was not const */
2341         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2342                       global_rewrite_rules)
2343         : smtp_cmd_data;
2344
2345       recipient = parse_extract_address(recipient, &errmess, &start, &end,
2346         &recipient_domain, FALSE);
2347
2348       if (!recipient)
2349         /* The function moan_smtp_batch() does not return. */
2350         moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2351
2352       /* If the recipient address is unqualified, qualify it if permitted. Then
2353       add it to the list of recipients. */
2354
2355       if (!recipient_domain)
2356         if (f.allow_unqualified_recipient)
2357           {
2358           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2359             recipient);
2360           /* deconst ok as recipient was not const */
2361           recipient = US rewrite_address_qualify(recipient, TRUE);
2362           }
2363         /* The function moan_smtp_batch() does not return. */
2364         else
2365           moan_smtp_batch(smtp_cmd_buffer,
2366             "501 recipient address must contain a domain");
2367
2368       receive_add_recipient(recipient, -1);
2369       break;
2370
2371
2372     /* The DATA command is legal only if it follows successful MAIL FROM
2373     and RCPT TO commands. This function is complete when a valid DATA
2374     command is encountered. */
2375
2376     case DATA_CMD:
2377       if (!sender_address || recipients_count <= 0)
2378         /* The function moan_smtp_batch() does not return. */
2379         if (!sender_address)
2380           moan_smtp_batch(smtp_cmd_buffer,
2381             "503 MAIL FROM:<sender> command must precede DATA");
2382         else
2383           moan_smtp_batch(smtp_cmd_buffer,
2384             "503 RCPT TO:<recipient> must precede DATA");
2385       else
2386         {
2387         done = 3;                      /* DATA successfully achieved */
2388         message_ended = END_NOTENDED;  /* Indicate in middle of message */
2389         }
2390       break;
2391
2392
2393     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2394
2395     case VRFY_CMD:
2396     case EXPN_CMD:
2397     case HELP_CMD:
2398     case NOOP_CMD:
2399     case ETRN_CMD:
2400       bsmtp_transaction_linecount = receive_linecount;
2401       break;
2402
2403
2404     case EOF_CMD:
2405     case QUIT_CMD:
2406       done = 2;
2407       break;
2408
2409
2410     case BADARG_CMD:
2411       /* The function moan_smtp_batch() does not return. */
2412       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2413       break;
2414
2415
2416     case BADCHAR_CMD:
2417       /* The function moan_smtp_batch() does not return. */
2418       moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2419       break;
2420
2421
2422     default:
2423       /* The function moan_smtp_batch() does not return. */
2424       moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2425       break;
2426     }
2427   }
2428
2429 return done - 2;  /* Convert yield values */
2430 }
2431
2432
2433
2434
2435 #ifndef DISABLE_TLS
2436 static BOOL
2437 smtp_log_tls_fail(uschar * errstr)
2438 {
2439 uschar * conn_info = smtp_get_connection_info();
2440
2441 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2442 /* I'd like to get separated H= here, but too hard for now */
2443
2444 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2445 return FALSE;
2446 }
2447 #endif
2448
2449
2450
2451
2452 #ifdef TCP_FASTOPEN
2453 static void
2454 tfo_in_check(void)
2455 {
2456 # ifdef __FreeBSD__
2457 int is_fastopen;
2458 socklen_t len = sizeof(is_fastopen);
2459
2460 /* The tinfo TCPOPT_FAST_OPEN bit seems unreliable, and we don't see state
2461 TCP_SYN_RCV (as of 12.1) so no idea about data-use. */
2462
2463 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_FASTOPEN, &is_fastopen, &len) == 0)
2464   {
2465   if (is_fastopen) 
2466     {
2467     DEBUG(D_receive)
2468       debug_printf("TFO mode connection (TCP_FASTOPEN getsockopt)\n");
2469     f.tcp_in_fastopen = TRUE;
2470     }
2471   }
2472 else DEBUG(D_receive)
2473   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2474
2475 # elif defined(TCP_INFO)
2476 struct tcp_info tinfo;
2477 socklen_t len = sizeof(tinfo);
2478
2479 if (getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0)
2480 #  ifdef TCPI_OPT_SYN_DATA      /* FreeBSD 11,12 do not seem to have this yet */
2481   if (tinfo.tcpi_options & TCPI_OPT_SYN_DATA)
2482     {
2483     DEBUG(D_receive)
2484       debug_printf("TFO mode connection (ACKd data-on-SYN)\n");
2485     f.tcp_in_fastopen_data = f.tcp_in_fastopen = TRUE;
2486     }
2487   else
2488 #  endif
2489     if (tinfo.tcpi_state == TCP_SYN_RECV)       /* Not seen on FreeBSD 12.1 */
2490     {
2491     DEBUG(D_receive)
2492       debug_printf("TFO mode connection (state TCP_SYN_RECV)\n");
2493     f.tcp_in_fastopen = TRUE;
2494     }
2495 else DEBUG(D_receive)
2496   debug_printf("TCP_INFO getsockopt: %s\n", strerror(errno));
2497 # endif
2498 }
2499 #endif
2500
2501
2502 /*************************************************
2503 *          Start an SMTP session                 *
2504 *************************************************/
2505
2506 /* This function is called at the start of an SMTP session. Thereafter,
2507 smtp_setup_msg() is called to initiate each separate message. This
2508 function does host-specific testing, and outputs the banner line.
2509
2510 Arguments:     none
2511 Returns:       FALSE if the session can not continue; something has
2512                gone wrong, or the connection to the host is blocked
2513 */
2514
2515 BOOL
2516 smtp_start_session(void)
2517 {
2518 int esclen;
2519 uschar *user_msg, *log_msg;
2520 uschar *code, *esc;
2521 uschar *p, *s;
2522 gstring * ss;
2523
2524 gettimeofday(&smtp_connection_start, NULL);
2525 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2526   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2527 smtp_ch_index = 0;
2528
2529 /* Default values for certain variables */
2530
2531 fl.helo_seen = fl.esmtp = fl.helo_accept_junk = FALSE;
2532 smtp_mailcmd_count = 0;
2533 count_nonmail = TRUE_UNSET;
2534 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2535 smtp_delay_mail = smtp_rlm_base;
2536 fl.auth_advertised = FALSE;
2537 f.smtp_in_pipelining_advertised = f.smtp_in_pipelining_used = FALSE;
2538 f.pipelining_enable = TRUE;
2539 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2540 fl.smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2541
2542 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2543 authentication settings from -oMaa to remain in force. */
2544
2545 if (!host_checking && !f.sender_host_notsocket)
2546   sender_host_auth_pubname = sender_host_authenticated = NULL;
2547 authenticated_by = NULL;
2548
2549 #ifndef DISABLE_TLS
2550 tls_in.ver = tls_in.cipher = tls_in.peerdn = NULL;
2551 tls_in.ourcert = tls_in.peercert = NULL;
2552 tls_in.sni = NULL;
2553 tls_in.ocsp = OCSP_NOT_REQ;
2554 fl.tls_advertised = FALSE;
2555 #endif
2556 fl.dsn_advertised = FALSE;
2557 #ifdef SUPPORT_I18N
2558 fl.smtputf8_advertised = FALSE;
2559 #endif
2560
2561 /* Reset ACL connection variables */
2562
2563 acl_var_c = NULL;
2564
2565 /* Allow for trailing 0 in the command and data buffers.  Tainted. */
2566
2567 smtp_cmd_buffer = store_get_perm(2*SMTP_CMD_BUFFER_SIZE + 2, TRUE);
2568
2569 smtp_cmd_buffer[0] = 0;
2570 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2571
2572 /* For batched input, the protocol setting can be overridden from the
2573 command line by a trusted caller. */
2574
2575 if (smtp_batched_input)
2576   {
2577   if (!received_protocol) received_protocol = US"local-bsmtp";
2578   }
2579
2580 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2581 reset later if any of EHLO/AUTH/STARTTLS are received. */
2582
2583 else
2584   received_protocol =
2585     (sender_host_address ? protocols : protocols_local) [pnormal];
2586
2587 /* Set up the buffer for inputting using direct read() calls, and arrange to
2588 call the local functions instead of the standard C ones.  Place a NUL at the
2589 end of the buffer to safety-stop C-string reads from it. */
2590
2591 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2592   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2593 smtp_inbuffer[IN_BUFFER_SIZE-1] = '\0';
2594
2595 receive_getc = smtp_getc;
2596 receive_getbuf = smtp_getbuf;
2597 receive_get_cache = smtp_get_cache;
2598 receive_ungetc = smtp_ungetc;
2599 receive_feof = smtp_feof;
2600 receive_ferror = smtp_ferror;
2601 receive_smtp_buffered = smtp_buffered;
2602 lwr_receive_getc = NULL;
2603 lwr_receive_getbuf = NULL;
2604 lwr_receive_ungetc = NULL;
2605 smtp_inptr = smtp_inend = smtp_inbuffer;
2606 smtp_had_eof = smtp_had_error = 0;
2607
2608 /* Set up the message size limit; this may be host-specific */
2609
2610 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2611 if (expand_string_message)
2612   {
2613   if (thismessage_size_limit == -1)
2614     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2615       "%s", expand_string_message);
2616   else
2617     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2618       "%s", expand_string_message);
2619   smtp_closedown(US"Temporary local problem - please try later");
2620   return FALSE;
2621   }
2622
2623 /* When a message is input locally via the -bs or -bS options, sender_host_
2624 unknown is set unless -oMa was used to force an IP address, in which case it
2625 is checked like a real remote connection. When -bs is used from inetd, this
2626 flag is not set, causing the sending host to be checked. The code that deals
2627 with IP source routing (if configured) is never required for -bs or -bS and
2628 the flag sender_host_notsocket is used to suppress it.
2629
2630 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2631 reserve for certain hosts and/or networks. */
2632
2633 if (!f.sender_host_unknown)
2634   {
2635   int rc;
2636   BOOL reserved_host = FALSE;
2637
2638   /* Look up IP options (source routing info) on the socket if this is not an
2639   -oMa "host", and if any are found, log them and drop the connection.
2640
2641   Linux (and others now, see below) is different to everyone else, so there
2642   has to be some conditional compilation here. Versions of Linux before 2.1.15
2643   used a structure whose name was "options". Somebody finally realized that
2644   this name was silly, and it got changed to "ip_options". I use the
2645   newer name here, but there is a fudge in the script that sets up os.h
2646   to define a macro in older Linux systems.
2647
2648   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2649   glibc 2, which has chosen ip_opts for the structure name. This is now
2650   really a glibc thing rather than a Linux thing, so the condition name
2651   has been changed to reflect this. It is relevant also to GNU/Hurd.
2652
2653   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2654   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2655   a special macro defined in the os.h file.
2656
2657   Some DGUX versions on older hardware appear not to support IP options at
2658   all, so there is now a general macro which can be set to cut out this
2659   support altogether.
2660
2661   How to do this properly in IPv6 is not yet known. */
2662
2663 #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2664
2665   #ifdef GLIBC_IP_OPTIONS
2666     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2667     #define OPTSTYLE 1
2668     #else
2669     #define OPTSTYLE 2
2670     #endif
2671   #elif defined DARWIN_IP_OPTIONS
2672     #define OPTSTYLE 2
2673   #else
2674     #define OPTSTYLE 3
2675   #endif
2676
2677   if (!host_checking && !f.sender_host_notsocket)
2678     {
2679     #if OPTSTYLE == 1
2680     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2681     struct ip_options *ipopt = store_get(optlen, FALSE);
2682     #elif OPTSTYLE == 2
2683     struct ip_opts ipoptblock;
2684     struct ip_opts *ipopt = &ipoptblock;
2685     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2686     #else
2687     struct ipoption ipoptblock;
2688     struct ipoption *ipopt = &ipoptblock;
2689     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2690     #endif
2691
2692     /* Occasional genuine failures of getsockopt() have been seen - for
2693     example, "reset by peer". Therefore, just log and give up on this
2694     call, unless the error is ENOPROTOOPT. This error is given by systems
2695     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2696     of writing. So for that error, carry on - we just can't do an IP options
2697     check. */
2698
2699     DEBUG(D_receive) debug_printf("checking for IP options\n");
2700
2701     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2702           &optlen) < 0)
2703       {
2704       if (errno != ENOPROTOOPT)
2705         {
2706         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2707           host_and_ident(FALSE), strerror(errno));
2708         smtp_printf("451 SMTP service not available\r\n", FALSE);
2709         return FALSE;
2710         }
2711       }
2712
2713     /* Deal with any IP options that are set. On the systems I have looked at,
2714     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2715     more logging data than will fit in big_buffer. Nevertheless, after somebody
2716     questioned this code, I've added in some paranoid checking. */
2717
2718     else if (optlen > 0)
2719       {
2720       uschar *p = big_buffer;
2721       uschar *pend = big_buffer + big_buffer_size;
2722       uschar *adptr;
2723       int optcount;
2724       struct in_addr addr;
2725
2726       #if OPTSTYLE == 1
2727       uschar *optstart = US (ipopt->__data);
2728       #elif OPTSTYLE == 2
2729       uschar *optstart = US (ipopt->ip_opts);
2730       #else
2731       uschar *optstart = US (ipopt->ipopt_list);
2732       #endif
2733
2734       DEBUG(D_receive) debug_printf("IP options exist\n");
2735
2736       Ustrcpy(p, "IP options on incoming call:");
2737       p += Ustrlen(p);
2738
2739       for (uschar * opt = optstart; opt && opt < US (ipopt) + optlen; )
2740         switch (*opt)
2741           {
2742           case IPOPT_EOL:
2743           opt = NULL;
2744           break;
2745
2746           case IPOPT_NOP:
2747           opt++;
2748           break;
2749
2750           case IPOPT_SSRR:
2751           case IPOPT_LSRR:
2752           if (!string_format(p, pend-p, " %s [@%s",
2753                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2754                #if OPTSTYLE == 1
2755                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2756                #elif OPTSTYLE == 2
2757                inet_ntoa(ipopt->ip_dst)))
2758                #else
2759                inet_ntoa(ipopt->ipopt_dst)))
2760                #endif
2761             {
2762             opt = NULL;
2763             break;
2764             }
2765
2766           p += Ustrlen(p);
2767           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2768           adptr = opt + 3;
2769           while (optcount-- > 0)
2770             {
2771             memcpy(&addr, adptr, sizeof(addr));
2772             if (!string_format(p, pend - p - 1, "%s%s",
2773                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2774               {
2775               opt = NULL;
2776               break;
2777               }
2778             p += Ustrlen(p);
2779             adptr += sizeof(struct in_addr);
2780             }
2781           *p++ = ']';
2782           opt += opt[1];
2783           break;
2784
2785           default:
2786             {
2787             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2788             Ustrcat(p, "[ ");
2789             p += 2;
2790             for (int i = 0; i < opt[1]; i++)
2791               p += sprintf(CS p, "%2.2x ", opt[i]);
2792             *p++ = ']';
2793             }
2794           opt += opt[1];
2795           break;
2796           }
2797
2798       *p = 0;
2799       log_write(0, LOG_MAIN, "%s", big_buffer);
2800
2801       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2802
2803       log_write(0, LOG_MAIN|LOG_REJECT,
2804         "connection from %s refused (IP options)", host_and_ident(FALSE));
2805
2806       smtp_printf("554 SMTP service not available\r\n", FALSE);
2807       return FALSE;
2808       }
2809
2810     /* Length of options = 0 => there are no options */
2811
2812     else DEBUG(D_receive) debug_printf("no IP options found\n");
2813     }
2814 #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2815
2816   /* Set keep-alive in socket options. The option is on by default. This
2817   setting is an attempt to get rid of some hanging connections that stick in
2818   read() when the remote end (usually a dialup) goes away. */
2819
2820   if (smtp_accept_keepalive && !f.sender_host_notsocket)
2821     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2822
2823   /* If the current host matches host_lookup, set the name by doing a
2824   reverse lookup. On failure, sender_host_name will be NULL and
2825   host_lookup_failed will be TRUE. This may or may not be serious - optional
2826   checks later. */
2827
2828   if (verify_check_host(&host_lookup) == OK)
2829     {
2830     (void)host_name_lookup();
2831     host_build_sender_fullhost();
2832     }
2833
2834   /* Delay this until we have the full name, if it is looked up. */
2835
2836   set_process_info("handling incoming connection from %s",
2837     host_and_ident(FALSE));
2838
2839   /* Expand smtp_receive_timeout, if needed */
2840
2841   if (smtp_receive_timeout_s)
2842     {
2843     uschar * exp;
2844     if (  !(exp = expand_string(smtp_receive_timeout_s))
2845        || !(*exp)
2846        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2847        )
2848       log_write(0, LOG_MAIN|LOG_PANIC,
2849         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2850     }
2851
2852   /* Test for explicit connection rejection */
2853
2854   if (verify_check_host(&host_reject_connection) == OK)
2855     {
2856     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2857       "from %s (host_reject_connection)", host_and_ident(FALSE));
2858     smtp_printf("554 SMTP service not available\r\n", FALSE);
2859     return FALSE;
2860     }
2861
2862   /* Test with TCP Wrappers if so configured. There is a problem in that
2863   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2864   such as disks dying. In these cases, it is desirable to reject with a 4xx
2865   error instead of a 5xx error. There isn't a "right" way to detect such
2866   problems. The following kludge is used: errno is zeroed before calling
2867   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2868   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2869   not exist). */
2870
2871 #ifdef USE_TCP_WRAPPERS
2872   errno = 0;
2873   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2874     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2875       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2876         expand_string_message);
2877
2878   if (!hosts_ctl(tcp_wrappers_name,
2879          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2880          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2881          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2882     {
2883     if (errno == 0 || errno == ENOENT)
2884       {
2885       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2886       log_write(L_connection_reject,
2887                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2888                 "(tcp wrappers)", host_and_ident(FALSE));
2889       smtp_printf("554 SMTP service not available\r\n", FALSE);
2890       }
2891     else
2892       {
2893       int save_errno = errno;
2894       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2895         "errno value %d\n", save_errno);
2896       log_write(L_connection_reject,
2897                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2898                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2899       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2900       }
2901     return FALSE;
2902     }
2903 #endif
2904
2905   /* Check for reserved slots. The value of smtp_accept_count has already been
2906   incremented to include this process. */
2907
2908   if (smtp_accept_max > 0 &&
2909       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2910     {
2911     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2912       {
2913       log_write(L_connection_reject,
2914         LOG_MAIN, "temporarily refused connection from %s: not in "
2915         "reserve list: connected=%d max=%d reserve=%d%s",
2916         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2917         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2918       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2919         "please try again later\r\n", FALSE, smtp_active_hostname);
2920       return FALSE;
2921       }
2922     reserved_host = TRUE;
2923     }
2924
2925   /* If a load level above which only messages from reserved hosts are
2926   accepted is set, check the load. For incoming calls via the daemon, the
2927   check is done in the superior process if there are no reserved hosts, to
2928   save a fork. In all cases, the load average will already be available
2929   in a global variable at this point. */
2930
2931   if (smtp_load_reserve >= 0 &&
2932        load_average > smtp_load_reserve &&
2933        !reserved_host &&
2934        verify_check_host(&smtp_reserve_hosts) != OK)
2935     {
2936     log_write(L_connection_reject,
2937       LOG_MAIN, "temporarily refused connection from %s: not in "
2938       "reserve list and load average = %.2f", host_and_ident(FALSE),
2939       (double)load_average/1000.0);
2940     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2941       smtp_active_hostname);
2942     return FALSE;
2943     }
2944
2945   /* Determine whether unqualified senders or recipients are permitted
2946   for this host. Unfortunately, we have to do this every time, in order to
2947   set the flags so that they can be inspected when considering qualifying
2948   addresses in the headers. For a site that permits no qualification, this
2949   won't take long, however. */
2950
2951   f.allow_unqualified_sender =
2952     verify_check_host(&sender_unqualified_hosts) == OK;
2953
2954   f.allow_unqualified_recipient =
2955     verify_check_host(&recipient_unqualified_hosts) == OK;
2956
2957   /* Determine whether HELO/EHLO is required for this host. The requirement
2958   can be hard or soft. */
2959
2960   fl.helo_required = verify_check_host(&helo_verify_hosts) == OK;
2961   if (!fl.helo_required)
2962     fl.helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2963
2964   /* Determine whether this hosts is permitted to send syntactic junk
2965   after a HELO or EHLO command. */
2966
2967   fl.helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2968   }
2969
2970 /* For batch SMTP input we are now done. */
2971
2972 if (smtp_batched_input) return TRUE;
2973
2974 /* If valid Proxy Protocol source is connecting, set up session.
2975  * Failure will not allow any SMTP function other than QUIT. */
2976
2977 #ifdef SUPPORT_PROXY
2978 proxy_session = FALSE;
2979 f.proxy_session_failed = FALSE;
2980 if (check_proxy_protocol_host())
2981   setup_proxy_protocol_host();
2982 #endif
2983
2984   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2985   smtps port for use with older style SSL MTAs. */
2986
2987 #ifndef DISABLE_TLS
2988   if (tls_in.on_connect)
2989     {
2990     if (tls_server_start(tls_require_ciphers, &user_msg) != OK)
2991       return smtp_log_tls_fail(user_msg);
2992     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
2993     }
2994 #endif
2995
2996 /* Run the connect ACL if it exists */
2997
2998 user_msg = NULL;
2999 if (acl_smtp_connect)
3000   {
3001   int rc;
3002   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
3003                       &log_msg)) != OK)
3004     {
3005     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
3006     return FALSE;
3007     }
3008   }
3009
3010 /* Output the initial message for a two-way SMTP connection. It may contain
3011 newlines, which then cause a multi-line response to be given. */
3012
3013 code = US"220";   /* Default status code */
3014 esc = US"";       /* Default extended status code */
3015 esclen = 0;       /* Length of esc */
3016
3017 if (!user_msg)
3018   {
3019   if (!(s = expand_string(smtp_banner)))
3020     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
3021       "failed: %s", smtp_banner, expand_string_message);
3022   }
3023 else
3024   {
3025   int codelen = 3;
3026   s = user_msg;
3027   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
3028   if (codelen > 4)
3029     {
3030     esc = code + 4;
3031     esclen = codelen - 4;
3032     }
3033   }
3034
3035 /* Remove any terminating newlines; might as well remove trailing space too */
3036
3037 p = s + Ustrlen(s);
3038 while (p > s && isspace(p[-1])) p--;
3039 *p = 0;
3040
3041 /* It seems that CC:Mail is braindead, and assumes that the greeting message
3042 is all contained in a single IP packet. The original code wrote out the
3043 greeting using several calls to fprint/fputc, and on busy servers this could
3044 cause it to be split over more than one packet - which caused CC:Mail to fall
3045 over when it got the second part of the greeting after sending its first
3046 command. Sigh. To try to avoid this, build the complete greeting message
3047 first, and output it in one fell swoop. This gives a better chance of it
3048 ending up as a single packet. */
3049
3050 ss = string_get(256);
3051
3052 p = s;
3053 do       /* At least once, in case we have an empty string */
3054   {
3055   int len;
3056   uschar *linebreak = Ustrchr(p, '\n');
3057   ss = string_catn(ss, code, 3);
3058   if (!linebreak)
3059     {
3060     len = Ustrlen(p);
3061     ss = string_catn(ss, US" ", 1);
3062     }
3063   else
3064     {
3065     len = linebreak - p;
3066     ss = string_catn(ss, US"-", 1);
3067     }
3068   ss = string_catn(ss, esc, esclen);
3069   ss = string_catn(ss, p, len);
3070   ss = string_catn(ss, US"\r\n", 2);
3071   p += len;
3072   if (linebreak) p++;
3073   }
3074 while (*p);
3075
3076 /* Before we write the banner, check that there is no input pending, unless
3077 this synchronisation check is disabled. */
3078
3079 #ifndef DISABLE_PIPE_CONNECT
3080 fl.pipe_connect_acceptable =
3081   sender_host_address && verify_check_host(&pipe_connect_advertise_hosts) == OK;
3082
3083 if (!check_sync())
3084   if (fl.pipe_connect_acceptable)
3085     f.smtp_in_early_pipe_used = TRUE;
3086   else
3087 #else
3088 if (!check_sync())
3089 #endif
3090     {
3091     unsigned n = smtp_inend - smtp_inptr;
3092     if (n > 128) n = 128;
3093
3094     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
3095       "synchronization error (input sent without waiting for greeting): "
3096       "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
3097       string_printing(string_copyn(smtp_inptr, n)));
3098     smtp_printf("554 SMTP synchronization error\r\n", FALSE);
3099     return FALSE;
3100     }
3101
3102 /* Now output the banner */
3103 /*XXX the ehlo-resp code does its own tls/nontls bit.  Maybe subroutine that? */
3104
3105 smtp_printf("%s",
3106 #ifndef DISABLE_PIPE_CONNECT
3107   fl.pipe_connect_acceptable && pipeline_connect_sends(),
3108 #else
3109   FALSE,
3110 #endif
3111   string_from_gstring(ss));
3112
3113 /* Attempt to see if we sent the banner before the last ACK of the 3-way
3114 handshake arrived.  If so we must have managed a TFO. */
3115
3116 #ifdef TCP_FASTOPEN
3117 if (sender_host_address && !f.sender_host_notsocket) tfo_in_check();
3118 #endif
3119
3120 return TRUE;
3121 }
3122
3123
3124
3125
3126
3127 /*************************************************
3128 *     Handle SMTP syntax and protocol errors     *
3129 *************************************************/
3130
3131 /* Write to the log for SMTP syntax errors in incoming commands, if configured
3132 to do so. Then transmit the error response. The return value depends on the
3133 number of syntax and protocol errors in this SMTP session.
3134
3135 Arguments:
3136   type      error type, given as a log flag bit
3137   code      response code; <= 0 means don't send a response
3138   data      data to reflect in the response (can be NULL)
3139   errmess   the error message
3140
3141 Returns:    -1   limit of syntax/protocol errors NOT exceeded
3142             +1   limit of syntax/protocol errors IS exceeded
3143
3144 These values fit in with the values of the "done" variable in the main
3145 processing loop in smtp_setup_msg(). */
3146
3147 static int
3148 synprot_error(int type, int code, uschar *data, uschar *errmess)
3149 {
3150 int yield = -1;
3151
3152 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
3153   type == L_smtp_syntax_error ? "syntax" : "protocol",
3154   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
3155
3156 if (++synprot_error_count > smtp_max_synprot_errors)
3157   {
3158   yield = 1;
3159   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3160     "syntax or protocol errors (last command was \"%s\", %s)",
3161     host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
3162     string_from_gstring(s_connhad_log(NULL))
3163     );
3164   }
3165
3166 if (code > 0)
3167   {
3168   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
3169     data ? data : US"", data ? US": " : US"", errmess);
3170   if (yield == 1)
3171     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
3172   }
3173
3174 return yield;
3175 }
3176
3177
3178
3179
3180 /*************************************************
3181 *    Send SMTP response, possibly multiline      *
3182 *************************************************/
3183
3184 /* There are, it seems, broken clients out there that cannot handle multiline
3185 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3186 output nothing for non-final calls, and only the first line for anything else.
3187
3188 Arguments:
3189   code          SMTP code, may involve extended status codes
3190   codelen       length of smtp code; if > 4 there's an ESC
3191   final         FALSE if the last line isn't the final line
3192   msg           message text, possibly containing newlines
3193
3194 Returns:        nothing
3195 */
3196
3197 void
3198 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3199 {
3200 int esclen = 0;
3201 uschar *esc = US"";
3202
3203 if (!final && f.no_multiline_responses) return;
3204
3205 if (codelen > 4)
3206   {
3207   esc = code + 4;
3208   esclen = codelen - 4;
3209   }
3210
3211 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3212 have had the same. Note: this code is also present in smtp_printf(). It would
3213 be tidier to have it only in one place, but when it was added, it was easier to
3214 do it that way, so as not to have to mess with the code for the RCPT command,
3215 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3216
3217 if (fl.rcpt_in_progress)
3218   {
3219   if (rcpt_smtp_response == NULL)
3220     rcpt_smtp_response = string_copy(msg);
3221   else if (fl.rcpt_smtp_response_same &&
3222            Ustrcmp(rcpt_smtp_response, msg) != 0)
3223     fl.rcpt_smtp_response_same = FALSE;
3224   fl.rcpt_in_progress = FALSE;
3225   }
3226
3227 /* Now output the message, splitting it up into multiple lines if necessary.
3228 We only handle pipelining these responses as far as nonfinal/final groups,
3229 not the whole MAIL/RCPT/DATA response set. */
3230
3231 for (;;)
3232   {
3233   uschar *nl = Ustrchr(msg, '\n');
3234   if (nl == NULL)
3235     {
3236     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3237     return;
3238     }
3239   else if (nl[1] == 0 || f.no_multiline_responses)
3240     {
3241     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3242       (int)(nl - msg), msg);
3243     return;
3244     }
3245   else
3246     {
3247     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3248     msg = nl + 1;
3249     Uskip_whitespace(&msg);
3250     }
3251   }
3252 }
3253
3254
3255
3256
3257 /*************************************************
3258 *            Parse user SMTP message             *
3259 *************************************************/
3260
3261 /* This function allows for user messages overriding the response code details
3262 by providing a suitable response code string at the start of the message
3263 user_msg. Check the message for starting with a response code and optionally an
3264 extended status code. If found, check that the first digit is valid, and if so,
3265 change the code pointer and length to use the replacement. An invalid code
3266 causes a panic log; in this case, if the log messages is the same as the user
3267 message, we must also adjust the value of the log message to show the code that
3268 is actually going to be used (the original one).
3269
3270 This function is global because it is called from receive.c as well as within
3271 this module.
3272
3273 Note that the code length returned includes the terminating whitespace
3274 character, which is always included in the regex match.
3275
3276 Arguments:
3277   code          SMTP code, may involve extended status codes
3278   codelen       length of smtp code; if > 4 there's an ESC
3279   msg           message text
3280   log_msg       optional log message, to be adjusted with the new SMTP code
3281   check_valid   if true, verify the response code
3282
3283 Returns:        nothing
3284 */
3285
3286 void
3287 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3288   BOOL check_valid)
3289 {
3290 int n;
3291 int ovector[3];
3292
3293 if (!msg || !*msg) return;
3294
3295 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3296   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3297
3298 if (check_valid && (*msg)[0] != (*code)[0])
3299   {
3300   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3301     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3302   if (log_msg != NULL && *log_msg == *msg)
3303     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3304   }
3305 else
3306   {
3307   *code = *msg;
3308   *codelen = ovector[1];    /* Includes final space */
3309   }
3310 *msg += ovector[1];         /* Chop the code off the message */
3311 return;
3312 }
3313
3314
3315
3316
3317 /*************************************************
3318 *           Handle an ACL failure                *
3319 *************************************************/
3320
3321 /* This function is called when acl_check() fails. As well as calls from within
3322 this module, it is called from receive.c for an ACL after DATA. It sorts out
3323 logging the incident, and sends the error response. A message containing
3324 newlines is turned into a multiline SMTP response, but for logging, only the
3325 first line is used.
3326
3327 There's a table of default permanent failure response codes to use in
3328 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3329 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3330 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3331 state, because there are broken clients that try VRFY before RCPT. A 5xx
3332 response should be given only when the address is positively known to be
3333 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3334 no explicit code, but if there is one we let it know best.
3335 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3336
3337 From Exim 4.63, it is possible to override the response code details by
3338 providing a suitable response code string at the start of the message provided
3339 in user_msg. The code's first digit is checked for validity.
3340
3341 Arguments:
3342   where        where the ACL was called from
3343   rc           the failure code
3344   user_msg     a message that can be included in an SMTP response
3345   log_msg      a message for logging
3346
3347 Returns:     0 in most cases
3348              2 if the failure code was FAIL_DROP, in which case the
3349                SMTP connection should be dropped (this value fits with the
3350                "done" variable in smtp_setup_msg() below)
3351 */
3352
3353 int
3354 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3355 {
3356 BOOL drop = rc == FAIL_DROP;
3357 int codelen = 3;
3358 uschar *smtp_code;
3359 uschar *lognl;
3360 uschar *sender_info = US"";
3361 uschar *what =
3362 #ifdef WITH_CONTENT_SCAN
3363   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3364 #endif
3365   where == ACL_WHERE_PREDATA ? US"DATA" :
3366   where == ACL_WHERE_DATA ? US"after DATA" :
3367 #ifndef DISABLE_PRDR
3368   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3369 #endif
3370   smtp_cmd_data ?
3371     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3372     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3373
3374 if (drop) rc = FAIL;
3375
3376 /* Set the default SMTP code, and allow a user message to change it. */
3377
3378 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3379 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3380   where != ACL_WHERE_VRFY);
3381
3382 /* We used to have sender_address here; however, there was a bug that was not
3383 updating sender_address after a rewrite during a verify. When this bug was
3384 fixed, sender_address at this point became the rewritten address. I'm not sure
3385 this is what should be logged, so I've changed to logging the unrewritten
3386 address to retain backward compatibility. */
3387
3388 #ifndef WITH_CONTENT_SCAN
3389 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3390 #else
3391 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3392 #endif
3393   {
3394   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3395     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3396     sender_host_authenticated ? US" A="                                    : US"",
3397     sender_host_authenticated ? sender_host_authenticated                  : US"",
3398     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3399     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3400     );
3401   }
3402
3403 /* If there's been a sender verification failure with a specific message, and
3404 we have not sent a response about it yet, do so now, as a preliminary line for
3405 failures, but not defers. However, always log it for defer, and log it for fail
3406 unless the sender_verify_fail log selector has been turned off. */
3407
3408 if (sender_verified_failed &&
3409     !testflag(sender_verified_failed, af_sverify_told))
3410   {
3411   BOOL save_rcpt_in_progress = fl.rcpt_in_progress;
3412   fl.rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3413
3414   setflag(sender_verified_failed, af_sverify_told);
3415
3416   if (rc != FAIL || LOGGING(sender_verify_fail))
3417     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3418       host_and_ident(TRUE),
3419       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3420       sender_verified_failed->address,
3421       (sender_verified_failed->message == NULL)? US"" :
3422       string_sprintf(": %s", sender_verified_failed->message));
3423
3424   if (rc == FAIL && sender_verified_failed->user_message)
3425     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3426         testflag(sender_verified_failed, af_verify_pmfail)?
3427           "Postmaster verification failed while checking <%s>\n%s\n"
3428           "Several RFCs state that you are required to have a postmaster\n"
3429           "mailbox for each mail domain. This host does not accept mail\n"
3430           "from domains whose servers reject the postmaster address."
3431           :
3432         testflag(sender_verified_failed, af_verify_nsfail)?
3433           "Callback setup failed while verifying <%s>\n%s\n"
3434           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3435           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3436           "RFC requirements, and stops you from receiving standard bounce\n"
3437           "messages. This host does not accept mail from domains whose servers\n"
3438           "refuse bounces."
3439           :
3440           "Verification failed for <%s>\n%s",
3441         sender_verified_failed->address,
3442         sender_verified_failed->user_message));
3443
3444   fl.rcpt_in_progress = save_rcpt_in_progress;
3445   }
3446
3447 /* Sort out text for logging */
3448
3449 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3450 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3451
3452 /* Send permanent failure response to the command, but the code used isn't
3453 always a 5xx one - see comments at the start of this function. If the original
3454 rc was FAIL_DROP we drop the connection and yield 2. */
3455
3456 if (rc == FAIL)
3457   smtp_respond(smtp_code, codelen, TRUE,
3458     user_msg ? user_msg : US"Administrative prohibition");
3459
3460 /* Send temporary failure response to the command. Don't give any details,
3461 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3462 verb, and for a header verify when smtp_return_error_details is set.
3463
3464 This conditional logic is all somewhat of a mess because of the odd
3465 interactions between temp_details and return_error_details. One day it should
3466 be re-implemented in a tidier fashion. */
3467
3468 else
3469   if (f.acl_temp_details && user_msg)
3470     {
3471     if (  smtp_return_error_details
3472        && sender_verified_failed
3473        && sender_verified_failed->message
3474        )
3475       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3476
3477     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3478     }
3479   else
3480     smtp_respond(smtp_code, codelen, TRUE,
3481       US"Temporary local problem - please try later");
3482
3483 /* Log the incident to the logs that are specified by log_reject_target
3484 (default main, reject). This can be empty to suppress logging of rejections. If
3485 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3486 is closing if required and return 2.  */
3487
3488 if (log_reject_target != 0)
3489   {
3490 #ifndef DISABLE_TLS
3491   gstring * g = s_tlslog(NULL);
3492   uschar * tls = string_from_gstring(g);
3493   if (!tls) tls = US"";
3494 #else
3495   uschar * tls = US"";
3496 #endif
3497   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3498     log_reject_target, "%s%s%s %s%srejected %s%s",
3499     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3500     host_and_ident(TRUE),
3501     tls,
3502     sender_info,
3503     rc == FAIL ? US"" : US"temporarily ",
3504     what, log_msg);
3505   }
3506
3507 if (!drop) return 0;
3508
3509 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3510   smtp_get_connection_info());
3511
3512 /* Run the not-quit ACL, but without any custom messages. This should not be a
3513 problem, because we get here only if some other ACL has issued "drop", and
3514 in that case, *its* custom messages will have been used above. */
3515
3516 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3517 return 2;
3518 }
3519
3520
3521
3522
3523 /*************************************************
3524 *     Handle SMTP exit when QUIT is not given    *
3525 *************************************************/
3526
3527 /* This function provides a logging/statistics hook for when an SMTP connection
3528 is dropped on the floor or the other end goes away. It's a global function
3529 because it's called from receive.c as well as this module. As well as running
3530 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3531 response, either with a custom message from the ACL, or using a default. There
3532 is one case, however, when no message is output - after "drop". In that case,
3533 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3534 passed to this function.
3535
3536 In case things go wrong while processing this function, causing an error that
3537 may re-enter this function, there is a recursion check.
3538
3539 Arguments:
3540   reason          What $smtp_notquit_reason will be set to in the ACL;
3541                     if NULL, the ACL is not run
3542   code            The error code to return as part of the response
3543   defaultrespond  The default message if there's no user_msg
3544
3545 Returns:          Nothing
3546 */
3547
3548 void
3549 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3550 {
3551 int rc;
3552 uschar *user_msg = NULL;
3553 uschar *log_msg = NULL;
3554
3555 /* Check for recursive call */
3556
3557 if (fl.smtp_exit_function_called)
3558   {
3559   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3560     reason);
3561   return;
3562   }
3563 fl.smtp_exit_function_called = TRUE;
3564
3565 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3566
3567 if (acl_smtp_notquit && reason)
3568   {
3569   smtp_notquit_reason = reason;
3570   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3571                       &log_msg)) == ERROR)
3572     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3573       log_msg);
3574   }
3575
3576 /* If the connection was dropped, we certainly are no longer talking TLS */
3577 tls_in.active.sock = -1;
3578
3579 /* Write an SMTP response if we are expected to give one. As the default
3580 responses are all internal, they should be reasonable size. */
3581
3582 if (code && defaultrespond)
3583   {
3584   if (user_msg)
3585     smtp_respond(code, 3, TRUE, user_msg);
3586   else
3587     {
3588     gstring * g;
3589     va_list ap;
3590
3591     va_start(ap, defaultrespond);
3592     g = string_vformat(NULL, SVFMT_EXTEND|SVFMT_REBUFFER, CS defaultrespond, ap);
3593     va_end(ap);
3594     smtp_printf("%s %s\r\n", FALSE, code, string_from_gstring(g));
3595     }
3596   mac_smtp_fflush();
3597   }
3598 }
3599
3600
3601
3602
3603 /*************************************************
3604 *             Verify HELO argument               *
3605 *************************************************/
3606
3607 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3608 matched. It is also called from ACL processing if verify = helo is used and
3609 verification was not previously tried (i.e. helo_try_verify_hosts was not
3610 matched). The result of its processing is to set helo_verified and
3611 helo_verify_failed. These variables should both be FALSE for this function to
3612 be called.
3613
3614 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3615 for IPv6 ::ffff: literals.
3616
3617 Argument:   none
3618 Returns:    TRUE if testing was completed;
3619             FALSE on a temporary failure
3620 */
3621
3622 BOOL
3623 smtp_verify_helo(void)
3624 {
3625 BOOL yield = TRUE;
3626
3627 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3628   sender_helo_name);
3629
3630 if (sender_helo_name == NULL)
3631   {
3632   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3633   }
3634
3635 /* Deal with the case of -bs without an IP address */
3636
3637 else if (sender_host_address == NULL)
3638   {
3639   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3640   f.helo_verified = TRUE;
3641   }
3642
3643 /* Deal with the more common case when there is a sending IP address */
3644
3645 else if (sender_helo_name[0] == '[')
3646   {
3647   f.helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3648     Ustrlen(sender_host_address)) == 0;
3649
3650 #if HAVE_IPV6
3651   if (!f.helo_verified)
3652     {
3653     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3654       f.helo_verified = Ustrncmp(sender_helo_name + 1,
3655         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3656     }
3657 #endif
3658
3659   HDEBUG(D_receive)
3660     { if (f.helo_verified) debug_printf("matched host address\n"); }
3661   }
3662
3663 /* Do a reverse lookup if one hasn't already given a positive or negative
3664 response. If that fails, or the name doesn't match, try checking with a forward
3665 lookup. */
3666
3667 else
3668   {
3669   if (sender_host_name == NULL && !host_lookup_failed)
3670     yield = host_name_lookup() != DEFER;
3671
3672   /* If a host name is known, check it and all its aliases. */
3673
3674   if (sender_host_name)
3675     if ((f.helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3676       {
3677       sender_helo_dnssec = sender_host_dnssec;
3678       HDEBUG(D_receive) debug_printf("matched host name\n");
3679       }
3680     else
3681       {
3682       uschar **aliases = sender_host_aliases;
3683       while (*aliases)
3684         if ((f.helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3685           {
3686           sender_helo_dnssec = sender_host_dnssec;
3687           break;
3688           }
3689
3690       HDEBUG(D_receive) if (f.helo_verified)
3691           debug_printf("matched alias %s\n", *(--aliases));
3692       }
3693
3694   /* Final attempt: try a forward lookup of the helo name */
3695
3696   if (!f.helo_verified)
3697     {
3698     int rc;
3699     host_item h =
3700       {.name = sender_helo_name, .address = NULL, .mx = MX_NONE, .next = NULL};
3701     dnssec_domains d =
3702       {.request = US"*", .require = US""};
3703
3704     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3705       sender_helo_name);
3706     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A | HOST_FIND_BY_AAAA,
3707                           NULL, NULL, NULL, &d, NULL, NULL);
3708     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3709       for (host_item * hh = &h; hh; hh = hh->next)
3710         if (Ustrcmp(hh->address, sender_host_address) == 0)
3711           {
3712           f.helo_verified = TRUE;
3713           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3714           HDEBUG(D_receive)
3715             debug_printf("IP address for %s matches calling address\n"
3716               "Forward DNS security status: %sverified\n",
3717               sender_helo_name, sender_helo_dnssec ? "" : "un");
3718           break;
3719           }
3720     }
3721   }
3722
3723 if (!f.helo_verified) f.helo_verify_failed = TRUE;  /* We've tried ... */
3724 return yield;
3725 }
3726
3727
3728
3729
3730 /*************************************************
3731 *        Send user response message              *
3732 *************************************************/
3733
3734 /* This function is passed a default response code and a user message. It calls
3735 smtp_message_code() to check and possibly modify the response code, and then
3736 calls smtp_respond() to transmit the response. I put this into a function
3737 just to avoid a lot of repetition.
3738
3739 Arguments:
3740   code         the response code
3741   user_msg     the user message
3742
3743 Returns:       nothing
3744 */
3745
3746 static void
3747 smtp_user_msg(uschar *code, uschar *user_msg)
3748 {
3749 int len = 3;
3750 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3751 smtp_respond(code, len, TRUE, user_msg);
3752 }
3753
3754
3755
3756 static int
3757 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3758 {
3759 const uschar *set_id = NULL;
3760 int rc;
3761
3762 /* Run the checking code, passing the remainder of the command line as
3763 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3764 it as the only set numerical variable. The authenticator may set $auth<n>
3765 and also set other numeric variables. The $auth<n> variables are preferred
3766 nowadays; the numerical variables remain for backwards compatibility.
3767
3768 Afterwards, have a go at expanding the set_id string, even if
3769 authentication failed - for bad passwords it can be useful to log the
3770 userid. On success, require set_id to expand and exist, and put it in
3771 authenticated_id. Save this in permanent store, as the working store gets
3772 reset at HELO, RSET, etc. */
3773
3774 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3775 expand_nmax = 0;
3776 expand_nlength[0] = 0;   /* $0 contains nothing */
3777
3778 rc = (au->info->servercode)(au, smtp_cmd_data);
3779 if (au->set_id) set_id = expand_string(au->set_id);
3780 expand_nmax = -1;        /* Reset numeric variables */
3781 for (int i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3782
3783 /* The value of authenticated_id is stored in the spool file and printed in
3784 log lines. It must not contain binary zeros or newline characters. In
3785 normal use, it never will, but when playing around or testing, this error
3786 can (did) happen. To guard against this, ensure that the id contains only
3787 printing characters. */
3788
3789 if (set_id) set_id = string_printing(set_id);
3790
3791 /* For the non-OK cases, set up additional logging data if set_id
3792 is not empty. */
3793
3794 if (rc != OK)
3795   set_id = set_id && *set_id
3796     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3797
3798 /* Switch on the result */
3799
3800 switch(rc)
3801   {
3802   case OK:
3803     if (!au->set_id || set_id)    /* Complete success */
3804       {
3805       if (set_id) authenticated_id = string_copy_perm(set_id, TRUE);
3806       sender_host_authenticated = au->name;
3807       sender_host_auth_pubname  = au->public_name;
3808       authentication_failed = FALSE;
3809       authenticated_fail_id = NULL;   /* Impossible to already be set? */
3810
3811       received_protocol =
3812         (sender_host_address ? protocols : protocols_local)
3813           [pextend + pauthed + (tls_in.active.sock >= 0 ? pcrpted:0)];
3814       *s = *ss = US"235 Authentication succeeded";
3815       authenticated_by = au;
3816       break;
3817       }
3818
3819     /* Authentication succeeded, but we failed to expand the set_id string.
3820     Treat this as a temporary error. */
3821
3822     auth_defer_msg = expand_string_message;
3823     /* Fall through */
3824
3825   case DEFER:
3826     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3827     *s = string_sprintf("435 Unable to authenticate at present%s",
3828       auth_defer_user_msg);
3829     *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3830       set_id, auth_defer_msg);
3831     break;
3832
3833   case BAD64:
3834     *s = *ss = US"501 Invalid base64 data";
3835     break;
3836
3837   case CANCELLED:
3838     *s = *ss = US"501 Authentication cancelled";
3839     break;
3840
3841   case UNEXPECTED:
3842     *s = *ss = US"553 Initial data not expected";
3843     break;
3844
3845   case FAIL:
3846     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3847     *s = US"535 Incorrect authentication data";
3848     *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3849     break;
3850
3851   default:
3852     if (set_id) authenticated_fail_id = string_copy_perm(set_id, TRUE);
3853     *s = US"435 Internal error";
3854     *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3855       "check", set_id, rc);
3856     break;
3857   }
3858
3859 return rc;
3860 }
3861
3862
3863
3864
3865
3866 static int
3867 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3868 {
3869 int rd;
3870 if (f.allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3871   {
3872   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3873     *recipient);
3874   rd = Ustrlen(recipient) + 1;
3875   /* deconst ok as *recipient was not const */
3876   *recipient = US rewrite_address_qualify(*recipient, TRUE);
3877   return rd;
3878   }
3879 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3880   smtp_cmd_data);
3881 log_write(L_smtp_syntax_error,
3882   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3883   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3884 return 0;
3885 }
3886
3887
3888
3889
3890 static void
3891 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3892 {
3893 HAD(SCH_QUIT);
3894 incomplete_transaction_log(US"QUIT");
3895 if (acl_smtp_quit)
3896   {
3897   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3898   if (rc == ERROR)
3899     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3900       *log_msgp);
3901   }
3902
3903 #ifdef TCP_CORK
3904 (void) setsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_CORK, US &on, sizeof(on));
3905 #endif
3906
3907 if (*user_msgp)
3908   smtp_respond(US"221", 3, TRUE, *user_msgp);
3909 else
3910   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3911
3912 #ifndef DISABLE_TLS
3913 tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
3914 #endif
3915
3916 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3917   smtp_get_connection_info());
3918 }
3919
3920
3921 static void
3922 smtp_rset_handler(void)
3923 {
3924 HAD(SCH_RSET);
3925 incomplete_transaction_log(US"RSET");
3926 smtp_printf("250 Reset OK\r\n", FALSE);
3927 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3928 }
3929
3930
3931
3932 /*************************************************
3933 *       Initialize for SMTP incoming message     *
3934 *************************************************/
3935
3936 /* This function conducts the initial dialogue at the start of an incoming SMTP
3937 message, and builds a list of recipients. However, if the incoming message
3938 is part of a batch (-bS option) a separate function is called since it would
3939 be messy having tests splattered about all over this function. This function
3940 therefore handles the case where interaction is occurring. The input and output
3941 files are set up in smtp_in and smtp_out.
3942
3943 The global recipients_list is set to point to a vector of recipient_item
3944 blocks, whose number is given by recipients_count. This is extended by the
3945 receive_add_recipient() function. The global variable sender_address is set to
3946 the sender's address. The yield is +1 if a message has been successfully
3947 started, 0 if a QUIT command was encountered or the connection was refused from
3948 the particular host, or -1 if the connection was lost.
3949
3950 Argument: none
3951
3952 Returns:  > 0 message successfully started (reached DATA)
3953           = 0 QUIT read or end of file reached or call refused
3954           < 0 lost connection
3955 */
3956
3957 int
3958 smtp_setup_msg(void)
3959 {
3960 int done = 0;
3961 BOOL toomany = FALSE;
3962 BOOL discarded = FALSE;
3963 BOOL last_was_rej_mail = FALSE;
3964 BOOL last_was_rcpt = FALSE;
3965 rmark reset_point = store_mark();
3966
3967 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3968
3969 /* Reset for start of new message. We allow one RSET not to be counted as a
3970 nonmail command, for those MTAs that insist on sending it between every
3971 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3972 TLS between messages (an Exim client may do this if it has messages queued up
3973 for the host). Note: we do NOT reset AUTH at this point. */
3974
3975 reset_point = smtp_reset(reset_point);
3976 message_ended = END_NOTSTARTED;
3977
3978 chunking_state = f.chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3979
3980 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3981 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3982 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3983 #ifndef DISABLE_TLS
3984 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3985 #endif
3986
3987 if (lwr_receive_getc != NULL)
3988   {
3989   /* This should have already happened, but if we've gotten confused,
3990   force a reset here. */
3991   DEBUG(D_receive) debug_printf("WARNING: smtp_setup_msg had to restore receive functions to lowers\n");
3992   bdat_pop_receive_functions();
3993   }
3994
3995 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3996
3997 had_command_sigterm = 0;
3998 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3999
4000 /* Batched SMTP is handled in a different function. */
4001
4002 if (smtp_batched_input) return smtp_setup_batch_msg();
4003
4004 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
4005 value. The values are 2 larger than the required yield of the function. */
4006
4007 while (done <= 0)
4008   {
4009   const uschar **argv;
4010   uschar *etrn_command;
4011   uschar *etrn_serialize_key;
4012   uschar *errmess;
4013   uschar *log_msg, *smtp_code;
4014   uschar *user_msg = NULL;
4015   uschar *recipient = NULL;
4016   uschar *hello = NULL;
4017   uschar *s, *ss;
4018   BOOL was_rej_mail = FALSE;
4019   BOOL was_rcpt = FALSE;
4020   void (*oldsignal)(int);
4021   pid_t pid;
4022   int start, end, sender_domain, recipient_domain;
4023   int rc;
4024   int c;
4025   uschar *orcpt = NULL;
4026   int dsn_flags;
4027   gstring * g;
4028
4029 #ifdef AUTH_TLS
4030   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
4031   if (  tls_in.active.sock >= 0
4032      && tls_in.peercert
4033      && tls_in.certificate_verified
4034      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
4035      )
4036     {
4037     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
4038
4039     for (auth_instance * au = auths; au; au = au->next)
4040       if (strcmpic(US"tls", au->driver_name) == 0)
4041         {
4042         if (  acl_smtp_auth
4043            && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4044                       &user_msg, &log_msg)) != OK
4045            )
4046           done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4047         else
4048           {
4049           smtp_cmd_data = NULL;
4050
4051           if (smtp_in_auth(au, &s, &ss) == OK)
4052             { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
4053           else
4054             { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
4055           }
4056         break;
4057         }
4058     }
4059 #endif
4060
4061 #ifdef TCP_QUICKACK
4062   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
4063     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4064             US &off, sizeof(off));
4065 #endif
4066
4067   switch(smtp_read_command(
4068 #ifndef DISABLE_PIPE_CONNECT
4069           !fl.pipe_connect_acceptable,
4070 #else
4071           TRUE,
4072 #endif
4073           GETC_BUFFER_UNLIMITED))
4074     {
4075     /* The AUTH command is not permitted to occur inside a transaction, and may
4076     occur successfully only once per connection. Actually, that isn't quite
4077     true. When TLS is started, all previous information about a connection must
4078     be discarded, so a new AUTH is permitted at that time.
4079
4080     AUTH may only be used when it has been advertised. However, it seems that
4081     there are clients that send AUTH when it hasn't been advertised, some of
4082     them even doing this after HELO. And there are MTAs that accept this. Sigh.
4083     So there's a get-out that allows this to happen.
4084
4085     AUTH is initially labelled as a "nonmail command" so that one occurrence
4086     doesn't get counted. We change the label here so that multiple failing
4087     AUTHS will eventually hit the nonmail threshold. */
4088
4089     case AUTH_CMD:
4090       HAD(SCH_AUTH);
4091       authentication_failed = TRUE;
4092       cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
4093
4094       if (!fl.auth_advertised && !f.allow_auth_unadvertised)
4095         {
4096         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4097           US"AUTH command used when not advertised");
4098         break;
4099         }
4100       if (sender_host_authenticated)
4101         {
4102         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4103           US"already authenticated");
4104         break;
4105         }
4106       if (sender_address)
4107         {
4108         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4109           US"not permitted in mail transaction");
4110         break;
4111         }
4112
4113       /* Check the ACL */
4114
4115       if (  acl_smtp_auth
4116          && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
4117                     &user_msg, &log_msg)) != OK
4118          )
4119         {
4120         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
4121         break;
4122         }
4123
4124       /* Find the name of the requested authentication mechanism. */
4125
4126       s = smtp_cmd_data;
4127       while ((c = *smtp_cmd_data) != 0 && !isspace(c))
4128         {
4129         if (!isalnum(c) && c != '-' && c != '_')
4130           {
4131           done = synprot_error(L_smtp_syntax_error, 501, NULL,
4132             US"invalid character in authentication mechanism name");
4133           goto COMMAND_LOOP;
4134           }
4135         smtp_cmd_data++;
4136         }
4137
4138       /* If not at the end of the line, we must be at white space. Terminate the
4139       name and move the pointer on to any data that may be present. */
4140
4141       if (*smtp_cmd_data != 0)
4142         {
4143         *smtp_cmd_data++ = 0;
4144         while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
4145         }
4146
4147       /* Search for an authentication mechanism which is configured for use
4148       as a server and which has been advertised (unless, sigh, allow_auth_
4149       unadvertised is set). */
4150
4151         {
4152         auth_instance * au;
4153         for (au = auths; au; au = au->next)
4154           if (strcmpic(s, au->public_name) == 0 && au->server &&
4155               (au->advertised || f.allow_auth_unadvertised))
4156             break;
4157
4158         if (au)
4159           {
4160           c = smtp_in_auth(au, &s, &ss);
4161
4162           smtp_printf("%s\r\n", FALSE, s);
4163           if (c != OK)
4164             log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
4165               au->name, host_and_ident(FALSE), ss);
4166           }
4167         else
4168           done = synprot_error(L_smtp_protocol_error, 504, NULL,
4169             string_sprintf("%s authentication mechanism not supported", s));
4170         }
4171
4172       break;  /* AUTH_CMD */
4173
4174     /* The HELO/EHLO commands are permitted to appear in the middle of a
4175     session as well as at the beginning. They have the effect of a reset in
4176     addition to their other functions. Their absence at the start cannot be
4177     taken to be an error.
4178
4179     RFC 2821 says:
4180
4181       If the EHLO command is not acceptable to the SMTP server, 501, 500,
4182       or 502 failure replies MUST be returned as appropriate.  The SMTP
4183       server MUST stay in the same state after transmitting these replies
4184       that it was in before the EHLO was received.
4185
4186     Therefore, we do not do the reset until after checking the command for
4187     acceptability. This change was made for Exim release 4.11. Previously
4188     it did the reset first. */
4189
4190     case HELO_CMD:
4191       HAD(SCH_HELO);
4192       hello = US"HELO";
4193       fl.esmtp = FALSE;
4194       goto HELO_EHLO;
4195
4196     case EHLO_CMD:
4197       HAD(SCH_EHLO);
4198       hello = US"EHLO";
4199       fl.esmtp = TRUE;
4200
4201     HELO_EHLO:      /* Common code for HELO and EHLO */
4202       cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4203       cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4204
4205       /* Reject the HELO if its argument was invalid or non-existent. A
4206       successful check causes the argument to be saved in malloc store. */
4207
4208       if (!check_helo(smtp_cmd_data))
4209         {
4210         smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4211
4212         log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4213           "invalid argument(s): %s", hello, host_and_ident(FALSE),
4214           *smtp_cmd_argument == 0 ? US"(no argument given)" :
4215                              string_printing(smtp_cmd_argument));
4216
4217         if (++synprot_error_count > smtp_max_synprot_errors)
4218           {
4219           log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4220             "syntax or protocol errors (last command was \"%s\", %s)",
4221             host_and_ident(FALSE), string_printing(smtp_cmd_buffer),
4222             string_from_gstring(s_connhad_log(NULL))
4223             );
4224           done = 1;
4225           }
4226
4227         break;
4228         }
4229
4230       /* If sender_host_unknown is true, we have got here via the -bs interface,
4231       not called from inetd. Otherwise, we are running an IP connection and the
4232       host address will be set. If the helo name is the primary name of this
4233       host and we haven't done a reverse lookup, force one now. If helo_required
4234       is set, ensure that the HELO name matches the actual host. If helo_verify
4235       is set, do the same check, but softly. */
4236
4237       if (!f.sender_host_unknown)
4238         {
4239         BOOL old_helo_verified = f.helo_verified;
4240         uschar *p = smtp_cmd_data;
4241
4242         while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4243         *p = 0;
4244
4245         /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4246         because otherwise the log can be confusing. */
4247
4248         if (  !sender_host_name
4249            && match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4250                 &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL) == OK)
4251           (void)host_name_lookup();
4252
4253         /* Rebuild the fullhost info to include the HELO name (and the real name
4254         if it was looked up.) */
4255
4256         host_build_sender_fullhost();  /* Rebuild */
4257         set_process_info("handling%s incoming connection from %s",
4258           tls_in.active.sock >= 0 ? " TLS" : "", host_and_ident(FALSE));
4259
4260         /* Verify if configured. This doesn't give much security, but it does
4261         make some people happy to be able to do it. If helo_required is set,
4262         (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4263         is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4264         now obsolescent, since the verification can now be requested selectively
4265         at ACL time. */
4266
4267         f.helo_verified = f.helo_verify_failed = sender_helo_dnssec = FALSE;
4268         if (fl.helo_required || fl.helo_verify)
4269           {
4270           BOOL tempfail = !smtp_verify_helo();
4271           if (!f.helo_verified)
4272             {
4273             if (fl.helo_required)
4274               {
4275               smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4276                 tempfail? 451 : 550, hello);
4277               log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4278                 tempfail? "temporarily " : "",
4279                 hello, sender_helo_name, host_and_ident(FALSE));
4280               f.helo_verified = old_helo_verified;
4281               break;                   /* End of HELO/EHLO processing */
4282               }
4283             HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4284               "helo_try_verify_hosts\n", hello);
4285             }
4286           }
4287         }
4288
4289 #ifdef SUPPORT_SPF
4290       /* set up SPF context */
4291       spf_conn_init(sender_helo_name, sender_host_address);
4292 #endif
4293
4294       /* Apply an ACL check if one is defined; afterwards, recheck
4295       synchronization in case the client started sending in a delay. */
4296
4297       if (acl_smtp_helo)
4298         if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4299                   &user_msg, &log_msg)) != OK)
4300           {
4301           done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4302           sender_helo_name = NULL;
4303           host_build_sender_fullhost();  /* Rebuild */
4304           break;
4305           }
4306 #ifndef DISABLE_PIPE_CONNECT
4307         else if (!fl.pipe_connect_acceptable && !check_sync())
4308 #else
4309         else if (!check_sync())
4310 #endif
4311           goto SYNC_FAILURE;
4312
4313       /* Generate an OK reply. The default string includes the ident if present,
4314       and also the IP address if present. Reflecting back the ident is intended
4315       as a deterrent to mail forgers. For maximum efficiency, and also because
4316       some broken systems expect each response to be in a single packet, arrange
4317       that the entire reply is sent in one write(). */
4318
4319       fl.auth_advertised = FALSE;
4320       f.smtp_in_pipelining_advertised = FALSE;
4321 #ifndef DISABLE_TLS
4322       fl.tls_advertised = FALSE;
4323 #endif
4324       fl.dsn_advertised = FALSE;
4325 #ifdef SUPPORT_I18N
4326       fl.smtputf8_advertised = FALSE;
4327 #endif
4328
4329       smtp_code = US"250 ";        /* Default response code plus space*/
4330       if (!user_msg)
4331         {
4332         /* sender_host_name below will be tainted, so save on copy when we hit it */
4333         g = string_get_tainted(24, TRUE);
4334         g = string_fmt_append(g, "%.3s %s Hello %s%s%s",
4335           smtp_code,
4336           smtp_active_hostname,
4337           sender_ident ? sender_ident : US"",
4338           sender_ident ? US" at " : US"",
4339           sender_host_name ? sender_host_name : sender_helo_name);
4340
4341         if (sender_host_address)
4342           g = string_fmt_append(g, " [%s]", sender_host_address);
4343         }
4344
4345       /* A user-supplied EHLO greeting may not contain more than one line. Note
4346       that the code returned by smtp_message_code() includes the terminating
4347       whitespace character. */
4348
4349       else
4350         {
4351         char *ss;
4352         int codelen = 4;
4353         smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4354         s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4355         if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4356           {
4357           log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4358             "newlines: message truncated: %s", string_printing(s));
4359           *ss = 0;
4360           }
4361         g = string_cat(NULL, s);
4362         }
4363
4364       g = string_catn(g, US"\r\n", 2);
4365
4366       /* If we received EHLO, we must create a multiline response which includes
4367       the functions supported. */
4368
4369       if (fl.esmtp)
4370         {
4371         g->s[3] = '-';
4372
4373         /* I'm not entirely happy with this, as an MTA is supposed to check
4374         that it has enough room to accept a message of maximum size before
4375         it sends this. However, there seems little point in not sending it.
4376         The actual size check happens later at MAIL FROM time. By postponing it
4377         till then, VRFY and EXPN can be used after EHLO when space is short. */
4378
4379         if (thismessage_size_limit > 0)
4380           g = string_fmt_append(g, "%.3s-SIZE %d\r\n", smtp_code,
4381             thismessage_size_limit);
4382         else
4383           {
4384           g = string_catn(g, smtp_code, 3);
4385           g = string_catn(g, US"-SIZE\r\n", 7);
4386           }
4387
4388         /* Exim does not do protocol conversion or data conversion. It is 8-bit
4389         clean; if it has an 8-bit character in its hand, it just sends it. It
4390         cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4391         However, some users want this option simply in order to stop MUAs
4392         mangling messages that contain top-bit-set characters. It is therefore
4393         provided as an option. */
4394
4395         if (accept_8bitmime)
4396           {
4397           g = string_catn(g, smtp_code, 3);
4398           g = string_catn(g, US"-8BITMIME\r\n", 11);
4399           }
4400
4401         /* Advertise DSN support if configured to do so. */
4402         if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4403           {
4404           g = string_catn(g, smtp_code, 3);
4405           g = string_catn(g, US"-DSN\r\n", 6);
4406           fl.dsn_advertised = TRUE;
4407           }
4408
4409         /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4410         permitted to issue them; a check is made when any host actually tries. */
4411
4412         if (acl_smtp_etrn)
4413           {
4414           g = string_catn(g, smtp_code, 3);
4415           g = string_catn(g, US"-ETRN\r\n", 7);
4416           }
4417         if (acl_smtp_vrfy)
4418           {
4419           g = string_catn(g, smtp_code, 3);
4420           g = string_catn(g, US"-VRFY\r\n", 7);
4421           }
4422         if (acl_smtp_expn)
4423           {
4424           g = string_catn(g, smtp_code, 3);
4425           g = string_catn(g, US"-EXPN\r\n", 7);
4426           }
4427
4428         /* Exim is quite happy with pipelining, so let the other end know that
4429         it is safe to use it, unless advertising is disabled. */
4430
4431         if (  f.pipelining_enable
4432            && verify_check_host(&pipelining_advertise_hosts) == OK)
4433           {
4434           g = string_catn(g, smtp_code, 3);
4435           g = string_catn(g, US"-PIPELINING\r\n", 13);
4436           sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4437           f.smtp_in_pipelining_advertised = TRUE;
4438
4439 #ifndef DISABLE_PIPE_CONNECT
4440           if (fl.pipe_connect_acceptable)
4441             {
4442             f.smtp_in_early_pipe_advertised = TRUE;
4443             g = string_catn(g, smtp_code, 3);
4444             g = string_catn(g, US"-" EARLY_PIPE_FEATURE_NAME "\r\n", EARLY_PIPE_FEATURE_LEN+3);
4445             }
4446 #endif
4447           }
4448
4449
4450         /* If any server authentication mechanisms are configured, advertise
4451         them if the current host is in auth_advertise_hosts. The problem with
4452         advertising always is that some clients then require users to
4453         authenticate (and aren't configurable otherwise) even though it may not
4454         be necessary (e.g. if the host is in host_accept_relay).
4455
4456         RFC 2222 states that SASL mechanism names contain only upper case
4457         letters, so output the names in upper case, though we actually recognize
4458         them in either case in the AUTH command. */
4459
4460         if (  auths
4461 #ifdef AUTH_TLS
4462            && !sender_host_authenticated
4463 #endif
4464            && verify_check_host(&auth_advertise_hosts) == OK
4465            )
4466           {
4467           BOOL first = TRUE;
4468           for (auth_instance * au = auths; au; au = au->next)
4469             {
4470             au->advertised = FALSE;
4471             if (au->server)
4472               {
4473               DEBUG(D_auth+D_expand) debug_printf_indent(
4474                 "Evaluating advertise_condition for %s %s athenticator\n",
4475                 au->name, au->public_name);
4476               if (  !au->advertise_condition
4477                  || expand_check_condition(au->advertise_condition, au->name,
4478                         US"authenticator")
4479                  )
4480                 {
4481                 int saveptr;
4482                 if (first)
4483                   {
4484                   g = string_catn(g, smtp_code, 3);
4485                   g = string_catn(g, US"-AUTH", 5);
4486                   first = FALSE;
4487                   fl.auth_advertised = TRUE;
4488                   }
4489                 saveptr = g->ptr;
4490                 g = string_catn(g, US" ", 1);
4491                 g = string_cat (g, au->public_name);
4492                 while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4493                 au->advertised = TRUE;
4494                 }
4495               }
4496             }
4497
4498           if (!first) g = string_catn(g, US"\r\n", 2);
4499           }
4500
4501         /* RFC 3030 CHUNKING */
4502
4503         if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4504           {
4505           g = string_catn(g, smtp_code, 3);
4506           g = string_catn(g, US"-CHUNKING\r\n", 11);
4507           f.chunking_offered = TRUE;
4508           chunking_state = CHUNKING_OFFERED;
4509           }
4510
4511         /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4512         if it has been included in the binary, and the host matches
4513         tls_advertise_hosts. We must *not* advertise if we are already in a
4514         secure connection. */
4515
4516 #ifndef DISABLE_TLS
4517         if (tls_in.active.sock < 0 &&
4518             verify_check_host(&tls_advertise_hosts) != FAIL)
4519           {
4520           g = string_catn(g, smtp_code, 3);
4521           g = string_catn(g, US"-STARTTLS\r\n", 11);
4522           fl.tls_advertised = TRUE;
4523           }
4524 #endif
4525
4526 #ifndef DISABLE_PRDR
4527         /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4528         if (prdr_enable)
4529           {
4530           g = string_catn(g, smtp_code, 3);
4531           g = string_catn(g, US"-PRDR\r\n", 7);
4532           }
4533 #endif
4534
4535 #ifdef SUPPORT_I18N
4536         if (  accept_8bitmime
4537            && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4538           {
4539           g = string_catn(g, smtp_code, 3);
4540           g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4541           fl.smtputf8_advertised = TRUE;
4542           }
4543 #endif
4544
4545         /* Finish off the multiline reply with one that is always available. */
4546
4547         g = string_catn(g, smtp_code, 3);
4548         g = string_catn(g, US" HELP\r\n", 7);
4549         }
4550
4551       /* Terminate the string (for debug), write it, and note that HELO/EHLO
4552       has been seen. */
4553
4554 #ifndef DISABLE_TLS
4555       if (tls_in.active.sock >= 0)
4556         (void)tls_write(NULL, g->s, g->ptr,
4557 # ifndef DISABLE_PIPE_CONNECT
4558                         fl.pipe_connect_acceptable && pipeline_connect_sends());
4559 # else
4560                         FALSE);
4561 # endif
4562       else
4563 #endif
4564
4565         {
4566         int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4567         }
4568       DEBUG(D_receive)
4569         {
4570         uschar *cr;
4571
4572         (void) string_from_gstring(g);
4573         while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4574           memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4575         debug_printf("SMTP>> %s", g->s);
4576         }
4577       fl.helo_seen = TRUE;
4578
4579       /* Reset the protocol and the state, abandoning any previous message. */
4580       received_protocol =
4581         (sender_host_address ? protocols : protocols_local)
4582           [ (fl.esmtp
4583             ? pextend + (sender_host_authenticated ? pauthed : 0)
4584             : pnormal)
4585           + (tls_in.active.sock >= 0 ? pcrpted : 0)
4586           ];
4587       cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4588       reset_point = smtp_reset(reset_point);
4589       toomany = FALSE;
4590       break;   /* HELO/EHLO */
4591
4592
4593     /* The MAIL command requires an address as an operand. All we do
4594     here is to parse it for syntactic correctness. The form "<>" is
4595     a special case which converts into an empty string. The start/end
4596     pointers in the original are not used further for this address, as
4597     it is the canonical extracted address which is all that is kept. */
4598
4599     case MAIL_CMD:
4600       HAD(SCH_MAIL);
4601       smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4602       was_rej_mail = TRUE;               /* Reset if accepted */
4603       env_mail_type_t * mail_args;       /* Sanity check & validate args */
4604
4605       if (fl.helo_required && !fl.helo_seen)
4606         {
4607         smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4608         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4609           "HELO/EHLO given", host_and_ident(FALSE));
4610         break;
4611         }
4612
4613       if (sender_address)
4614         {
4615         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4616           US"sender already given");
4617         break;
4618         }
4619
4620       if (!*smtp_cmd_data)
4621         {
4622         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4623           US"MAIL must have an address operand");
4624         break;
4625         }
4626
4627       /* Check to see if the limit for messages per connection would be
4628       exceeded by accepting further messages. */
4629
4630       if (smtp_accept_max_per_connection > 0 &&
4631           smtp_mailcmd_count > smtp_accept_max_per_connection)
4632         {
4633         smtp_printf("421 too many messages in this connection\r\n", FALSE);
4634         log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4635           "messages in one connection", host_and_ident(TRUE));
4636         break;
4637         }
4638
4639       /* Reset for start of message - even if this is going to fail, we
4640       obviously need to throw away any previous data. */
4641
4642       cancel_cutthrough_connection(TRUE, US"MAIL received");
4643       reset_point = smtp_reset(reset_point);
4644       toomany = FALSE;
4645       sender_data = recipient_data = NULL;
4646
4647       /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4648
4649       if (fl.esmtp) for(;;)
4650         {
4651         uschar *name, *value, *end;
4652         unsigned long int size;
4653         BOOL arg_error = FALSE;
4654
4655         if (!extract_option(&name, &value)) break;
4656
4657         for (mail_args = env_mail_type_list;
4658              mail_args->value != ENV_MAIL_OPT_NULL;
4659              mail_args++
4660             )
4661           if (strcmpic(name, mail_args->name) == 0)
4662             break;
4663         if (mail_args->need_value && strcmpic(value, US"") == 0)
4664           break;
4665
4666         switch(mail_args->value)
4667           {
4668           /* Handle SIZE= by reading the value. We don't do the check till later,
4669           in order to be able to log the sender address on failure. */
4670           case ENV_MAIL_OPT_SIZE:
4671             if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4672               {
4673               if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4674                 size = INT_MAX;
4675               message_size = (int)size;
4676               }
4677             else
4678               arg_error = TRUE;
4679             break;
4680
4681           /* If this session was initiated with EHLO and accept_8bitmime is set,
4682           Exim will have indicated that it supports the BODY=8BITMIME option. In
4683           fact, it does not support this according to the RFCs, in that it does not
4684           take any special action for forwarding messages containing 8-bit
4685           characters. That is why accept_8bitmime is not the default setting, but
4686           some sites want the action that is provided. We recognize both "8BITMIME"
4687           and "7BIT" as body types, but take no action. */
4688           case ENV_MAIL_OPT_BODY:
4689             if (accept_8bitmime) {
4690               if (strcmpic(value, US"8BITMIME") == 0)
4691                 body_8bitmime = 8;
4692               else if (strcmpic(value, US"7BIT") == 0)
4693                 body_8bitmime = 7;
4694               else
4695                 {
4696                 body_8bitmime = 0;
4697                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4698                   US"invalid data for BODY");
4699                 goto COMMAND_LOOP;
4700                 }
4701               DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4702               break;
4703             }
4704             arg_error = TRUE;
4705             break;
4706
4707           /* Handle the two DSN options, but only if configured to do so (which
4708           will have caused "DSN" to be given in the EHLO response). The code itself
4709           is included only if configured in at build time. */
4710
4711           case ENV_MAIL_OPT_RET:
4712             if (fl.dsn_advertised)
4713               {
4714               /* Check if RET has already been set */
4715               if (dsn_ret > 0)
4716                 {
4717                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4718                   US"RET can be specified once only");
4719                 goto COMMAND_LOOP;
4720                 }
4721               dsn_ret = strcmpic(value, US"HDRS") == 0
4722                 ? dsn_ret_hdrs
4723                 : strcmpic(value, US"FULL") == 0
4724                 ? dsn_ret_full
4725                 : 0;
4726               DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4727               /* Check for invalid invalid value, and exit with error */
4728               if (dsn_ret == 0)
4729                 {
4730                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4731                   US"Value for RET is invalid");
4732                 goto COMMAND_LOOP;
4733                 }
4734               }
4735             break;
4736           case ENV_MAIL_OPT_ENVID:
4737             if (fl.dsn_advertised)
4738               {
4739               /* Check if the dsn envid has been already set */
4740               if (dsn_envid)
4741                 {
4742                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4743                   US"ENVID can be specified once only");
4744                 goto COMMAND_LOOP;
4745                 }
4746               dsn_envid = string_copy(value);
4747               DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4748               }
4749             break;
4750
4751           /* Handle the AUTH extension. If the value given is not "<>" and either
4752           the ACL says "yes" or there is no ACL but the sending host is
4753           authenticated, we set it up as the authenticated sender. However, if the
4754           authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4755           the condition is met. The value of AUTH is an xtext, which means that +,
4756           = and cntrl chars are coded in hex; however "<>" is unaffected by this
4757           coding. */
4758           case ENV_MAIL_OPT_AUTH:
4759             if (Ustrcmp(value, "<>") != 0)
4760               {
4761               int rc;
4762               uschar *ignore_msg;
4763
4764               if (auth_xtextdecode(value, &authenticated_sender) < 0)
4765                 {
4766                 /* Put back terminator overrides for error message */
4767                 value[-1] = '=';
4768                 name[-1] = ' ';
4769                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
4770                   US"invalid data for AUTH");
4771                 goto COMMAND_LOOP;
4772                 }
4773               if (!acl_smtp_mailauth)
4774                 {
4775                 ignore_msg = US"client not authenticated";
4776                 rc = sender_host_authenticated ? OK : FAIL;
4777                 }
4778               else
4779                 {
4780                 ignore_msg = US"rejected by ACL";
4781                 rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4782                   &user_msg, &log_msg);
4783                 }
4784
4785               switch (rc)
4786                 {
4787                 case OK:
4788                   if (authenticated_by == NULL ||
4789                       authenticated_by->mail_auth_condition == NULL ||
4790                       expand_check_condition(authenticated_by->mail_auth_condition,
4791                           authenticated_by->name, US"authenticator"))
4792                     break;     /* Accept the AUTH */
4793
4794                   ignore_msg = US"server_mail_auth_condition failed";
4795                   if (authenticated_id != NULL)
4796                     ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4797                       ignore_msg, authenticated_id);
4798
4799                 /* Fall through */
4800
4801                 case FAIL:
4802                   authenticated_sender = NULL;
4803                   log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4804                     value, host_and_ident(TRUE), ignore_msg);
4805                   break;
4806
4807                 /* Should only get DEFER or ERROR here. Put back terminator
4808                 overrides for error message */
4809
4810                 default:
4811                   value[-1] = '=';
4812                   name[-1] = ' ';
4813                   (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4814                     log_msg);
4815                   goto COMMAND_LOOP;
4816                 }
4817               }
4818               break;
4819
4820 #ifndef DISABLE_PRDR
4821           case ENV_MAIL_OPT_PRDR:
4822             if (prdr_enable)
4823               prdr_requested = TRUE;
4824             break;
4825 #endif
4826
4827 #ifdef SUPPORT_I18N
4828           case ENV_MAIL_OPT_UTF8:
4829             if (!fl.smtputf8_advertised)
4830               {
4831               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4832                 US"SMTPUTF8 used when not advertised");
4833               goto COMMAND_LOOP;
4834               }
4835
4836             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4837             message_smtputf8 = allow_utf8_domains = TRUE;
4838             if (Ustrncmp(received_protocol, US"utf8", 4) != 0)
4839               {
4840               int old_pool = store_pool;
4841               store_pool = POOL_PERM;
4842               received_protocol = string_sprintf("utf8%s", received_protocol);
4843               store_pool = old_pool;
4844               }
4845             break;
4846 #endif
4847
4848           /* No valid option. Stick back the terminator characters and break
4849           the loop.  Do the name-terminator second as extract_option sets
4850           value==name when it found no equal-sign.
4851           An error for a malformed address will occur. */
4852           case ENV_MAIL_OPT_NULL:
4853             value[-1] = '=';
4854             name[-1] = ' ';
4855             arg_error = TRUE;
4856             break;
4857
4858           default:  assert(0);
4859           }
4860         /* Break out of for loop if switch() had bad argument or
4861            when start of the email address is reached */
4862         if (arg_error) break;
4863         }
4864
4865       /* If we have passed the threshold for rate limiting, apply the current
4866       delay, and update it for next time, provided this is a limited host. */
4867
4868       if (smtp_mailcmd_count > smtp_rlm_threshold &&
4869           verify_check_host(&smtp_ratelimit_hosts) == OK)
4870         {
4871         DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4872           smtp_delay_mail/1000.0);
4873         millisleep((int)smtp_delay_mail);
4874         smtp_delay_mail *= smtp_rlm_factor;
4875         if (smtp_delay_mail > (double)smtp_rlm_limit)
4876           smtp_delay_mail = (double)smtp_rlm_limit;
4877         }
4878
4879       /* Now extract the address, first applying any SMTP-time rewriting. The
4880       TRUE flag allows "<>" as a sender address. */
4881
4882       raw_sender = rewrite_existflags & rewrite_smtp
4883         /* deconst ok as smtp_cmd_data was not const */
4884         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4885                       global_rewrite_rules)
4886         : smtp_cmd_data;
4887
4888       raw_sender =
4889         parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4890           TRUE);
4891
4892       if (!raw_sender)
4893         {
4894         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4895         break;
4896         }
4897
4898       sender_address = raw_sender;
4899
4900       /* If there is a configured size limit for mail, check that this message
4901       doesn't exceed it. The check is postponed to this point so that the sender
4902       can be logged. */
4903
4904       if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4905         {
4906         smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4907         log_write(L_size_reject,
4908             LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4909             "message too big: size%s=%d max=%d",
4910             sender_address,
4911             host_and_ident(TRUE),
4912             (message_size == INT_MAX)? ">" : "",
4913             message_size,
4914             thismessage_size_limit);
4915         sender_address = NULL;
4916         break;
4917         }
4918
4919       /* Check there is enough space on the disk unless configured not to.
4920       When smtp_check_spool_space is set, the check is for thismessage_size_limit
4921       plus the current message - i.e. we accept the message only if it won't
4922       reduce the space below the threshold. Add 5000 to the size to allow for
4923       overheads such as the Received: line and storing of recipients, etc.
4924       By putting the check here, even when SIZE is not given, it allow VRFY
4925       and EXPN etc. to be used when space is short. */
4926
4927       if (!receive_check_fs(
4928            smtp_check_spool_space && message_size >= 0
4929               ? message_size + 5000 : 0))
4930         {
4931         smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4932         sender_address = NULL;
4933         break;
4934         }
4935
4936       /* If sender_address is unqualified, reject it, unless this is a locally
4937       generated message, or the sending host or net is permitted to send
4938       unqualified addresses - typically local machines behaving as MUAs -
4939       in which case just qualify the address. The flag is set above at the start
4940       of the SMTP connection. */
4941
4942       if (!sender_domain && *sender_address)
4943         if (f.allow_unqualified_sender)
4944           {
4945           sender_domain = Ustrlen(sender_address) + 1;
4946           /* deconst ok as sender_address was not const */
4947           sender_address = US rewrite_address_qualify(sender_address, FALSE);
4948           DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4949             raw_sender);
4950           }
4951         else
4952           {
4953           smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4954             smtp_cmd_data);
4955           log_write(L_smtp_syntax_error,
4956             LOG_MAIN|LOG_REJECT,
4957             "unqualified sender rejected: <%s> %s%s",
4958             raw_sender,
4959             host_and_ident(TRUE),
4960             host_lookup_msg);
4961           sender_address = NULL;
4962           break;
4963           }
4964
4965       /* Apply an ACL check if one is defined, before responding. Afterwards,
4966       when pipelining is not advertised, do another sync check in case the ACL
4967       delayed and the client started sending in the meantime. */
4968
4969       if (acl_smtp_mail)
4970         {
4971         rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4972         if (rc == OK && !f.smtp_in_pipelining_advertised && !check_sync())
4973           goto SYNC_FAILURE;
4974         }
4975       else
4976         rc = OK;
4977
4978       if (rc == OK || rc == DISCARD)
4979         {
4980         BOOL more = pipeline_response();
4981
4982         if (!user_msg)
4983           smtp_printf("%s%s%s", more, US"250 OK",
4984                     #ifndef DISABLE_PRDR
4985                       prdr_requested ? US", PRDR Requested" : US"",
4986                     #else
4987                       US"",
4988                     #endif
4989                       US"\r\n");
4990         else
4991           {
4992         #ifndef DISABLE_PRDR
4993           if (prdr_requested)
4994              user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4995         #endif
4996           smtp_user_msg(US"250", user_msg);
4997           }
4998         smtp_delay_rcpt = smtp_rlr_base;
4999         f.recipients_discarded = (rc == DISCARD);
5000         was_rej_mail = FALSE;
5001         }
5002       else
5003         {
5004         done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
5005         sender_address = NULL;
5006         }
5007       break;
5008
5009
5010     /* The RCPT command requires an address as an operand. There may be any
5011     number of RCPT commands, specifying multiple recipients. We build them all
5012     into a data structure. The start/end values given by parse_extract_address
5013     are not used, as we keep only the extracted address. */
5014
5015     case RCPT_CMD:
5016       HAD(SCH_RCPT);
5017       /* We got really to many recipients. A check against configured
5018       limits is done later */
5019       if (rcpt_count < 0 || rcpt_count >= INT_MAX/2)
5020         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Too many recipients: %d", rcpt_count);
5021       rcpt_count++;
5022       was_rcpt = fl.rcpt_in_progress = TRUE;
5023
5024       /* There must be a sender address; if the sender was rejected and
5025       pipelining was advertised, we assume the client was pipelining, and do not
5026       count this as a protocol error. Reset was_rej_mail so that further RCPTs
5027       get the same treatment. */
5028
5029       if (sender_address == NULL)
5030         {
5031         if (f.smtp_in_pipelining_advertised && last_was_rej_mail)
5032           {
5033           smtp_printf("503 sender not yet given\r\n", FALSE);
5034           was_rej_mail = TRUE;
5035           }
5036         else
5037           {
5038           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5039             US"sender not yet given");
5040           was_rcpt = FALSE;             /* Not a valid RCPT */
5041           }
5042         rcpt_fail_count++;
5043         break;
5044         }
5045
5046       /* Check for an operand */
5047
5048       if (smtp_cmd_data[0] == 0)
5049         {
5050         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5051           US"RCPT must have an address operand");
5052         rcpt_fail_count++;
5053         break;
5054         }
5055
5056       /* Set the DSN flags orcpt and dsn_flags from the session*/
5057       orcpt = NULL;
5058       dsn_flags = 0;
5059
5060       if (fl.esmtp) for(;;)
5061         {
5062         uschar *name, *value;
5063
5064         if (!extract_option(&name, &value))
5065           break;
5066
5067         if (fl.dsn_advertised && strcmpic(name, US"ORCPT") == 0)
5068           {
5069           /* Check whether orcpt has been already set */
5070           if (orcpt)
5071             {
5072             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5073               US"ORCPT can be specified once only");
5074             goto COMMAND_LOOP;
5075             }
5076           orcpt = string_copy(value);
5077           DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
5078           }
5079
5080         else if (fl.dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
5081           {
5082           /* Check if the notify flags have been already set */
5083           if (dsn_flags > 0)
5084             {
5085             done = synprot_error(L_smtp_syntax_error, 501, NULL,
5086                 US"NOTIFY can be specified once only");
5087             goto COMMAND_LOOP;
5088             }
5089           if (strcmpic(value, US"NEVER") == 0)
5090             dsn_flags |= rf_notify_never;
5091           else
5092             {
5093             uschar *p = value;
5094             while (*p != 0)
5095               {
5096               uschar *pp = p;
5097               while (*pp != 0 && *pp != ',') pp++;
5098               if (*pp == ',') *pp++ = 0;
5099               if (strcmpic(p, US"SUCCESS") == 0)
5100                 {
5101                 DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
5102                 dsn_flags |= rf_notify_success;
5103                 }
5104               else if (strcmpic(p, US"FAILURE") == 0)
5105                 {
5106                 DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
5107                 dsn_flags |= rf_notify_failure;
5108                 }
5109               else if (strcmpic(p, US"DELAY") == 0)
5110                 {
5111                 DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
5112                 dsn_flags |= rf_notify_delay;
5113                 }
5114               else
5115                 {
5116                 /* Catch any strange values */
5117                 done = synprot_error(L_smtp_syntax_error, 501, NULL,
5118                   US"Invalid value for NOTIFY parameter");
5119                 goto COMMAND_LOOP;
5120                 }
5121               p = pp;
5122               }
5123               DEBUG(D_receive) debug_printf("DSN Flags: %x\n", dsn_flags);
5124             }
5125           }
5126
5127         /* Unknown option. Stick back the terminator characters and break
5128         the loop. An error for a malformed address will occur. */
5129
5130         else
5131           {
5132           DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
5133           name[-1] = ' ';
5134           value[-1] = '=';
5135           break;
5136           }
5137         }
5138
5139       /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
5140       as a recipient address */
5141
5142       recipient = rewrite_existflags & rewrite_smtp
5143         /* deconst ok as smtp_cmd_data was not const */
5144         ? US rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
5145             global_rewrite_rules)
5146         : smtp_cmd_data;
5147
5148       if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
5149         &recipient_domain, FALSE)))
5150         {
5151         done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
5152         rcpt_fail_count++;
5153         break;
5154         }
5155
5156       /* If the recipient address is unqualified, reject it, unless this is a
5157       locally generated message. However, unqualified addresses are permitted
5158       from a configured list of hosts and nets - typically when behaving as
5159       MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
5160       really. The flag is set at the start of the SMTP connection.
5161
5162       RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
5163       assumed this meant "reserved local part", but the revision of RFC 821 and
5164       friends now makes it absolutely clear that it means *mailbox*. Consequently
5165       we must always qualify this address, regardless. */
5166
5167       if (!recipient_domain)
5168         if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
5169                                     US"recipient")))
5170           {
5171           rcpt_fail_count++;
5172           break;
5173           }
5174
5175       /* Check maximum allowed */
5176
5177       if (rcpt_count+1 < 0 || rcpt_count > recipients_max && recipients_max > 0)
5178         {
5179         if (recipients_max_reject)
5180           {
5181           rcpt_fail_count++;
5182           smtp_printf("552 too many recipients\r\n", FALSE);
5183           if (!toomany)
5184             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
5185               "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
5186           }
5187         else
5188           {
5189           rcpt_defer_count++;
5190           smtp_printf("452 too many recipients\r\n", FALSE);
5191           if (!toomany)
5192             log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
5193               "temporarily rejected: sender=<%s> %s", sender_address,
5194               host_and_ident(TRUE));
5195           }
5196
5197         toomany = TRUE;
5198         break;
5199         }
5200
5201       /* If we have passed the threshold for rate limiting, apply the current
5202       delay, and update it for next time, provided this is a limited host. */
5203
5204       if (rcpt_count > smtp_rlr_threshold &&
5205           verify_check_host(&smtp_ratelimit_hosts) == OK)
5206         {
5207         DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
5208           smtp_delay_rcpt/1000.0);
5209         millisleep((int)smtp_delay_rcpt);
5210         smtp_delay_rcpt *= smtp_rlr_factor;
5211         if (smtp_delay_rcpt > (double)smtp_rlr_limit)
5212           smtp_delay_rcpt = (double)smtp_rlr_limit;
5213         }
5214
5215       /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
5216       for them. Otherwise, check the access control list for this recipient. As
5217       there may be a delay in this, re-check for a synchronization error
5218       afterwards, unless pipelining was advertised. */
5219
5220       if (f.recipients_discarded)
5221         rc = DISCARD;
5222       else
5223         if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
5224                       &log_msg)) == OK
5225            && !f.smtp_in_pipelining_advertised && !check_sync())
5226           goto SYNC_FAILURE;
5227
5228       /* The ACL was happy */
5229
5230       if (rc == OK)
5231         {
5232         BOOL more = pipeline_response();
5233
5234         if (user_msg)
5235           smtp_user_msg(US"250", user_msg);
5236         else
5237           smtp_printf("250 Accepted\r\n", more);
5238         receive_add_recipient(recipient, -1);
5239
5240         /* Set the dsn flags in the recipients_list */
5241         recipients_list[recipients_count-1].orcpt = orcpt;
5242         recipients_list[recipients_count-1].dsn_flags = dsn_flags;
5243
5244         /* DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5245           recipients_list[recipients_count-1].orcpt,
5246           recipients_list[recipients_count-1].dsn_flags); */
5247         }
5248
5249       /* The recipient was discarded */
5250
5251       else if (rc == DISCARD)
5252         {
5253         if (user_msg)
5254           smtp_user_msg(US"250", user_msg);
5255         else
5256           smtp_printf("250 Accepted\r\n", FALSE);
5257         rcpt_fail_count++;
5258         discarded = TRUE;
5259         log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5260           "discarded by %s ACL%s%s", host_and_ident(TRUE),
5261           sender_address_unrewritten ? sender_address_unrewritten : sender_address,
5262           smtp_cmd_argument, f.recipients_discarded ? "MAIL" : "RCPT",
5263           log_msg ? US": " : US"", log_msg ? log_msg : US"");
5264         }
5265
5266       /* Either the ACL failed the address, or it was deferred. */
5267
5268       else
5269         {
5270         if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5271         done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5272         }
5273       break;
5274
5275
5276     /* The DATA command is legal only if it follows successful MAIL FROM
5277     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5278     not counted as a protocol error if it follows RCPT (which must have been
5279     rejected if there are no recipients.) This function is complete when a
5280     valid DATA command is encountered.
5281
5282     Note concerning the code used: RFC 2821 says this:
5283
5284      -  If there was no MAIL, or no RCPT, command, or all such commands
5285         were rejected, the server MAY return a "command out of sequence"
5286         (503) or "no valid recipients" (554) reply in response to the
5287         DATA command.
5288
5289     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5290     because it is the same whether pipelining is in use or not.
5291
5292     If all the RCPT commands that precede DATA provoked the same error message
5293     (often indicating some kind of system error), it is helpful to include it
5294     with the DATA rejection (an idea suggested by Tony Finch). */
5295
5296     case BDAT_CMD:
5297       {
5298       int n;
5299
5300       HAD(SCH_BDAT);
5301       if (chunking_state != CHUNKING_OFFERED)
5302         {
5303         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5304           US"BDAT command used when CHUNKING not advertised");
5305         break;
5306         }
5307
5308       /* grab size, endmarker */
5309
5310       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5311         {
5312         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5313           US"missing size for BDAT command");
5314         break;
5315         }
5316       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5317         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5318       chunking_data_left = chunking_datasize;
5319       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5320                                     (int)chunking_state, chunking_data_left);
5321
5322       f.bdat_readers_wanted = TRUE;
5323       f.dot_ends = FALSE;
5324
5325       goto DATA_BDAT;
5326       }
5327
5328     case DATA_CMD:
5329       HAD(SCH_DATA);
5330       f.dot_ends = TRUE;
5331       f.bdat_readers_wanted = FALSE;
5332
5333     DATA_BDAT:          /* Common code for DATA and BDAT */
5334 #ifndef DISABLE_PIPE_CONNECT
5335       fl.pipe_connect_acceptable = FALSE;
5336 #endif
5337       if (!discarded && recipients_count <= 0)
5338         {
5339         if (fl.rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5340           {
5341           uschar *code = US"503";
5342           int len = Ustrlen(rcpt_smtp_response);
5343           smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5344             "this error:");
5345           /* Responses from smtp_printf() will have \r\n on the end */
5346           if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5347             rcpt_smtp_response[len-2] = 0;
5348           smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5349           }
5350         if (f.smtp_in_pipelining_advertised && last_was_rcpt)
5351           smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5352             smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5353         else
5354           done = synprot_error(L_smtp_protocol_error, 503, NULL,
5355             smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5356             ? US"valid RCPT command must precede DATA"
5357             : US"valid RCPT command must precede BDAT");
5358
5359         if (chunking_state > CHUNKING_OFFERED)
5360           {
5361           bdat_push_receive_functions();
5362           bdat_flush_data();
5363           }
5364         break;
5365         }
5366
5367       if (toomany && recipients_max_reject)
5368         {
5369         sender_address = NULL;  /* This will allow a new MAIL without RSET */
5370         sender_address_unrewritten = NULL;
5371         smtp_printf("554 Too many recipients\r\n", FALSE);
5372         break;
5373         }
5374
5375       if (chunking_state > CHUNKING_OFFERED)
5376         rc = OK;                        /* No predata ACL or go-ahead output for BDAT */
5377       else
5378         {
5379         /* If there is an ACL, re-check the synchronization afterwards, since the
5380         ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5381         to get the DATA command sent. */
5382
5383         if (acl_smtp_predata == NULL && cutthrough.cctx.sock < 0)
5384           rc = OK;
5385         else
5386           {
5387           uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5388           f.enable_dollar_recipients = TRUE;
5389           rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5390             &log_msg);
5391           f.enable_dollar_recipients = FALSE;
5392           if (rc == OK && !check_sync())
5393             goto SYNC_FAILURE;
5394
5395           if (rc != OK)
5396             {   /* Either the ACL failed the address, or it was deferred. */
5397             done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5398             break;
5399             }
5400           }
5401
5402         if (user_msg)
5403           smtp_user_msg(US"354", user_msg);
5404         else
5405           smtp_printf(
5406             "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5407         }
5408
5409       if (f.bdat_readers_wanted)
5410         bdat_push_receive_functions();
5411
5412 #ifdef TCP_QUICKACK
5413       if (smtp_in)      /* all ACKs needed to ramp window up for bulk data */
5414         (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5415                 US &on, sizeof(on));
5416 #endif
5417       done = 3;
5418       message_ended = END_NOTENDED;   /* Indicate in middle of data */
5419
5420       break;
5421
5422
5423     case VRFY_CMD:
5424       {
5425       uschar * address;
5426
5427       HAD(SCH_VRFY);
5428
5429       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5430             &start, &end, &recipient_domain, FALSE)))
5431         {
5432         smtp_printf("501 %s\r\n", FALSE, errmess);
5433         break;
5434         }
5435
5436       if (!recipient_domain)
5437         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5438                                     US"verify")))
5439           break;
5440
5441       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5442                     &user_msg, &log_msg)) != OK)
5443         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5444       else
5445         {
5446         uschar * s = NULL;
5447         address_item * addr = deliver_make_addr(address, FALSE);
5448
5449         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5450                -1, -1, NULL, NULL, NULL))
5451           {
5452           case OK:
5453             s = string_sprintf("250 <%s> is deliverable", address);
5454             break;
5455
5456           case DEFER:
5457             s = (addr->user_message != NULL)?
5458               string_sprintf("451 <%s> %s", address, addr->user_message) :
5459               string_sprintf("451 Cannot resolve <%s> at this time", address);
5460             break;
5461
5462           case FAIL:
5463             s = (addr->user_message != NULL)?
5464               string_sprintf("550 <%s> %s", address, addr->user_message) :
5465               string_sprintf("550 <%s> is not deliverable", address);
5466             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5467               smtp_cmd_argument, host_and_ident(TRUE));
5468             break;
5469           }
5470
5471         smtp_printf("%s\r\n", FALSE, s);
5472         }
5473       break;
5474       }
5475
5476
5477     case EXPN_CMD:
5478       HAD(SCH_EXPN);
5479       rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5480       if (rc != OK)
5481         done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5482       else
5483         {
5484         BOOL save_log_testing_mode = f.log_testing_mode;
5485         f.address_test_mode = f.log_testing_mode = TRUE;
5486         (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5487           smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5488           NULL, NULL, NULL);
5489         f.address_test_mode = FALSE;
5490         f.log_testing_mode = save_log_testing_mode;    /* true for -bh */
5491         }
5492       break;
5493
5494
5495     #ifndef DISABLE_TLS
5496
5497     case STARTTLS_CMD:
5498       HAD(SCH_STARTTLS);
5499       if (!fl.tls_advertised)
5500         {
5501         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5502           US"STARTTLS command used when not advertised");
5503         break;
5504         }
5505
5506       /* Apply an ACL check if one is defined */
5507
5508       if (  acl_smtp_starttls
5509          && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5510                     &user_msg, &log_msg)) != OK
5511          )
5512         {
5513         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5514         break;
5515         }
5516
5517       /* RFC 2487 is not clear on when this command may be sent, though it
5518       does state that all information previously obtained from the client
5519       must be discarded if a TLS session is started. It seems reasonable to
5520       do an implied RSET when STARTTLS is received. */
5521
5522       incomplete_transaction_log(US"STARTTLS");
5523       cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5524       reset_point = smtp_reset(reset_point);
5525       toomany = FALSE;
5526       cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5527
5528       /* There's an attack where more data is read in past the STARTTLS command
5529       before TLS is negotiated, then assumed to be part of the secure session
5530       when used afterwards; we use segregated input buffers, so are not
5531       vulnerable, but we want to note when it happens and, for sheer paranoia,
5532       ensure that the buffer is "wiped".
5533       Pipelining sync checks will normally have protected us too, unless disabled
5534       by configuration. */
5535
5536       if (receive_smtp_buffered())
5537         {
5538         DEBUG(D_any)
5539           debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5540         if (tls_in.active.sock < 0)
5541           smtp_inend = smtp_inptr = smtp_inbuffer;
5542         /* and if TLS is already active, tls_server_start() should fail */
5543         }
5544
5545       /* There is nothing we value in the input buffer and if TLS is successfully
5546       negotiated, we won't use this buffer again; if TLS fails, we'll just read
5547       fresh content into it.  The buffer contains arbitrary content from an
5548       untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5549       It seems safest to just wipe away the content rather than leave it as a
5550       target to jump to. */
5551
5552       memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5553
5554       /* Attempt to start up a TLS session, and if successful, discard all
5555       knowledge that was obtained previously. At least, that's what the RFC says,
5556       and that's what happens by default. However, in order to work round YAEB,
5557       there is an option to remember the esmtp state. Sigh.
5558
5559       We must allow for an extra EHLO command and an extra AUTH command after
5560       STARTTLS that don't add to the nonmail command count. */
5561
5562       s = NULL;
5563       if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5564         {
5565         if (!tls_remember_esmtp)
5566           fl.helo_seen = fl.esmtp = fl.auth_advertised = f.smtp_in_pipelining_advertised = FALSE;
5567         cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5568         cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5569         cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5570         if (sender_helo_name)
5571           {
5572           sender_helo_name = NULL;
5573           host_build_sender_fullhost();  /* Rebuild */
5574           set_process_info("handling incoming TLS connection from %s",
5575             host_and_ident(FALSE));
5576           }
5577         received_protocol =
5578           (sender_host_address ? protocols : protocols_local)
5579             [ (fl.esmtp
5580               ? pextend + (sender_host_authenticated ? pauthed : 0)
5581               : pnormal)
5582             + (tls_in.active.sock >= 0 ? pcrpted : 0)
5583             ];
5584
5585         sender_host_auth_pubname = sender_host_authenticated = NULL;
5586         authenticated_id = NULL;
5587         sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5588         DEBUG(D_tls) debug_printf("TLS active\n");
5589         break;     /* Successful STARTTLS */
5590         }
5591       else
5592         (void) smtp_log_tls_fail(s);
5593
5594       /* Some local configuration problem was discovered before actually trying
5595       to do a TLS handshake; give a temporary error. */
5596
5597       if (rc == DEFER)
5598         {
5599         smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5600         break;
5601         }
5602
5603       /* Hard failure. Reject everything except QUIT or closed connection. One
5604       cause for failure is a nested STARTTLS, in which case tls_in.active remains
5605       set, but we must still reject all incoming commands.  Another is a handshake
5606       failure - and there may some encrypted data still in the pipe to us, which we
5607       see as garbage commands. */
5608
5609       DEBUG(D_tls) debug_printf("TLS failed to start\n");
5610       while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5611         {
5612         case EOF_CMD:
5613           log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5614             smtp_get_connection_info());
5615           smtp_notquit_exit(US"tls-failed", NULL, NULL);
5616           done = 2;
5617           break;
5618
5619         /* It is perhaps arguable as to which exit ACL should be called here,
5620         but as it is probably a situation that almost never arises, it
5621         probably doesn't matter. We choose to call the real QUIT ACL, which in
5622         some sense is perhaps "right". */
5623
5624         case QUIT_CMD:
5625           user_msg = NULL;
5626           if (  acl_smtp_quit
5627              && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5628                                 &log_msg)) == ERROR))
5629               log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5630                 log_msg);
5631           if (user_msg)
5632             smtp_respond(US"221", 3, TRUE, user_msg);
5633           else
5634             smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5635           log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5636             smtp_get_connection_info());
5637           done = 2;
5638           break;
5639
5640         default:
5641           smtp_printf("554 Security failure\r\n", FALSE);
5642           break;
5643         }
5644       tls_close(NULL, TLS_SHUTDOWN_NOWAIT);
5645       break;
5646     #endif
5647
5648
5649     /* The ACL for QUIT is provided for gathering statistical information or
5650     similar; it does not affect the response code, but it can supply a custom
5651     message. */
5652
5653     case QUIT_CMD:
5654       smtp_quit_handler(&user_msg, &log_msg);
5655       done = 2;
5656       break;
5657
5658
5659     case RSET_CMD:
5660       smtp_rset_handler();
5661       cancel_cutthrough_connection(TRUE, US"RSET received");
5662       reset_point = smtp_reset(reset_point);
5663       toomany = FALSE;
5664       break;
5665
5666
5667     case NOOP_CMD:
5668       HAD(SCH_NOOP);
5669       smtp_printf("250 OK\r\n", FALSE);
5670       break;
5671
5672
5673     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5674     used, a check will be done for permitted hosts. Show STARTTLS only if not
5675     already in a TLS session and if it would be advertised in the EHLO
5676     response. */
5677
5678     case HELP_CMD:
5679       HAD(SCH_HELP);
5680       smtp_printf("214-Commands supported:\r\n", TRUE);
5681         {
5682         uschar buffer[256];
5683         buffer[0] = 0;
5684         Ustrcat(buffer, US" AUTH");
5685         #ifndef DISABLE_TLS
5686         if (tls_in.active.sock < 0 &&
5687             verify_check_host(&tls_advertise_hosts) != FAIL)
5688           Ustrcat(buffer, US" STARTTLS");
5689         #endif
5690         Ustrcat(buffer, US" HELO EHLO MAIL RCPT DATA BDAT");
5691         Ustrcat(buffer, US" NOOP QUIT RSET HELP");
5692         if (acl_smtp_etrn) Ustrcat(buffer, US" ETRN");
5693         if (acl_smtp_expn) Ustrcat(buffer, US" EXPN");
5694         if (acl_smtp_vrfy) Ustrcat(buffer, US" VRFY");
5695         smtp_printf("214%s\r\n", FALSE, buffer);
5696         }
5697       break;
5698
5699
5700     case EOF_CMD:
5701       incomplete_transaction_log(US"connection lost");
5702       smtp_notquit_exit(US"connection-lost", US"421",
5703         US"%s lost input connection", smtp_active_hostname);
5704
5705       /* Don't log by default unless in the middle of a message, as some mailers
5706       just drop the call rather than sending QUIT, and it clutters up the logs.
5707       */
5708
5709       if (sender_address || recipients_count > 0)
5710         log_write(L_lost_incoming_connection, LOG_MAIN,
5711           "unexpected %s while reading SMTP command from %s%s%s D=%s",
5712           f.sender_host_unknown ? "EOF" : "disconnection",
5713           f.tcp_in_fastopen_logged
5714           ? US""
5715           : f.tcp_in_fastopen
5716           ? f.tcp_in_fastopen_data ? US"TFO* " : US"TFO "
5717           : US"",
5718           host_and_ident(FALSE), smtp_read_error,
5719           string_timesince(&smtp_connection_start)
5720           );
5721
5722       else
5723         log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5724           smtp_get_connection_info(),
5725           f.tcp_in_fastopen && !f.tcp_in_fastopen_logged ? US"TFO " : US"",
5726           smtp_read_error,
5727           string_timesince(&smtp_connection_start)
5728           );
5729
5730       done = 1;
5731       break;
5732
5733
5734     case ETRN_CMD:
5735       HAD(SCH_ETRN);
5736       if (sender_address)
5737         {
5738         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5739           US"ETRN is not permitted inside a transaction");
5740         break;
5741         }
5742
5743       log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5744         host_and_ident(FALSE));
5745
5746       if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5747                   &user_msg, &log_msg)) != OK)
5748         {
5749         done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5750         break;
5751         }
5752
5753       /* Compute the serialization key for this command. */
5754
5755       etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5756
5757       /* If a command has been specified for running as a result of ETRN, we
5758       permit any argument to ETRN. If not, only the # standard form is permitted,
5759       since that is strictly the only kind of ETRN that can be implemented
5760       according to the RFC. */
5761
5762       if (smtp_etrn_command)
5763         {
5764         uschar *error;
5765         BOOL rc;
5766         etrn_command = smtp_etrn_command;
5767         deliver_domain = smtp_cmd_data;
5768         rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5769           US"ETRN processing", &error);
5770         deliver_domain = NULL;
5771         if (!rc)
5772           {
5773           log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5774             error);
5775           smtp_printf("458 Internal failure\r\n", FALSE);
5776           break;
5777           }
5778         }
5779
5780       /* Else set up to call Exim with the -R option. */
5781
5782       else
5783         {
5784         if (*smtp_cmd_data++ != '#')
5785           {
5786           done = synprot_error(L_smtp_syntax_error, 501, NULL,
5787             US"argument must begin with #");
5788           break;
5789           }
5790         etrn_command = US"exim -R";
5791         argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5792           *queue_name ? 4 : 2,
5793           US"-R", smtp_cmd_data,
5794           US"-MCG", queue_name);
5795         }
5796
5797       /* If we are host-testing, don't actually do anything. */
5798
5799       if (host_checking)
5800         {
5801         HDEBUG(D_any)
5802           {
5803           debug_printf("ETRN command is: %s\n", etrn_command);
5804           debug_printf("ETRN command execution skipped\n");
5805           }
5806         if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5807           else smtp_user_msg(US"250", user_msg);
5808         break;
5809         }
5810
5811
5812       /* If ETRN queue runs are to be serialized, check the database to
5813       ensure one isn't already running. */
5814
5815       if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5816         {
5817         smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5818         break;
5819         }
5820
5821       /* Fork a child process and run the command. We don't want to have to
5822       wait for the process at any point, so set SIGCHLD to SIG_IGN before
5823       forking. It should be set that way anyway for external incoming SMTP,
5824       but we save and restore to be tidy. If serialization is required, we
5825       actually run the command in yet another process, so we can wait for it
5826       to complete and then remove the serialization lock. */
5827
5828       oldsignal = signal(SIGCHLD, SIG_IGN);
5829
5830       if ((pid = exim_fork(US"etrn-command")) == 0)
5831         {
5832         smtp_input = FALSE;       /* This process is not associated with the */
5833         (void)fclose(smtp_in);    /* SMTP call any more. */
5834         (void)fclose(smtp_out);
5835
5836         signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5837
5838         /* If not serializing, do the exec right away. Otherwise, fork down
5839         into another process. */
5840
5841         if (  !smtp_etrn_serialize 
5842            || (pid = exim_fork(US"etrn-serialised-command")) == 0)
5843           {
5844           DEBUG(D_exec) debug_print_argv(argv);
5845           exim_nullstd();                   /* Ensure std{in,out,err} exist */
5846           execv(CS argv[0], (char *const *)argv);
5847           log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5848             etrn_command, strerror(errno));
5849           _exit(EXIT_FAILURE);         /* paranoia */
5850           }
5851
5852         /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5853         is, we are in the first subprocess, after forking again. All we can do
5854         for a failing fork is to log it. Otherwise, wait for the 2nd process to
5855         complete, before removing the serialization. */
5856
5857         if (pid < 0)
5858           log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5859             "failed: %s", strerror(errno));
5860         else
5861           {
5862           int status;
5863           DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5864             (int)pid);
5865           (void)wait(&status);
5866           DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5867             (int)pid);
5868           }
5869
5870         enq_end(etrn_serialize_key);
5871         exim_underbar_exit(EXIT_SUCCESS);
5872         }
5873
5874       /* Back in the top level SMTP process. Check that we started a subprocess
5875       and restore the signal state. */
5876
5877       if (pid < 0)
5878         {
5879         log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5880           strerror(errno));
5881         smtp_printf("458 Unable to fork process\r\n", FALSE);
5882         if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5883         }
5884       else
5885         if (!user_msg)
5886           smtp_printf("250 OK\r\n", FALSE);
5887         else
5888           smtp_user_msg(US"250", user_msg);
5889
5890       signal(SIGCHLD, oldsignal);
5891       break;
5892
5893
5894     case BADARG_CMD:
5895       done = synprot_error(L_smtp_syntax_error, 501, NULL,
5896         US"unexpected argument data");
5897       break;
5898
5899
5900     /* This currently happens only for NULLs, but could be extended. */
5901
5902     case BADCHAR_CMD:
5903       done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5904         US"NUL character(s) present (shown as '?')");
5905       smtp_printf("501 NUL characters are not allowed in SMTP commands\r\n",
5906                   FALSE);
5907       break;
5908
5909
5910     case BADSYN_CMD:
5911     SYNC_FAILURE:
5912       if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5913         smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5914       c = smtp_inend - smtp_inptr;
5915       if (c > 150) c = 150;     /* limit logged amount */
5916       smtp_inptr[c] = 0;
5917       incomplete_transaction_log(US"sync failure");
5918       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5919         "(next input sent too soon: pipelining was%s advertised): "
5920         "rejected \"%s\" %s next input=\"%s\"",
5921         f.smtp_in_pipelining_advertised ? "" : " not",
5922         smtp_cmd_buffer, host_and_ident(TRUE),
5923         string_printing(smtp_inptr));
5924       smtp_notquit_exit(US"synchronization-error", US"554",
5925         US"SMTP synchronization error");
5926       done = 1;   /* Pretend eof - drops connection */
5927       break;
5928
5929
5930     case TOO_MANY_NONMAIL_CMD:
5931       s = smtp_cmd_buffer;
5932       while (*s != 0 && !isspace(*s)) s++;
5933       incomplete_transaction_log(US"too many non-mail commands");
5934       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5935         "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5936         (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5937       smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5938       done = 1;   /* Pretend eof - drops connection */
5939       break;
5940
5941 #ifdef SUPPORT_PROXY
5942     case PROXY_FAIL_IGNORE_CMD:
5943       smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5944       break;
5945 #endif
5946
5947     default:
5948       if (unknown_command_count++ >= smtp_max_unknown_commands)
5949         {
5950         log_write(L_smtp_syntax_error, LOG_MAIN,
5951           "SMTP syntax error in \"%s\" %s %s",
5952           string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5953           US"unrecognized command");
5954         incomplete_transaction_log(US"unrecognized command");
5955         smtp_notquit_exit(US"bad-commands", US"500",
5956           US"Too many unrecognized commands");
5957         done = 2;
5958         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5959           "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5960           string_printing(smtp_cmd_buffer));
5961         }
5962       else
5963         done = synprot_error(L_smtp_syntax_error, 500, NULL,
5964           US"unrecognized command");
5965       break;
5966     }
5967
5968   /* This label is used by goto's inside loops that want to break out to
5969   the end of the command-processing loop. */
5970
5971   COMMAND_LOOP:
5972   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5973   last_was_rcpt = was_rcpt;             /* protocol error handling */
5974   continue;
5975   }
5976
5977 return done - 2;  /* Convert yield values */
5978 }
5979
5980
5981
5982 gstring *
5983 authres_smtpauth(gstring * g)
5984 {
5985 if (!sender_host_authenticated)
5986   return g;
5987
5988 g = string_append(g, 2, US";\n\tauth=pass (", sender_host_auth_pubname);
5989
5990 if (Ustrcmp(sender_host_auth_pubname, "tls") == 0)
5991   g = authenticated_id
5992     ? string_append(g, 2, US") x509.auth=", authenticated_id)
5993     : string_cat(g, US") reason=x509.auth");
5994 else
5995   g = authenticated_id
5996     ? string_append(g, 2, US") smtp.auth=", authenticated_id)
5997     : string_cat(g, US", no id saved)");
5998
5999 if (authenticated_sender)
6000   g = string_append(g, 2, US" smtp.mailfrom=", authenticated_sender);
6001 return g;
6002 }
6003
6004
6005
6006 /* vi: aw ai sw=2
6007 */
6008 /* End of smtp_in.c */