b5839f5443f75c2e023132d72c77af970cd00709
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2017 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static auth_instance *authenticated_by;
135 static BOOL auth_advertised;
136 #ifdef SUPPORT_TLS
137 static BOOL tls_advertised;
138 #endif
139 static BOOL dsn_advertised;
140 static BOOL esmtp;
141 static BOOL helo_required = FALSE;
142 static BOOL helo_verify = FALSE;
143 static BOOL helo_seen;
144 static BOOL helo_accept_junk;
145 static BOOL count_nonmail;
146 static BOOL pipelining_advertised;
147 static BOOL rcpt_smtp_response_same;
148 static BOOL rcpt_in_progress;
149 static int  nonmail_command_count;
150 static BOOL smtp_exit_function_called = 0;
151 #ifdef SUPPORT_I18N
152 static BOOL smtputf8_advertised;
153 #endif
154 static int  synprot_error_count;
155 static int  unknown_command_count;
156 static int  sync_cmd_limit;
157 static int  smtp_write_error = 0;
158
159 static uschar *rcpt_smtp_response;
160 static uschar *smtp_data_buffer;
161 static uschar *smtp_cmd_data;
162
163 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
164 final fields of all except AUTH are forced TRUE at the start of a new message
165 setup, to allow one of each between messages that is not counted as a nonmail
166 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
167 allow a new EHLO after starting up TLS.
168
169 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
170 counted. However, the flag is changed when AUTH is received, so that multiple
171 failing AUTHs will eventually hit the limit. After a successful AUTH, another
172 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
173 forced TRUE, to allow for the re-authentication that can happen at that point.
174
175 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
176 count of non-mail commands and possibly provoke an error.
177
178 tls_auth is a pseudo-command, never expected in input.  It is activated
179 on TLS startup and looks for a tls authenticator. */
180
181 static smtp_cmd_list cmd_list[] = {
182   /* name         len                     cmd     has_arg is_mail_cmd */
183
184   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
185   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
186   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
187   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
188   #ifdef SUPPORT_TLS
189   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
190   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
191   #endif
192
193 /* If you change anything above here, also fix the definitions below. */
194
195   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
196   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
197   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
198   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
199   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
200   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
201   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
202   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
203   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
204   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
205 };
206
207 static smtp_cmd_list *cmd_list_end =
208   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
209
210 #define CMD_LIST_RSET      0
211 #define CMD_LIST_HELO      1
212 #define CMD_LIST_EHLO      2
213 #define CMD_LIST_AUTH      3
214 #define CMD_LIST_STARTTLS  4
215 #define CMD_LIST_TLS_AUTH  5
216
217 /* This list of names is used for performing the smtp_no_mail logging action.
218 It must be kept in step with the SCH_xxx enumerations. */
219
220 static uschar *smtp_names[] =
221   {
222   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
223   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
224   US"STARTTLS", US"VRFY" };
225
226 static uschar *protocols_local[] = {
227   US"local-smtp",        /* HELO */
228   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
229   US"local-esmtp",       /* EHLO */
230   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
231   US"local-esmtpa",      /* EHLO->AUTH */
232   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
233   };
234 static uschar *protocols[] = {
235   US"smtp",              /* HELO */
236   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
237   US"esmtp",             /* EHLO */
238   US"esmtps",            /* EHLO->STARTTLS->EHLO */
239   US"esmtpa",            /* EHLO->AUTH */
240   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
241   };
242
243 #define pnormal  0
244 #define pextend  2
245 #define pcrpted  1  /* added to pextend or pnormal */
246 #define pauthed  2  /* added to pextend */
247
248 /* Sanity check and validate optional args to MAIL FROM: envelope */
249 enum {
250   ENV_MAIL_OPT_NULL,
251   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
252 #ifndef DISABLE_PRDR
253   ENV_MAIL_OPT_PRDR,
254 #endif
255   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
256 #ifdef SUPPORT_I18N
257   ENV_MAIL_OPT_UTF8,
258 #endif
259   };
260 typedef struct {
261   uschar *   name;  /* option requested during MAIL cmd */
262   int       value;  /* enum type */
263   BOOL need_value;  /* TRUE requires value (name=value pair format)
264                        FALSE is a singleton */
265   } env_mail_type_t;
266 static env_mail_type_t env_mail_type_list[] = {
267     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
268     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
269     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
270 #ifndef DISABLE_PRDR
271     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
272 #endif
273     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
274     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
275 #ifdef SUPPORT_I18N
276     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
277 #endif
278     /* keep this the last entry */
279     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
280   };
281
282 /* When reading SMTP from a remote host, we have to use our own versions of the
283 C input-reading functions, in order to be able to flush the SMTP output only
284 when about to read more data from the socket. This is the only way to get
285 optimal performance when the client is using pipelining. Flushing for every
286 command causes a separate packet and reply packet each time; saving all the
287 responses up (when pipelining) combines them into one packet and one response.
288
289 For simplicity, these functions are used for *all* SMTP input, not only when
290 receiving over a socket. However, after setting up a secure socket (SSL), input
291 is read via the OpenSSL library, and another set of functions is used instead
292 (see tls.c).
293
294 These functions are set in the receive_getc etc. variables and called with the
295 same interface as the C functions. However, since there can only ever be
296 one incoming SMTP call, we just use a single buffer and flags. There is no need
297 to implement a complicated private FILE-like structure.*/
298
299 static uschar *smtp_inbuffer;
300 static uschar *smtp_inptr;
301 static uschar *smtp_inend;
302 static int     smtp_had_eof;
303 static int     smtp_had_error;
304
305
306 /* forward declarations */
307 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
308 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
309 static void smtp_quit_handler(uschar **, uschar **);
310 static void smtp_rset_handler(void);
311
312 /*************************************************
313 *          Recheck synchronization               *
314 *************************************************/
315
316 /* Synchronization checks can never be perfect because a packet may be on its
317 way but not arrived when the check is done.  Normally, the checks happen when
318 commands are read: Exim ensures that there is no more input in the input buffer.
319 In normal cases, the response to the command will be fast, and there is no
320 further check.
321
322 However, for some commands an ACL is run, and that can include delays. In those
323 cases, it is useful to do another check on the input just before sending the
324 response. This also applies at the start of a connection. This function does
325 that check by means of the select() function, as long as the facility is not
326 disabled or inappropriate. A failure of select() is ignored.
327
328 When there is unwanted input, we read it so that it appears in the log of the
329 error.
330
331 Arguments: none
332 Returns:   TRUE if all is well; FALSE if there is input pending
333 */
334
335 static BOOL
336 wouldblock_reading(void)
337 {
338 int fd, rc;
339 fd_set fds;
340 struct timeval tzero;
341
342 #ifdef SUPPORT_TLS
343 if (tls_in.active >= 0)
344  return !tls_could_read();
345 #endif
346
347 if (smtp_inptr < smtp_inend)
348   return FALSE;
349
350 fd = fileno(smtp_in);
351 FD_ZERO(&fds);
352 FD_SET(fd, &fds);
353 tzero.tv_sec = 0;
354 tzero.tv_usec = 0;
355 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
356
357 if (rc <= 0) return TRUE;     /* Not ready to read */
358 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
359 if (rc < 0) return TRUE;      /* End of file or error */
360
361 smtp_ungetc(rc);
362 rc = smtp_inend - smtp_inptr;
363 if (rc > 150) rc = 150;
364 smtp_inptr[rc] = 0;
365 return FALSE;
366 }
367
368 static BOOL
369 check_sync(void)
370 {
371 if (!smtp_enforce_sync || sender_host_address == NULL || sender_host_notsocket)
372   return TRUE;
373
374 return wouldblock_reading();
375 }
376
377
378 /* If there's input waiting (and we're doing pipelineing) then we can pipeline
379 a reponse with the one following. */
380
381 static BOOL
382 pipeline_response(void)
383 {
384 if (  !smtp_enforce_sync || !sender_host_address
385    || sender_host_notsocket || !pipelining_advertised)
386   return FALSE;
387
388 return !wouldblock_reading();
389 }
390
391
392
393 /*************************************************
394 *          Log incomplete transactions           *
395 *************************************************/
396
397 /* This function is called after a transaction has been aborted by RSET, QUIT,
398 connection drops or other errors. It logs the envelope information received
399 so far in order to preserve address verification attempts.
400
401 Argument:   string to indicate what aborted the transaction
402 Returns:    nothing
403 */
404
405 static void
406 incomplete_transaction_log(uschar *what)
407 {
408 if (sender_address == NULL ||                 /* No transaction in progress */
409     !LOGGING(smtp_incomplete_transaction))
410   return;
411
412 /* Build list of recipients for logging */
413
414 if (recipients_count > 0)
415   {
416   int i;
417   raw_recipients = store_get(recipients_count * sizeof(uschar *));
418   for (i = 0; i < recipients_count; i++)
419     raw_recipients[i] = recipients_list[i].address;
420   raw_recipients_count = recipients_count;
421   }
422
423 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
424   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
425 }
426
427
428
429
430 /* Refill the buffer, and notify DKIM verification code.
431 Return false for error or EOF.
432 */
433
434 static BOOL
435 smtp_refill(unsigned lim)
436 {
437 int rc, save_errno;
438 if (!smtp_out) return FALSE;
439 fflush(smtp_out);
440 if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
441
442 /* Limit amount read, so non-message data is not fed to DKIM */
443
444 rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE, lim));
445 save_errno = errno;
446 alarm(0);
447 if (rc <= 0)
448   {
449   /* Must put the error text in fixed store, because this might be during
450   header reading, where it releases unused store above the header. */
451   if (rc < 0)
452     {
453     smtp_had_error = save_errno;
454     smtp_read_error = string_copy_malloc(
455       string_sprintf(" (error: %s)", strerror(save_errno)));
456     }
457   else smtp_had_eof = 1;
458   return FALSE;
459   }
460 #ifndef DISABLE_DKIM
461 dkim_exim_verify_feed(smtp_inbuffer, rc);
462 #endif
463 smtp_inend = smtp_inbuffer + rc;
464 smtp_inptr = smtp_inbuffer;
465 return TRUE;
466 }
467
468 /*************************************************
469 *          SMTP version of getc()                *
470 *************************************************/
471
472 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
473 it flushes the output, and refills the buffer, with a timeout. The signal
474 handler is set appropriately by the calling function. This function is not used
475 after a connection has negotiated itself into an TLS/SSL state.
476
477 Arguments:  lim         Maximum amount to read/buffer
478 Returns:    the next character or EOF
479 */
480
481 int
482 smtp_getc(unsigned lim)
483 {
484 if (smtp_inptr >= smtp_inend)
485   if (!smtp_refill(lim))
486     return EOF;
487 return *smtp_inptr++;
488 }
489
490 uschar *
491 smtp_getbuf(unsigned * len)
492 {
493 unsigned size;
494 uschar * buf;
495
496 if (smtp_inptr >= smtp_inend)
497   if (!smtp_refill(*len))
498     { *len = 0; return NULL; }
499
500 if ((size = smtp_inend - smtp_inptr) > *len) size = *len;
501 buf = smtp_inptr;
502 smtp_inptr += size;
503 *len = size;
504 return buf;
505 }
506
507 void
508 smtp_get_cache(void)
509 {
510 #ifndef DISABLE_DKIM
511 int n = smtp_inend - smtp_inptr;
512 if (n > 0)
513   dkim_exim_verify_feed(smtp_inptr, n);
514 #endif
515 }
516
517
518 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
519 previous BDAT chunk and getting new ones when we run out.  Uses the
520 underlying smtp_getc or tls_getc both for that and for getting the
521 (buffered) data byte.  EOD signals (an expected) no further data.
522 ERR signals a protocol error, and EOF a closed input stream.
523
524 Called from read_bdat_smtp() in receive.c for the message body, but also
525 by the headers read loop in receive_msg(); manipulates chunking_state
526 to handle the BDAT command/response.
527 Placed here due to the correlation with the above smtp_getc(), which it wraps,
528 and also by the need to do smtp command/response handling.
529
530 Arguments:  lim         (ignored)
531 Returns:    the next character or ERR, EOD or EOF
532 */
533
534 int
535 bdat_getc(unsigned lim)
536 {
537 uschar * user_msg = NULL;
538 uschar * log_msg;
539
540 for(;;)
541   {
542 #ifndef DISABLE_DKIM
543   BOOL dkim_save;
544 #endif
545
546   if (chunking_data_left > 0)
547     return lwr_receive_getc(chunking_data_left--);
548
549   receive_getc = lwr_receive_getc;
550   receive_getbuf = lwr_receive_getbuf;
551   receive_ungetc = lwr_receive_ungetc;
552 #ifndef DISABLE_DKIM
553   dkim_save = dkim_collect_input;
554   dkim_collect_input = FALSE;
555 #endif
556
557   /* Unless PIPELINING was offered, there should be no next command
558   until after we ack that chunk */
559
560   if (!pipelining_advertised && !check_sync())
561     {
562     unsigned n = smtp_inend - smtp_inptr;
563     if (n > 32) n = 32;
564
565     incomplete_transaction_log(US"sync failure");
566     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
567       "(next input sent too soon: pipelining was not advertised): "
568       "rejected \"%s\" %s next input=\"%s\"%s",
569       smtp_cmd_buffer, host_and_ident(TRUE),
570       string_printing(string_copyn(smtp_inptr, n)),
571       smtp_inend - smtp_inptr > n ? "..." : "");
572     (void) synprot_error(L_smtp_protocol_error, 554, NULL,
573       US"SMTP synchronization error");
574     goto repeat_until_rset;
575     }
576
577   /* If not the last, ack the received chunk.  The last response is delayed
578   until after the data ACL decides on it */
579
580   if (chunking_state == CHUNKING_LAST)
581     {
582 #ifndef DISABLE_DKIM
583     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
584 #endif
585     return EOD;
586     }
587
588   smtp_printf("250 %u byte chunk received\r\n", FALSE, chunking_datasize);
589   chunking_state = CHUNKING_OFFERED;
590   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
591
592   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
593   QUIT, RSET or NOOP but handling them seems obvious */
594
595 next_cmd:
596   switch(smtp_read_command(TRUE, 1))
597     {
598     default:
599       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
600         US"only BDAT permissible after non-LAST BDAT");
601
602   repeat_until_rset:
603       switch(smtp_read_command(TRUE, 1))
604         {
605         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
606         case EOF_CMD:   return EOF;
607         case RSET_CMD:  smtp_rset_handler(); return ERR;
608         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
609                                           US"only RSET accepted now") > 0)
610                           return EOF;
611                         goto repeat_until_rset;
612         }
613
614     case QUIT_CMD:
615       smtp_quit_handler(&user_msg, &log_msg);
616       /*FALLTHROUGH*/
617     case EOF_CMD:
618       return EOF;
619
620     case RSET_CMD:
621       smtp_rset_handler();
622       return ERR;
623
624     case NOOP_CMD:
625       HAD(SCH_NOOP);
626       smtp_printf("250 OK\r\n", FALSE);
627       goto next_cmd;
628
629     case BDAT_CMD:
630       {
631       int n;
632
633       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
634         {
635         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
636           US"missing size for BDAT command");
637         return ERR;
638         }
639       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
640         ? CHUNKING_LAST : CHUNKING_ACTIVE;
641       chunking_data_left = chunking_datasize;
642       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
643                                     (int)chunking_state, chunking_data_left);
644
645       if (chunking_datasize == 0)
646         if (chunking_state == CHUNKING_LAST)
647           return EOD;
648         else
649           {
650           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
651             US"zero size for BDAT command");
652           goto repeat_until_rset;
653           }
654
655       receive_getc = bdat_getc;
656       receive_getbuf = bdat_getbuf;
657       receive_ungetc = bdat_ungetc;
658 #ifndef DISABLE_DKIM
659       dkim_collect_input = dkim_save;
660 #endif
661       break;    /* to top of main loop */
662       }
663     }
664   }
665 }
666
667 uschar *
668 bdat_getbuf(unsigned * len)
669 {
670 uschar * buf;
671
672 if (chunking_data_left <= 0)
673   { *len = 0; return NULL; }
674
675 if (*len > chunking_data_left) *len = chunking_data_left;
676 buf = lwr_receive_getbuf(len);  /* Either smtp_getbuf or tls_getbuf */
677 chunking_data_left -= *len;
678 return buf;
679 }
680
681 void
682 bdat_flush_data(void)
683 {
684 unsigned n = chunking_data_left;
685 (void) bdat_getbuf(&n);
686
687 receive_getc = lwr_receive_getc;
688 receive_getbuf = lwr_receive_getbuf;
689 receive_ungetc = lwr_receive_ungetc;
690
691 if (chunking_state != CHUNKING_LAST)
692   {
693   chunking_state = CHUNKING_OFFERED;
694   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
695   }
696 }
697
698
699
700
701 /*************************************************
702 *          SMTP version of ungetc()              *
703 *************************************************/
704
705 /* Puts a character back in the input buffer. Only ever
706 called once.
707
708 Arguments:
709   ch           the character
710
711 Returns:       the character
712 */
713
714 int
715 smtp_ungetc(int ch)
716 {
717 *--smtp_inptr = ch;
718 return ch;
719 }
720
721
722 int
723 bdat_ungetc(int ch)
724 {
725 chunking_data_left++;
726 return lwr_receive_ungetc(ch);
727 }
728
729
730
731 /*************************************************
732 *          SMTP version of feof()                *
733 *************************************************/
734
735 /* Tests for a previous EOF
736
737 Arguments:     none
738 Returns:       non-zero if the eof flag is set
739 */
740
741 int
742 smtp_feof(void)
743 {
744 return smtp_had_eof;
745 }
746
747
748
749
750 /*************************************************
751 *          SMTP version of ferror()              *
752 *************************************************/
753
754 /* Tests for a previous read error, and returns with errno
755 restored to what it was when the error was detected.
756
757 Arguments:     none
758 Returns:       non-zero if the error flag is set
759 */
760
761 int
762 smtp_ferror(void)
763 {
764 errno = smtp_had_error;
765 return smtp_had_error;
766 }
767
768
769
770 /*************************************************
771 *      Test for characters in the SMTP buffer    *
772 *************************************************/
773
774 /* Used at the end of a message
775
776 Arguments:     none
777 Returns:       TRUE/FALSE
778 */
779
780 BOOL
781 smtp_buffered(void)
782 {
783 return smtp_inptr < smtp_inend;
784 }
785
786
787
788 /*************************************************
789 *     Write formatted string to SMTP channel     *
790 *************************************************/
791
792 /* This is a separate function so that we don't have to repeat everything for
793 TLS support or debugging. It is global so that the daemon and the
794 authentication functions can use it. It does not return any error indication,
795 because major problems such as dropped connections won't show up till an output
796 flush for non-TLS connections. The smtp_fflush() function is available for
797 checking that: for convenience, TLS output errors are remembered here so that
798 they are also picked up later by smtp_fflush().
799
800 Arguments:
801   format      format string
802   more        further data expected
803   ...         optional arguments
804
805 Returns:      nothing
806 */
807
808 void
809 smtp_printf(const char *format, BOOL more, ...)
810 {
811 va_list ap;
812
813 va_start(ap, more);
814 smtp_vprintf(format, more, ap);
815 va_end(ap);
816 }
817
818 /* This is split off so that verify.c:respond_printf() can, in effect, call
819 smtp_printf(), bearing in mind that in C a vararg function can't directly
820 call another vararg function, only a function which accepts a va_list. */
821
822 void
823 smtp_vprintf(const char *format, BOOL more, va_list ap)
824 {
825 BOOL yield;
826
827 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
828
829 DEBUG(D_receive)
830   {
831   void *reset_point = store_get(0);
832   uschar *msg_copy, *cr, *end;
833   msg_copy = string_copy(big_buffer);
834   end = msg_copy + Ustrlen(msg_copy);
835   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
836   memmove(cr, cr + 1, (end--) - cr);
837   debug_printf("SMTP>> %s", msg_copy);
838   store_reset(reset_point);
839   }
840
841 if (!yield)
842   {
843   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
844   smtp_closedown(US"Unexpected error");
845   exim_exit(EXIT_FAILURE);
846   }
847
848 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
849 have had the same. Note: this code is also present in smtp_respond(). It would
850 be tidier to have it only in one place, but when it was added, it was easier to
851 do it that way, so as not to have to mess with the code for the RCPT command,
852 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
853
854 if (rcpt_in_progress)
855   {
856   if (rcpt_smtp_response == NULL)
857     rcpt_smtp_response = string_copy(big_buffer);
858   else if (rcpt_smtp_response_same &&
859            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
860     rcpt_smtp_response_same = FALSE;
861   rcpt_in_progress = FALSE;
862   }
863
864 /* Now write the string */
865
866 #ifdef SUPPORT_TLS
867 if (tls_in.active >= 0)
868   {
869   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer), more) < 0)
870     smtp_write_error = -1;
871   }
872 else
873 #endif
874
875 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
876 }
877
878
879
880 /*************************************************
881 *        Flush SMTP out and check for error      *
882 *************************************************/
883
884 /* This function isn't currently used within Exim (it detects errors when it
885 tries to read the next SMTP input), but is available for use in local_scan().
886 For non-TLS connections, it flushes the output and checks for errors. For
887 TLS-connections, it checks for a previously-detected TLS write error.
888
889 Arguments:  none
890 Returns:    0 for no error; -1 after an error
891 */
892
893 int
894 smtp_fflush(void)
895 {
896 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
897 return smtp_write_error;
898 }
899
900
901
902 /*************************************************
903 *          SMTP command read timeout             *
904 *************************************************/
905
906 /* Signal handler for timing out incoming SMTP commands. This attempts to
907 finish off tidily.
908
909 Argument: signal number (SIGALRM)
910 Returns:  nothing
911 */
912
913 static void
914 command_timeout_handler(int sig)
915 {
916 sig = sig;    /* Keep picky compilers happy */
917 log_write(L_lost_incoming_connection,
918           LOG_MAIN, "SMTP command timeout on%s connection from %s",
919           (tls_in.active >= 0)? " TLS" : "",
920           host_and_ident(FALSE));
921 if (smtp_batched_input)
922   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
923 smtp_notquit_exit(US"command-timeout", US"421",
924   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
925 exim_exit(EXIT_FAILURE);
926 }
927
928
929
930 /*************************************************
931 *               SIGTERM received                 *
932 *************************************************/
933
934 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
935
936 Argument: signal number (SIGTERM)
937 Returns:  nothing
938 */
939
940 static void
941 command_sigterm_handler(int sig)
942 {
943 sig = sig;    /* Keep picky compilers happy */
944 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
945 if (smtp_batched_input)
946   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
947 smtp_notquit_exit(US"signal-exit", US"421",
948   US"%s: Service not available - closing connection", smtp_active_hostname);
949 exim_exit(EXIT_FAILURE);
950 }
951
952
953
954
955 #ifdef SUPPORT_PROXY
956 /*************************************************
957 *     Restore socket timeout to previous value   *
958 *************************************************/
959 /* If the previous value was successfully retrieved, restore
960 it before returning control to the non-proxy routines
961
962 Arguments: fd     - File descriptor for input
963            get_ok - Successfully retrieved previous values
964            tvtmp  - Time struct with previous values
965            vslen  - Length of time struct
966 Returns:   none
967 */
968 static void
969 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
970 {
971 if (get_ok == 0)
972   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
973 }
974
975 /*************************************************
976 *       Check if host is required proxy host     *
977 *************************************************/
978 /* The function determines if inbound host will be a regular smtp host
979 or if it is configured that it must use Proxy Protocol.  A local
980 connection cannot.
981
982 Arguments: none
983 Returns:   bool
984 */
985
986 static BOOL
987 check_proxy_protocol_host()
988 {
989 int rc;
990
991 if (  sender_host_address
992    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
993                            sender_host_address, NULL)) == OK)
994   {
995   DEBUG(D_receive)
996     debug_printf("Detected proxy protocol configured host\n");
997   proxy_session = TRUE;
998   }
999 return proxy_session;
1000 }
1001
1002
1003 /*************************************************
1004 *    Read data until newline or end of buffer    *
1005 *************************************************/
1006 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
1007 read an entire buffer and assume there will be nothing past a proxy protocol
1008 header.  Our approach normally is to use stdio, but again that relies upon
1009 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
1010 reading _nothing_ before client TLS handshake.  So we don't want to use the
1011 usual buffering reads which may read enough to block TLS starting.
1012
1013 So unfortunately we're down to "read one byte at a time, with a syscall each,
1014 and expect a little overhead", for all proxy-opened connections which are v1,
1015 just to handle the TLS-on-connect case.  Since SSL functions wrap the
1016 underlying fd, we can't assume that we can feed them any already-read content.
1017
1018 We need to know where to read to, the max capacity, and we'll read until we
1019 get a CR and one more character.  Let the caller scream if it's CR+!LF.
1020
1021 Return the amount read.
1022 */
1023
1024 static int
1025 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
1026 {
1027 uschar *to = base + already;
1028 uschar *cr;
1029 int have = 0;
1030 int ret;
1031 int last = 0;
1032
1033 /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
1034 up through the \r; for the _normal_ case, we haven't yet seen the \r. */
1035
1036 cr = memchr(base, '\r', already);
1037 if (cr != NULL)
1038   {
1039   if ((cr - base) < already - 1)
1040     {
1041     /* \r and presumed \n already within what we have; probably not
1042     actually proxy protocol, but abort cleanly. */
1043     return 0;
1044     }
1045   /* \r is last character read, just need one more. */
1046   last = 1;
1047   }
1048
1049 while (capacity > 0)
1050   {
1051   do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
1052   if (ret == -1)
1053     return -1;
1054   have++;
1055   if (last)
1056     return have;
1057   if (*to == '\r')
1058     last = 1;
1059   capacity--;
1060   to++;
1061   }
1062
1063 /* reached end without having room for a final newline, abort */
1064 errno = EOVERFLOW;
1065 return -1;
1066 }
1067
1068 /*************************************************
1069 *         Setup host for proxy protocol          *
1070 *************************************************/
1071 /* The function configures the connection based on a header from the
1072 inbound host to use Proxy Protocol. The specification is very exact
1073 so exit with an error if do not find the exact required pieces. This
1074 includes an incorrect number of spaces separating args.
1075
1076 Arguments: none
1077 Returns:   Boolean success
1078 */
1079
1080 static void
1081 setup_proxy_protocol_host()
1082 {
1083 union {
1084   struct {
1085     uschar line[108];
1086   } v1;
1087   struct {
1088     uschar sig[12];
1089     uint8_t ver_cmd;
1090     uint8_t fam;
1091     uint16_t len;
1092     union {
1093       struct { /* TCP/UDP over IPv4, len = 12 */
1094         uint32_t src_addr;
1095         uint32_t dst_addr;
1096         uint16_t src_port;
1097         uint16_t dst_port;
1098       } ip4;
1099       struct { /* TCP/UDP over IPv6, len = 36 */
1100         uint8_t  src_addr[16];
1101         uint8_t  dst_addr[16];
1102         uint16_t src_port;
1103         uint16_t dst_port;
1104       } ip6;
1105       struct { /* AF_UNIX sockets, len = 216 */
1106         uschar   src_addr[108];
1107         uschar   dst_addr[108];
1108       } unx;
1109     } addr;
1110   } v2;
1111 } hdr;
1112
1113 /* Temp variables used in PPv2 address:port parsing */
1114 uint16_t tmpport;
1115 char tmpip[INET_ADDRSTRLEN];
1116 struct sockaddr_in tmpaddr;
1117 char tmpip6[INET6_ADDRSTRLEN];
1118 struct sockaddr_in6 tmpaddr6;
1119
1120 /* We can't read "all data until end" because while SMTP is
1121 server-speaks-first, the TLS handshake is client-speaks-first, so for
1122 TLS-on-connect ports the proxy protocol header will usually be immediately
1123 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1124 reinject data for reading by those.  So instead we first read "enough to be
1125 safely read within the header, and figure out how much more to read".
1126 For v1 we will later read to the end-of-line, for v2 we will read based upon
1127 the stated length.
1128
1129 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1130 data is needed total.  For v1, where the line looks like:
1131 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1132
1133 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1134 We seem to support that.  So, if we read 14 octets then we can tell if we're
1135 v2 or v1.  If we're v1, we can continue reading as normal.
1136
1137 If we're v2, we can't slurp up the entire header.  We need the length in the
1138 15th & 16th octets, then to read everything after that.
1139
1140 So to safely handle v1 and v2, with client-sent-first supported correctly,
1141 we have to do a minimum of 3 read calls, not 1.  Eww.
1142 */
1143
1144 #define PROXY_INITIAL_READ 14
1145 #define PROXY_V2_HEADER_SIZE 16
1146 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1147 # error Code bug in sizes of data to read for proxy usage
1148 #endif
1149
1150 int get_ok = 0;
1151 int size, ret;
1152 int fd = fileno(smtp_in);
1153 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1154 uschar * iptype;  /* To display debug info */
1155 struct timeval tv;
1156 struct timeval tvtmp;
1157 socklen_t vslen = sizeof(struct timeval);
1158 BOOL yield = FALSE;
1159
1160 /* Save current socket timeout values */
1161 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1162
1163 /* Proxy Protocol host must send header within a short time
1164 (default 3 seconds) or it's considered invalid */
1165 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1166 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1167 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1168   goto bad;
1169
1170 do
1171   {
1172   /* The inbound host was declared to be a Proxy Protocol host, so
1173   don't do a PEEK into the data, actually slurp up enough to be
1174   "safe". Can't take it all because TLS-on-connect clients follow
1175   immediately with TLS handshake. */
1176   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1177   }
1178   while (ret == -1 && errno == EINTR);
1179
1180 if (ret == -1)
1181   goto proxyfail;
1182
1183 /* For v2, handle reading the length, and then the rest. */
1184 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1185   {
1186   int retmore;
1187   uint8_t ver;
1188
1189   /* First get the length fields. */
1190   do
1191     {
1192     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1193     } while (retmore == -1 && errno == EINTR);
1194   if (retmore == -1)
1195     goto proxyfail;
1196   ret += retmore;
1197
1198   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1199
1200   /* May 2014: haproxy combined the version and command into one byte to
1201   allow two full bytes for the length field in order to proxy SSL
1202   connections.  SSL Proxy is not supported in this version of Exim, but
1203   must still separate values here. */
1204
1205   if (ver != 0x02)
1206     {
1207     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1208     goto proxyfail;
1209     }
1210
1211   /* The v2 header will always be 16 bytes per the spec. */
1212   size = 16 + ntohs(hdr.v2.len);
1213   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1214       size, (int)sizeof(hdr));
1215
1216   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1217   amount that we need.  Double-check that the size is not unreasonable, then
1218   get the rest. */
1219   if (size > sizeof(hdr))
1220     {
1221     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1222     goto proxyfail;
1223     }
1224
1225   do
1226     {
1227     do
1228       {
1229       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1230       } while (retmore == -1 && errno == EINTR);
1231     if (retmore == -1)
1232       goto proxyfail;
1233     ret += retmore;
1234     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1235     } while (ret < size);
1236
1237   } /* end scope for getting rest of data for v2 */
1238
1239 /* At this point: if PROXYv2, we've read the exact size required for all data;
1240 if PROXYv1 then we've read "less than required for any valid line" and should
1241 read the rest". */
1242
1243 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1244   {
1245   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1246
1247   switch (cmd)
1248     {
1249     case 0x01: /* PROXY command */
1250       switch (hdr.v2.fam)
1251         {
1252         case 0x11:  /* TCPv4 address type */
1253           iptype = US"IPv4";
1254           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1255           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1256           if (!string_is_ip_address(US tmpip, NULL))
1257             {
1258             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1259             goto proxyfail;
1260             }
1261           proxy_local_address = sender_host_address;
1262           sender_host_address = string_copy(US tmpip);
1263           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1264           proxy_local_port    = sender_host_port;
1265           sender_host_port    = tmpport;
1266           /* Save dest ip/port */
1267           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1268           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1269           if (!string_is_ip_address(US tmpip, NULL))
1270             {
1271             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1272             goto proxyfail;
1273             }
1274           proxy_external_address = string_copy(US tmpip);
1275           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1276           proxy_external_port  = tmpport;
1277           goto done;
1278         case 0x21:  /* TCPv6 address type */
1279           iptype = US"IPv6";
1280           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1281           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1282           if (!string_is_ip_address(US tmpip6, NULL))
1283             {
1284             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1285             goto proxyfail;
1286             }
1287           proxy_local_address = sender_host_address;
1288           sender_host_address = string_copy(US tmpip6);
1289           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1290           proxy_local_port    = sender_host_port;
1291           sender_host_port    = tmpport;
1292           /* Save dest ip/port */
1293           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1294           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1295           if (!string_is_ip_address(US tmpip6, NULL))
1296             {
1297             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1298             goto proxyfail;
1299             }
1300           proxy_external_address = string_copy(US tmpip6);
1301           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1302           proxy_external_port  = tmpport;
1303           goto done;
1304         default:
1305           DEBUG(D_receive)
1306             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1307                          hdr.v2.fam);
1308           goto proxyfail;
1309         }
1310       /* Unsupported protocol, keep local connection address */
1311       break;
1312     case 0x00: /* LOCAL command */
1313       /* Keep local connection address for LOCAL */
1314       iptype = US"local";
1315       break;
1316     default:
1317       DEBUG(D_receive)
1318         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1319       goto proxyfail;
1320     }
1321   }
1322 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1323   {
1324   uschar *p;
1325   uschar *end;
1326   uschar *sp;     /* Utility variables follow */
1327   int     tmp_port;
1328   int     r2;
1329   char   *endc;
1330
1331   /* get the rest of the line */
1332   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1333   if (r2 == -1)
1334     goto proxyfail;
1335   ret += r2;
1336
1337   p = string_copy(hdr.v1.line);
1338   end = memchr(p, '\r', ret - 1);
1339
1340   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1341     {
1342     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1343     goto proxyfail;
1344     }
1345   *end = '\0'; /* Terminate the string */
1346   size = end + 2 - p; /* Skip header + CRLF */
1347   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1348   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1349   /* Step through the string looking for the required fields. Ensure
1350   strict adherence to required formatting, exit for any error. */
1351   p += 5;
1352   if (!isspace(*(p++)))
1353     {
1354     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1355     goto proxyfail;
1356     }
1357   if (!Ustrncmp(p, CCS"TCP4", 4))
1358     iptype = US"IPv4";
1359   else if (!Ustrncmp(p,CCS"TCP6", 4))
1360     iptype = US"IPv6";
1361   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1362     {
1363     iptype = US"Unknown";
1364     goto done;
1365     }
1366   else
1367     {
1368     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1369     goto proxyfail;
1370     }
1371
1372   p += Ustrlen(iptype);
1373   if (!isspace(*(p++)))
1374     {
1375     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1376     goto proxyfail;
1377     }
1378   /* Find the end of the arg */
1379   if ((sp = Ustrchr(p, ' ')) == NULL)
1380     {
1381     DEBUG(D_receive)
1382       debug_printf("Did not find proxied src %s\n", iptype);
1383     goto proxyfail;
1384     }
1385   *sp = '\0';
1386   if(!string_is_ip_address(p, NULL))
1387     {
1388     DEBUG(D_receive)
1389       debug_printf("Proxied src arg is not an %s address\n", iptype);
1390     goto proxyfail;
1391     }
1392   proxy_local_address = sender_host_address;
1393   sender_host_address = p;
1394   p = sp + 1;
1395   if ((sp = Ustrchr(p, ' ')) == NULL)
1396     {
1397     DEBUG(D_receive)
1398       debug_printf("Did not find proxy dest %s\n", iptype);
1399     goto proxyfail;
1400     }
1401   *sp = '\0';
1402   if(!string_is_ip_address(p, NULL))
1403     {
1404     DEBUG(D_receive)
1405       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1406     goto proxyfail;
1407     }
1408   proxy_external_address = p;
1409   p = sp + 1;
1410   if ((sp = Ustrchr(p, ' ')) == NULL)
1411     {
1412     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1413     goto proxyfail;
1414     }
1415   *sp = '\0';
1416   tmp_port = strtol(CCS p, &endc, 10);
1417   if (*endc || tmp_port == 0)
1418     {
1419     DEBUG(D_receive)
1420       debug_printf("Proxied src port '%s' not an integer\n", p);
1421     goto proxyfail;
1422     }
1423   proxy_local_port = sender_host_port;
1424   sender_host_port = tmp_port;
1425   p = sp + 1;
1426   if ((sp = Ustrchr(p, '\0')) == NULL)
1427     {
1428     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1429     goto proxyfail;
1430     }
1431   tmp_port = strtol(CCS p, &endc, 10);
1432   if (*endc || tmp_port == 0)
1433     {
1434     DEBUG(D_receive)
1435       debug_printf("Proxy dest port '%s' not an integer\n", p);
1436     goto proxyfail;
1437     }
1438   proxy_external_port = tmp_port;
1439   /* Already checked for /r /n above. Good V1 header received. */
1440   }
1441 else
1442   {
1443   /* Wrong protocol */
1444   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1445   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1446   goto proxyfail;
1447   }
1448
1449 done:
1450   DEBUG(D_receive)
1451     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1452   yield = proxy_session;
1453
1454 /* Don't flush any potential buffer contents. Any input on proxyfail
1455 should cause a synchronization failure */
1456
1457 proxyfail:
1458   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1459
1460 bad:
1461   if (yield)
1462     {
1463     sender_host_name = NULL;
1464     (void) host_name_lookup();
1465     host_build_sender_fullhost();
1466     }
1467   else
1468     {
1469     proxy_session_failed = TRUE;
1470     DEBUG(D_receive)
1471       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1472     }
1473
1474 return;
1475 }
1476 #endif
1477
1478 /*************************************************
1479 *           Read one command line                *
1480 *************************************************/
1481
1482 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1483 There are sites that don't do this, and in any case internal SMTP probably
1484 should check only for LF. Consequently, we check here for LF only. The line
1485 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1486 an unknown command. The command is read into the global smtp_cmd_buffer so that
1487 it is available via $smtp_command.
1488
1489 The character reading routine sets up a timeout for each block actually read
1490 from the input (which may contain more than one command). We set up a special
1491 signal handler that closes down the session on a timeout. Control does not
1492 return when it runs.
1493
1494 Arguments:
1495   check_sync    if TRUE, check synchronization rules if global option is TRUE
1496   buffer_lim    maximum to buffer in lower layer
1497
1498 Returns:       a code identifying the command (enumerated above)
1499 */
1500
1501 static int
1502 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1503 {
1504 int c;
1505 int ptr = 0;
1506 smtp_cmd_list *p;
1507 BOOL hadnull = FALSE;
1508
1509 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1510
1511 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1512   {
1513   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1514     {
1515     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1516     return OTHER_CMD;
1517     }
1518   if (c == 0)
1519     {
1520     hadnull = TRUE;
1521     c = '?';
1522     }
1523   smtp_cmd_buffer[ptr++] = c;
1524   }
1525
1526 receive_linecount++;    /* For BSMTP errors */
1527 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1528
1529 /* If hit end of file, return pseudo EOF command. Whether we have a
1530 part-line already read doesn't matter, since this is an error state. */
1531
1532 if (c == EOF) return EOF_CMD;
1533
1534 /* Remove any CR and white space at the end of the line, and terminate the
1535 string. */
1536
1537 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1538 smtp_cmd_buffer[ptr] = 0;
1539
1540 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1541
1542 /* NULLs are not allowed in SMTP commands */
1543
1544 if (hadnull) return BADCHAR_CMD;
1545
1546 /* Scan command list and return identity, having set the data pointer
1547 to the start of the actual data characters. Check for SMTP synchronization
1548 if required. */
1549
1550 for (p = cmd_list; p < cmd_list_end; p++)
1551   {
1552 #ifdef SUPPORT_PROXY
1553   /* Only allow QUIT command if Proxy Protocol parsing failed */
1554   if (proxy_session && proxy_session_failed && p->cmd != QUIT_CMD)
1555     continue;
1556 #endif
1557   if (  p->len
1558      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1559      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1560         || smtp_cmd_buffer[p->len] == 0
1561         || smtp_cmd_buffer[p->len] == ' '
1562      )  )
1563     {
1564     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1565         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1566         check_sync &&                                  /* Local flag set */
1567         smtp_enforce_sync &&                           /* Global flag set */
1568         sender_host_address != NULL &&                 /* Not local input */
1569         !sender_host_notsocket)                        /* Really is a socket */
1570       return BADSYN_CMD;
1571
1572     /* The variables $smtp_command and $smtp_command_argument point into the
1573     unmodified input buffer. A copy of the latter is taken for actual
1574     processing, so that it can be chopped up into separate parts if necessary,
1575     for example, when processing a MAIL command options such as SIZE that can
1576     follow the sender address. */
1577
1578     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1579     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1580     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1581     smtp_cmd_data = smtp_data_buffer;
1582
1583     /* Count non-mail commands from those hosts that are controlled in this
1584     way. The default is all hosts. We don't waste effort checking the list
1585     until we get a non-mail command, but then cache the result to save checking
1586     again. If there's a DEFER while checking the host, assume it's in the list.
1587
1588     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1589     start of each incoming message by fiddling with the value in the table. */
1590
1591     if (!p->is_mail_cmd)
1592       {
1593       if (count_nonmail == TRUE_UNSET) count_nonmail =
1594         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1595       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1596         return TOO_MANY_NONMAIL_CMD;
1597       }
1598
1599     /* If there is data for a command that does not expect it, generate the
1600     error here. */
1601
1602     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1603     }
1604   }
1605
1606 #ifdef SUPPORT_PROXY
1607 /* Only allow QUIT command if Proxy Protocol parsing failed */
1608 if (proxy_session && proxy_session_failed)
1609   return PROXY_FAIL_IGNORE_CMD;
1610 #endif
1611
1612 /* Enforce synchronization for unknown commands */
1613
1614 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1615     check_sync &&                                  /* Local flag set */
1616     smtp_enforce_sync &&                           /* Global flag set */
1617     sender_host_address != NULL &&                 /* Not local input */
1618     !sender_host_notsocket)                        /* Really is a socket */
1619   return BADSYN_CMD;
1620
1621 return OTHER_CMD;
1622 }
1623
1624
1625
1626 /*************************************************
1627 *          Forced closedown of call              *
1628 *************************************************/
1629
1630 /* This function is called from log.c when Exim is dying because of a serious
1631 disaster, and also from some other places. If an incoming non-batched SMTP
1632 channel is open, it swallows the rest of the incoming message if in the DATA
1633 phase, sends the reply string, and gives an error to all subsequent commands
1634 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1635 smtp_in.
1636
1637 Arguments:
1638   message   SMTP reply string to send, excluding the code
1639
1640 Returns:    nothing
1641 */
1642
1643 void
1644 smtp_closedown(uschar *message)
1645 {
1646 if (smtp_in == NULL || smtp_batched_input) return;
1647 receive_swallow_smtp();
1648 smtp_printf("421 %s\r\n", FALSE, message);
1649
1650 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1651   {
1652   case EOF_CMD:
1653   return;
1654
1655   case QUIT_CMD:
1656   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
1657   mac_smtp_fflush();
1658   return;
1659
1660   case RSET_CMD:
1661   smtp_printf("250 Reset OK\r\n", FALSE);
1662   break;
1663
1664   default:
1665   smtp_printf("421 %s\r\n", FALSE, message);
1666   break;
1667   }
1668 }
1669
1670
1671
1672
1673 /*************************************************
1674 *        Set up connection info for logging      *
1675 *************************************************/
1676
1677 /* This function is called when logging information about an SMTP connection.
1678 It sets up appropriate source information, depending on the type of connection.
1679 If sender_fullhost is NULL, we are at a very early stage of the connection;
1680 just use the IP address.
1681
1682 Argument:    none
1683 Returns:     a string describing the connection
1684 */
1685
1686 uschar *
1687 smtp_get_connection_info(void)
1688 {
1689 const uschar * hostname = sender_fullhost
1690   ? sender_fullhost : sender_host_address;
1691
1692 if (host_checking)
1693   return string_sprintf("SMTP connection from %s", hostname);
1694
1695 if (sender_host_unknown || sender_host_notsocket)
1696   return string_sprintf("SMTP connection from %s", sender_ident);
1697
1698 if (is_inetd)
1699   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1700
1701 if (LOGGING(incoming_interface) && interface_address != NULL)
1702   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1703     interface_address, interface_port);
1704
1705 return string_sprintf("SMTP connection from %s", hostname);
1706 }
1707
1708
1709
1710 #ifdef SUPPORT_TLS
1711 /* Append TLS-related information to a log line
1712
1713 Arguments:
1714   g             String under construction: allocated string to extend, or NULL
1715
1716 Returns:        Allocated string or NULL
1717 */
1718 static gstring *
1719 s_tlslog(gstring * g)
1720 {
1721 if (LOGGING(tls_cipher) && tls_in.cipher)
1722   g = string_append(g, 2, US" X=", tls_in.cipher);
1723 if (LOGGING(tls_certificate_verified) && tls_in.cipher)
1724   g = string_append(g, 2, US" CV=", tls_in.certificate_verified? "yes":"no");
1725 if (LOGGING(tls_peerdn) && tls_in.peerdn)
1726   g = string_append(g, 3, US" DN=\"", string_printing(tls_in.peerdn), US"\"");
1727 if (LOGGING(tls_sni) && tls_in.sni)
1728   g = string_append(g, 3, US" SNI=\"", string_printing(tls_in.sni), US"\"");
1729 return g;
1730 }
1731 #endif
1732
1733 /*************************************************
1734 *      Log lack of MAIL if so configured         *
1735 *************************************************/
1736
1737 /* This function is called when an SMTP session ends. If the log selector
1738 smtp_no_mail is set, write a log line giving some details of what has happened
1739 in the SMTP session.
1740
1741 Arguments:   none
1742 Returns:     nothing
1743 */
1744
1745 void
1746 smtp_log_no_mail(void)
1747 {
1748 int i;
1749 uschar * sep, * s;
1750 gstring * g = NULL;
1751
1752 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1753   return;
1754
1755 if (sender_host_authenticated != NULL)
1756   {
1757   g = string_append(g, 2, US" A=", sender_host_authenticated);
1758   if (authenticated_id) g = string_append(g, 2, US":", authenticated_id);
1759   }
1760
1761 #ifdef SUPPORT_TLS
1762 g = s_tlslog(g);
1763 #endif
1764
1765 sep = smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE ?  US" C=..." : US" C=";
1766
1767 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1768   if (smtp_connection_had[i] != SCH_NONE)
1769     {
1770     g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1771     sep = US",";
1772     }
1773
1774 for (i = 0; i < smtp_ch_index; i++)
1775   {
1776   g = string_append(g, 2, sep, smtp_names[smtp_connection_had[i]]);
1777   sep = US",";
1778   }
1779
1780 if (!(s = string_from_gstring(g))) s = US"";
1781
1782 log_write(0, LOG_MAIN, "no MAIL in %sSMTP connection from %s D=%s%s",
1783   tcp_in_fastopen ? US"TFO " : US"",
1784   host_and_ident(FALSE), string_timesince(&smtp_connection_start), s);
1785 }
1786
1787
1788 /* Return list of recent smtp commands */
1789
1790 uschar *
1791 smtp_cmd_hist(void)
1792 {
1793 int  i;
1794 gstring * list = NULL;
1795 uschar * s;
1796
1797 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1798   if (smtp_connection_had[i] != SCH_NONE)
1799     list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1800
1801 for (i = 0; i < smtp_ch_index; i++)
1802   list = string_append_listele(list, ',', smtp_names[smtp_connection_had[i]]);
1803
1804 s = string_from_gstring(list);
1805 return s ? s : US"";
1806 }
1807
1808
1809
1810
1811 /*************************************************
1812 *   Check HELO line and set sender_helo_name     *
1813 *************************************************/
1814
1815 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1816 the domain name of the sending host, or an ip literal in square brackets. The
1817 argument is placed in sender_helo_name, which is in malloc store, because it
1818 must persist over multiple incoming messages. If helo_accept_junk is set, this
1819 host is permitted to send any old junk (needed for some broken hosts).
1820 Otherwise, helo_allow_chars can be used for rogue characters in general
1821 (typically people want to let in underscores).
1822
1823 Argument:
1824   s       the data portion of the line (already past any white space)
1825
1826 Returns:  TRUE or FALSE
1827 */
1828
1829 static BOOL
1830 check_helo(uschar *s)
1831 {
1832 uschar *start = s;
1833 uschar *end = s + Ustrlen(s);
1834 BOOL yield = helo_accept_junk;
1835
1836 /* Discard any previous helo name */
1837
1838 if (sender_helo_name != NULL)
1839   {
1840   store_free(sender_helo_name);
1841   sender_helo_name = NULL;
1842   }
1843
1844 /* Skip tests if junk is permitted. */
1845
1846 if (!yield)
1847   {
1848   /* Allow the new standard form for IPv6 address literals, namely,
1849   [IPv6:....], and because someone is bound to use it, allow an equivalent
1850   IPv4 form. Allow plain addresses as well. */
1851
1852   if (*s == '[')
1853     {
1854     if (end[-1] == ']')
1855       {
1856       end[-1] = 0;
1857       if (strncmpic(s, US"[IPv6:", 6) == 0)
1858         yield = (string_is_ip_address(s+6, NULL) == 6);
1859       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1860         yield = (string_is_ip_address(s+6, NULL) == 4);
1861       else
1862         yield = (string_is_ip_address(s+1, NULL) != 0);
1863       end[-1] = ']';
1864       }
1865     }
1866
1867   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1868   that have been configured (usually underscore - sigh). */
1869
1870   else if (*s != 0)
1871     {
1872     yield = TRUE;
1873     while (*s != 0)
1874       {
1875       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1876           Ustrchr(helo_allow_chars, *s) == NULL)
1877         {
1878         yield = FALSE;
1879         break;
1880         }
1881       s++;
1882       }
1883     }
1884   }
1885
1886 /* Save argument if OK */
1887
1888 if (yield) sender_helo_name = string_copy_malloc(start);
1889 return yield;
1890 }
1891
1892
1893
1894
1895
1896 /*************************************************
1897 *         Extract SMTP command option            *
1898 *************************************************/
1899
1900 /* This function picks the next option setting off the end of smtp_cmd_data. It
1901 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1902 things that can appear there.
1903
1904 Arguments:
1905    name           point this at the name
1906    value          point this at the data string
1907
1908 Returns:          TRUE if found an option
1909 */
1910
1911 static BOOL
1912 extract_option(uschar **name, uschar **value)
1913 {
1914 uschar *n;
1915 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1916 while (isspace(*v)) v--;
1917 v[1] = 0;
1918 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1919   {
1920   /* Take care to not stop at a space embedded in a quoted local-part */
1921
1922   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1923   v--;
1924   }
1925
1926 n = v;
1927 if (*v == '=')
1928   {
1929   while(isalpha(n[-1])) n--;
1930   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1931   if (!isspace(n[-1])) return FALSE;
1932   n[-1] = 0;
1933   }
1934 else
1935   {
1936   n++;
1937   if (v == smtp_cmd_data) return FALSE;
1938   }
1939 *v++ = 0;
1940 *name = n;
1941 *value = v;
1942 return TRUE;
1943 }
1944
1945
1946
1947
1948
1949 /*************************************************
1950 *         Reset for new message                  *
1951 *************************************************/
1952
1953 /* This function is called whenever the SMTP session is reset from
1954 within either of the setup functions.
1955
1956 Argument:   the stacking pool storage reset point
1957 Returns:    nothing
1958 */
1959
1960 static void
1961 smtp_reset(void *reset_point)
1962 {
1963 recipients_list = NULL;
1964 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1965   raw_recipients_count = recipients_count = recipients_list_max = 0;
1966 message_linecount = 0;
1967 message_size = -1;
1968 acl_added_headers = NULL;
1969 acl_removed_headers = NULL;
1970 queue_only_policy = FALSE;
1971 rcpt_smtp_response = NULL;
1972 rcpt_smtp_response_same = TRUE;
1973 rcpt_in_progress = FALSE;
1974 deliver_freeze = FALSE;                              /* Can be set by ACL */
1975 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1976 fake_response = OK;                                  /* Can be set by ACL */
1977 #ifdef WITH_CONTENT_SCAN
1978 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1979 #endif
1980 submission_mode = FALSE;                             /* Can be set by ACL */
1981 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1982 active_local_from_check = local_from_check;          /* Can be set by ACL */
1983 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1984 sending_ip_address = NULL;
1985 return_path = sender_address = NULL;
1986 sender_data = NULL;                                  /* Can be set by ACL */
1987 deliver_localpart_orig = NULL;
1988 deliver_domain_orig = NULL;
1989 callout_address = NULL;
1990 submission_name = NULL;                              /* Can be set by ACL */
1991 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1992 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1993 sender_verified_list = NULL;        /* No senders verified */
1994 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1995 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1996
1997 authenticated_sender = NULL;
1998 #ifdef EXPERIMENTAL_BRIGHTMAIL
1999 bmi_run = 0;
2000 bmi_verdicts = NULL;
2001 #endif
2002 dnslist_domain = dnslist_matched = NULL;
2003 #ifndef DISABLE_DKIM
2004 dkim_signers = NULL;
2005 dkim_disable_verify = FALSE;
2006 dkim_collect_input = FALSE;
2007 #endif
2008 dsn_ret = 0;
2009 dsn_envid = NULL;
2010 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
2011 #ifndef DISABLE_PRDR
2012 prdr_requested = FALSE;
2013 #endif
2014 #ifdef EXPERIMENTAL_SPF
2015 spf_header_comment = NULL;
2016 spf_received = NULL;
2017 spf_result = NULL;
2018 spf_smtp_comment = NULL;
2019 #endif
2020 #ifdef SUPPORT_I18N
2021 message_smtputf8 = FALSE;
2022 #endif
2023 body_linecount = body_zerocount = 0;
2024
2025 sender_rate = sender_rate_limit = sender_rate_period = NULL;
2026 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
2027                    /* Note that ratelimiters_conn persists across resets. */
2028
2029 /* Reset message ACL variables */
2030
2031 acl_var_m = NULL;
2032
2033 /* The message body variables use malloc store. They may be set if this is
2034 not the first message in an SMTP session and the previous message caused them
2035 to be referenced in an ACL. */
2036
2037 if (message_body)
2038   {
2039   store_free(message_body);
2040   message_body = NULL;
2041   }
2042
2043 if (message_body_end)
2044   {
2045   store_free(message_body_end);
2046   message_body_end = NULL;
2047   }
2048
2049 /* Warning log messages are also saved in malloc store. They are saved to avoid
2050 repetition in the same message, but it seems right to repeat them for different
2051 messages. */
2052
2053 while (acl_warn_logged)
2054   {
2055   string_item *this = acl_warn_logged;
2056   acl_warn_logged = acl_warn_logged->next;
2057   store_free(this);
2058   }
2059 store_reset(reset_point);
2060 }
2061
2062
2063
2064
2065
2066 /*************************************************
2067 *  Initialize for incoming batched SMTP message  *
2068 *************************************************/
2069
2070 /* This function is called from smtp_setup_msg() in the case when
2071 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
2072 of messages in one file with SMTP commands between them. All errors must be
2073 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
2074 relevant. After an error on a sender, or an invalid recipient, the remainder
2075 of the message is skipped. The value of received_protocol is already set.
2076
2077 Argument: none
2078 Returns:  > 0 message successfully started (reached DATA)
2079           = 0 QUIT read or end of file reached
2080           < 0 should not occur
2081 */
2082
2083 static int
2084 smtp_setup_batch_msg(void)
2085 {
2086 int done = 0;
2087 void *reset_point = store_get(0);
2088
2089 /* Save the line count at the start of each transaction - single commands
2090 like HELO and RSET count as whole transactions. */
2091
2092 bsmtp_transaction_linecount = receive_linecount;
2093
2094 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2095
2096 cancel_cutthrough_connection(TRUE, US"smtp_setup_batch_msg");
2097 smtp_reset(reset_point);                /* Reset for start of message */
2098
2099 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2100 value. The values are 2 larger than the required yield of the function. */
2101
2102 while (done <= 0)
2103   {
2104   uschar *errmess;
2105   uschar *recipient = NULL;
2106   int start, end, sender_domain, recipient_domain;
2107
2108   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2109     {
2110     /* The HELO/EHLO commands set sender_address_helo if they have
2111     valid data; otherwise they are ignored, except that they do
2112     a reset of the state. */
2113
2114     case HELO_CMD:
2115     case EHLO_CMD:
2116
2117     check_helo(smtp_cmd_data);
2118     /* Fall through */
2119
2120     case RSET_CMD:
2121     cancel_cutthrough_connection(TRUE, US"RSET received");
2122     smtp_reset(reset_point);
2123     bsmtp_transaction_linecount = receive_linecount;
2124     break;
2125
2126
2127     /* The MAIL FROM command requires an address as an operand. All we
2128     do here is to parse it for syntactic correctness. The form "<>" is
2129     a special case which converts into an empty string. The start/end
2130     pointers in the original are not used further for this address, as
2131     it is the canonical extracted address which is all that is kept. */
2132
2133     case MAIL_CMD:
2134     smtp_mailcmd_count++;              /* Count for no-mail log */
2135     if (sender_address != NULL)
2136       /* The function moan_smtp_batch() does not return. */
2137       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2138
2139     if (smtp_cmd_data[0] == 0)
2140       /* The function moan_smtp_batch() does not return. */
2141       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2142
2143     /* Reset to start of message */
2144
2145     cancel_cutthrough_connection(TRUE, US"MAIL received");
2146     smtp_reset(reset_point);
2147
2148     /* Apply SMTP rewrite */
2149
2150     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2151       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2152         US"", global_rewrite_rules) : smtp_cmd_data;
2153
2154     /* Extract the address; the TRUE flag allows <> as valid */
2155
2156     raw_sender =
2157       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2158         TRUE);
2159
2160     if (raw_sender == NULL)
2161       /* The function moan_smtp_batch() does not return. */
2162       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2163
2164     sender_address = string_copy(raw_sender);
2165
2166     /* Qualify unqualified sender addresses if permitted to do so. */
2167
2168     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
2169       {
2170       if (allow_unqualified_sender)
2171         {
2172         sender_address = rewrite_address_qualify(sender_address, FALSE);
2173         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2174           "and rewritten\n", raw_sender);
2175         }
2176       /* The function moan_smtp_batch() does not return. */
2177       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2178         "a domain");
2179       }
2180     break;
2181
2182
2183     /* The RCPT TO command requires an address as an operand. All we do
2184     here is to parse it for syntactic correctness. There may be any number
2185     of RCPT TO commands, specifying multiple senders. We build them all into
2186     a data structure that is in argc/argv format. The start/end values
2187     given by parse_extract_address are not used, as we keep only the
2188     extracted address. */
2189
2190     case RCPT_CMD:
2191     if (sender_address == NULL)
2192       /* The function moan_smtp_batch() does not return. */
2193       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2194
2195     if (smtp_cmd_data[0] == 0)
2196       /* The function moan_smtp_batch() does not return. */
2197       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
2198
2199     /* Check maximum number allowed */
2200
2201     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2202       /* The function moan_smtp_batch() does not return. */
2203       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2204         recipients_max_reject? "552": "452");
2205
2206     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2207     recipient address */
2208
2209     recipient = rewrite_existflags & rewrite_smtp
2210       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2211                     global_rewrite_rules)
2212       : smtp_cmd_data;
2213
2214     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2215       &recipient_domain, FALSE);
2216
2217     if (!recipient)
2218       /* The function moan_smtp_batch() does not return. */
2219       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2220
2221     /* If the recipient address is unqualified, qualify it if permitted. Then
2222     add it to the list of recipients. */
2223
2224     if (recipient_domain == 0)
2225       {
2226       if (allow_unqualified_recipient)
2227         {
2228         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2229           recipient);
2230         recipient = rewrite_address_qualify(recipient, TRUE);
2231         }
2232       /* The function moan_smtp_batch() does not return. */
2233       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
2234         "a domain");
2235       }
2236     receive_add_recipient(recipient, -1);
2237     break;
2238
2239
2240     /* The DATA command is legal only if it follows successful MAIL FROM
2241     and RCPT TO commands. This function is complete when a valid DATA
2242     command is encountered. */
2243
2244     case DATA_CMD:
2245     if (sender_address == NULL || recipients_count <= 0)
2246       {
2247       /* The function moan_smtp_batch() does not return. */
2248       if (sender_address == NULL)
2249         moan_smtp_batch(smtp_cmd_buffer,
2250           "503 MAIL FROM:<sender> command must precede DATA");
2251       else
2252         moan_smtp_batch(smtp_cmd_buffer,
2253           "503 RCPT TO:<recipient> must precede DATA");
2254       }
2255     else
2256       {
2257       done = 3;                      /* DATA successfully achieved */
2258       message_ended = END_NOTENDED;  /* Indicate in middle of message */
2259       }
2260     break;
2261
2262
2263     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2264
2265     case VRFY_CMD:
2266     case EXPN_CMD:
2267     case HELP_CMD:
2268     case NOOP_CMD:
2269     case ETRN_CMD:
2270     bsmtp_transaction_linecount = receive_linecount;
2271     break;
2272
2273
2274     case EOF_CMD:
2275     case QUIT_CMD:
2276     done = 2;
2277     break;
2278
2279
2280     case BADARG_CMD:
2281     /* The function moan_smtp_batch() does not return. */
2282     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2283     break;
2284
2285
2286     case BADCHAR_CMD:
2287     /* The function moan_smtp_batch() does not return. */
2288     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2289     break;
2290
2291
2292     default:
2293     /* The function moan_smtp_batch() does not return. */
2294     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2295     break;
2296     }
2297   }
2298
2299 return done - 2;  /* Convert yield values */
2300 }
2301
2302
2303
2304
2305 static BOOL
2306 smtp_log_tls_fail(uschar * errstr)
2307 {
2308 uschar * conn_info = smtp_get_connection_info();
2309
2310 if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
2311 /* I'd like to get separated H= here, but too hard for now */
2312
2313 log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
2314 return FALSE;
2315 }
2316
2317
2318
2319
2320 #ifdef TCP_FASTOPEN
2321 static void
2322 tfo_in_check(void)
2323 {
2324 # ifdef TCP_INFO
2325 struct tcp_info tinfo;
2326 socklen_t len = sizeof(tinfo);
2327
2328 if (  getsockopt(fileno(smtp_out), IPPROTO_TCP, TCP_INFO, &tinfo, &len) == 0
2329    && tinfo.tcpi_state == TCP_SYN_RECV
2330    )
2331   {
2332   DEBUG(D_receive) debug_printf("TCP_FASTOPEN mode connection (state TCP_SYN_RECV)\n");
2333   tcp_in_fastopen = TRUE;
2334   }
2335 # endif
2336 }
2337 #endif
2338
2339
2340 /*************************************************
2341 *          Start an SMTP session                 *
2342 *************************************************/
2343
2344 /* This function is called at the start of an SMTP session. Thereafter,
2345 smtp_setup_msg() is called to initiate each separate message. This
2346 function does host-specific testing, and outputs the banner line.
2347
2348 Arguments:     none
2349 Returns:       FALSE if the session can not continue; something has
2350                gone wrong, or the connection to the host is blocked
2351 */
2352
2353 BOOL
2354 smtp_start_session(void)
2355 {
2356 int esclen;
2357 uschar *user_msg, *log_msg;
2358 uschar *code, *esc;
2359 uschar *p, *s;
2360 gstring * ss;
2361
2362 gettimeofday(&smtp_connection_start, NULL);
2363 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2364   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2365 smtp_ch_index = 0;
2366
2367 /* Default values for certain variables */
2368
2369 helo_seen = esmtp = helo_accept_junk = FALSE;
2370 smtp_mailcmd_count = 0;
2371 count_nonmail = TRUE_UNSET;
2372 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2373 smtp_delay_mail = smtp_rlm_base;
2374 auth_advertised = FALSE;
2375 pipelining_advertised = FALSE;
2376 pipelining_enable = TRUE;
2377 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2378 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2379
2380 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2381 authentication settings from -oMaa to remain in force. */
2382
2383 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2384 authenticated_by = NULL;
2385
2386 #ifdef SUPPORT_TLS
2387 tls_in.cipher = tls_in.peerdn = NULL;
2388 tls_in.ourcert = tls_in.peercert = NULL;
2389 tls_in.sni = NULL;
2390 tls_in.ocsp = OCSP_NOT_REQ;
2391 tls_advertised = FALSE;
2392 #endif
2393 dsn_advertised = FALSE;
2394 #ifdef SUPPORT_I18N
2395 smtputf8_advertised = FALSE;
2396 #endif
2397
2398 /* Reset ACL connection variables */
2399
2400 acl_var_c = NULL;
2401
2402 /* Allow for trailing 0 in the command and data buffers. */
2403
2404 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2405   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2406     "malloc() failed for SMTP command buffer");
2407
2408 smtp_cmd_buffer[0] = 0;
2409 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2410
2411 /* For batched input, the protocol setting can be overridden from the
2412 command line by a trusted caller. */
2413
2414 if (smtp_batched_input)
2415   {
2416   if (!received_protocol) received_protocol = US"local-bsmtp";
2417   }
2418
2419 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2420 reset later if any of EHLO/AUTH/STARTTLS are received. */
2421
2422 else
2423   received_protocol =
2424     (sender_host_address ? protocols : protocols_local) [pnormal];
2425
2426 /* Set up the buffer for inputting using direct read() calls, and arrange to
2427 call the local functions instead of the standard C ones. */
2428
2429 if (!(smtp_inbuffer = US malloc(IN_BUFFER_SIZE)))
2430   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2431
2432 receive_getc = smtp_getc;
2433 receive_getbuf = smtp_getbuf;
2434 receive_get_cache = smtp_get_cache;
2435 receive_ungetc = smtp_ungetc;
2436 receive_feof = smtp_feof;
2437 receive_ferror = smtp_ferror;
2438 receive_smtp_buffered = smtp_buffered;
2439 smtp_inptr = smtp_inend = smtp_inbuffer;
2440 smtp_had_eof = smtp_had_error = 0;
2441
2442 /* Set up the message size limit; this may be host-specific */
2443
2444 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2445 if (expand_string_message != NULL)
2446   {
2447   if (thismessage_size_limit == -1)
2448     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2449       "%s", expand_string_message);
2450   else
2451     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2452       "%s", expand_string_message);
2453   smtp_closedown(US"Temporary local problem - please try later");
2454   return FALSE;
2455   }
2456
2457 /* When a message is input locally via the -bs or -bS options, sender_host_
2458 unknown is set unless -oMa was used to force an IP address, in which case it
2459 is checked like a real remote connection. When -bs is used from inetd, this
2460 flag is not set, causing the sending host to be checked. The code that deals
2461 with IP source routing (if configured) is never required for -bs or -bS and
2462 the flag sender_host_notsocket is used to suppress it.
2463
2464 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2465 reserve for certain hosts and/or networks. */
2466
2467 if (!sender_host_unknown)
2468   {
2469   int rc;
2470   BOOL reserved_host = FALSE;
2471
2472   /* Look up IP options (source routing info) on the socket if this is not an
2473   -oMa "host", and if any are found, log them and drop the connection.
2474
2475   Linux (and others now, see below) is different to everyone else, so there
2476   has to be some conditional compilation here. Versions of Linux before 2.1.15
2477   used a structure whose name was "options". Somebody finally realized that
2478   this name was silly, and it got changed to "ip_options". I use the
2479   newer name here, but there is a fudge in the script that sets up os.h
2480   to define a macro in older Linux systems.
2481
2482   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2483   glibc 2, which has chosen ip_opts for the structure name. This is now
2484   really a glibc thing rather than a Linux thing, so the condition name
2485   has been changed to reflect this. It is relevant also to GNU/Hurd.
2486
2487   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2488   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2489   a special macro defined in the os.h file.
2490
2491   Some DGUX versions on older hardware appear not to support IP options at
2492   all, so there is now a general macro which can be set to cut out this
2493   support altogether.
2494
2495   How to do this properly in IPv6 is not yet known. */
2496
2497   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2498
2499   #ifdef GLIBC_IP_OPTIONS
2500     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2501     #define OPTSTYLE 1
2502     #else
2503     #define OPTSTYLE 2
2504     #endif
2505   #elif defined DARWIN_IP_OPTIONS
2506     #define OPTSTYLE 2
2507   #else
2508     #define OPTSTYLE 3
2509   #endif
2510
2511   if (!host_checking && !sender_host_notsocket)
2512     {
2513     #if OPTSTYLE == 1
2514     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2515     struct ip_options *ipopt = store_get(optlen);
2516     #elif OPTSTYLE == 2
2517     struct ip_opts ipoptblock;
2518     struct ip_opts *ipopt = &ipoptblock;
2519     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2520     #else
2521     struct ipoption ipoptblock;
2522     struct ipoption *ipopt = &ipoptblock;
2523     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2524     #endif
2525
2526     /* Occasional genuine failures of getsockopt() have been seen - for
2527     example, "reset by peer". Therefore, just log and give up on this
2528     call, unless the error is ENOPROTOOPT. This error is given by systems
2529     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2530     of writing. So for that error, carry on - we just can't do an IP options
2531     check. */
2532
2533     DEBUG(D_receive) debug_printf("checking for IP options\n");
2534
2535     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, US (ipopt),
2536           &optlen) < 0)
2537       {
2538       if (errno != ENOPROTOOPT)
2539         {
2540         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2541           host_and_ident(FALSE), strerror(errno));
2542         smtp_printf("451 SMTP service not available\r\n", FALSE);
2543         return FALSE;
2544         }
2545       }
2546
2547     /* Deal with any IP options that are set. On the systems I have looked at,
2548     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2549     more logging data than will fit in big_buffer. Nevertheless, after somebody
2550     questioned this code, I've added in some paranoid checking. */
2551
2552     else if (optlen > 0)
2553       {
2554       uschar *p = big_buffer;
2555       uschar *pend = big_buffer + big_buffer_size;
2556       uschar *opt, *adptr;
2557       int optcount;
2558       struct in_addr addr;
2559
2560       #if OPTSTYLE == 1
2561       uschar *optstart = US (ipopt->__data);
2562       #elif OPTSTYLE == 2
2563       uschar *optstart = US (ipopt->ip_opts);
2564       #else
2565       uschar *optstart = US (ipopt->ipopt_list);
2566       #endif
2567
2568       DEBUG(D_receive) debug_printf("IP options exist\n");
2569
2570       Ustrcpy(p, "IP options on incoming call:");
2571       p += Ustrlen(p);
2572
2573       for (opt = optstart; opt != NULL &&
2574            opt < US (ipopt) + optlen;)
2575         {
2576         switch (*opt)
2577           {
2578           case IPOPT_EOL:
2579           opt = NULL;
2580           break;
2581
2582           case IPOPT_NOP:
2583           opt++;
2584           break;
2585
2586           case IPOPT_SSRR:
2587           case IPOPT_LSRR:
2588           if (!string_format(p, pend-p, " %s [@%s",
2589                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2590                #if OPTSTYLE == 1
2591                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2592                #elif OPTSTYLE == 2
2593                inet_ntoa(ipopt->ip_dst)))
2594                #else
2595                inet_ntoa(ipopt->ipopt_dst)))
2596                #endif
2597             {
2598             opt = NULL;
2599             break;
2600             }
2601
2602           p += Ustrlen(p);
2603           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2604           adptr = opt + 3;
2605           while (optcount-- > 0)
2606             {
2607             memcpy(&addr, adptr, sizeof(addr));
2608             if (!string_format(p, pend - p - 1, "%s%s",
2609                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2610               {
2611               opt = NULL;
2612               break;
2613               }
2614             p += Ustrlen(p);
2615             adptr += sizeof(struct in_addr);
2616             }
2617           *p++ = ']';
2618           opt += opt[1];
2619           break;
2620
2621           default:
2622             {
2623             int i;
2624             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2625             Ustrcat(p, "[ ");
2626             p += 2;
2627             for (i = 0; i < opt[1]; i++)
2628               p += sprintf(CS p, "%2.2x ", opt[i]);
2629             *p++ = ']';
2630             }
2631           opt += opt[1];
2632           break;
2633           }
2634         }
2635
2636       *p = 0;
2637       log_write(0, LOG_MAIN, "%s", big_buffer);
2638
2639       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2640
2641       log_write(0, LOG_MAIN|LOG_REJECT,
2642         "connection from %s refused (IP options)", host_and_ident(FALSE));
2643
2644       smtp_printf("554 SMTP service not available\r\n", FALSE);
2645       return FALSE;
2646       }
2647
2648     /* Length of options = 0 => there are no options */
2649
2650     else DEBUG(D_receive) debug_printf("no IP options found\n");
2651     }
2652   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2653
2654   /* Set keep-alive in socket options. The option is on by default. This
2655   setting is an attempt to get rid of some hanging connections that stick in
2656   read() when the remote end (usually a dialup) goes away. */
2657
2658   if (smtp_accept_keepalive && !sender_host_notsocket)
2659     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2660
2661   /* If the current host matches host_lookup, set the name by doing a
2662   reverse lookup. On failure, sender_host_name will be NULL and
2663   host_lookup_failed will be TRUE. This may or may not be serious - optional
2664   checks later. */
2665
2666   if (verify_check_host(&host_lookup) == OK)
2667     {
2668     (void)host_name_lookup();
2669     host_build_sender_fullhost();
2670     }
2671
2672   /* Delay this until we have the full name, if it is looked up. */
2673
2674   set_process_info("handling incoming connection from %s",
2675     host_and_ident(FALSE));
2676
2677   /* Expand smtp_receive_timeout, if needed */
2678
2679   if (smtp_receive_timeout_s)
2680     {
2681     uschar * exp;
2682     if (  !(exp = expand_string(smtp_receive_timeout_s))
2683        || !(*exp)
2684        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2685        )
2686       log_write(0, LOG_MAIN|LOG_PANIC,
2687         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2688     }
2689
2690   /* Test for explicit connection rejection */
2691
2692   if (verify_check_host(&host_reject_connection) == OK)
2693     {
2694     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2695       "from %s (host_reject_connection)", host_and_ident(FALSE));
2696     smtp_printf("554 SMTP service not available\r\n", FALSE);
2697     return FALSE;
2698     }
2699
2700   /* Test with TCP Wrappers if so configured. There is a problem in that
2701   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2702   such as disks dying. In these cases, it is desirable to reject with a 4xx
2703   error instead of a 5xx error. There isn't a "right" way to detect such
2704   problems. The following kludge is used: errno is zeroed before calling
2705   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2706   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2707   not exist). */
2708
2709 #ifdef USE_TCP_WRAPPERS
2710   errno = 0;
2711   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2712     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2713       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2714         expand_string_message);
2715
2716   if (!hosts_ctl(tcp_wrappers_name,
2717          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2718          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2719          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2720     {
2721     if (errno == 0 || errno == ENOENT)
2722       {
2723       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2724       log_write(L_connection_reject,
2725                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2726                 "(tcp wrappers)", host_and_ident(FALSE));
2727       smtp_printf("554 SMTP service not available\r\n", FALSE);
2728       }
2729     else
2730       {
2731       int save_errno = errno;
2732       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2733         "errno value %d\n", save_errno);
2734       log_write(L_connection_reject,
2735                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2736                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2737       smtp_printf("451 Temporary local problem - please try later\r\n", FALSE);
2738       }
2739     return FALSE;
2740     }
2741 #endif
2742
2743   /* Check for reserved slots. The value of smtp_accept_count has already been
2744   incremented to include this process. */
2745
2746   if (smtp_accept_max > 0 &&
2747       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2748     {
2749     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2750       {
2751       log_write(L_connection_reject,
2752         LOG_MAIN, "temporarily refused connection from %s: not in "
2753         "reserve list: connected=%d max=%d reserve=%d%s",
2754         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2755         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2756       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2757         "please try again later\r\n", FALSE, smtp_active_hostname);
2758       return FALSE;
2759       }
2760     reserved_host = TRUE;
2761     }
2762
2763   /* If a load level above which only messages from reserved hosts are
2764   accepted is set, check the load. For incoming calls via the daemon, the
2765   check is done in the superior process if there are no reserved hosts, to
2766   save a fork. In all cases, the load average will already be available
2767   in a global variable at this point. */
2768
2769   if (smtp_load_reserve >= 0 &&
2770        load_average > smtp_load_reserve &&
2771        !reserved_host &&
2772        verify_check_host(&smtp_reserve_hosts) != OK)
2773     {
2774     log_write(L_connection_reject,
2775       LOG_MAIN, "temporarily refused connection from %s: not in "
2776       "reserve list and load average = %.2f", host_and_ident(FALSE),
2777       (double)load_average/1000.0);
2778     smtp_printf("421 %s: Too much load; please try again later\r\n", FALSE,
2779       smtp_active_hostname);
2780     return FALSE;
2781     }
2782
2783   /* Determine whether unqualified senders or recipients are permitted
2784   for this host. Unfortunately, we have to do this every time, in order to
2785   set the flags so that they can be inspected when considering qualifying
2786   addresses in the headers. For a site that permits no qualification, this
2787   won't take long, however. */
2788
2789   allow_unqualified_sender =
2790     verify_check_host(&sender_unqualified_hosts) == OK;
2791
2792   allow_unqualified_recipient =
2793     verify_check_host(&recipient_unqualified_hosts) == OK;
2794
2795   /* Determine whether HELO/EHLO is required for this host. The requirement
2796   can be hard or soft. */
2797
2798   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2799   if (!helo_required)
2800     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2801
2802   /* Determine whether this hosts is permitted to send syntactic junk
2803   after a HELO or EHLO command. */
2804
2805   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2806   }
2807
2808 /* For batch SMTP input we are now done. */
2809
2810 if (smtp_batched_input) return TRUE;
2811
2812 /* If valid Proxy Protocol source is connecting, set up session.
2813  * Failure will not allow any SMTP function other than QUIT. */
2814
2815 #ifdef SUPPORT_PROXY
2816 proxy_session = FALSE;
2817 proxy_session_failed = FALSE;
2818 if (check_proxy_protocol_host())
2819   setup_proxy_protocol_host();
2820 #endif
2821
2822   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2823   smtps port for use with older style SSL MTAs. */
2824
2825 #ifdef SUPPORT_TLS
2826   if (tls_in.on_connect && tls_server_start(tls_require_ciphers, &user_msg) != OK)
2827     return smtp_log_tls_fail(user_msg);
2828 #endif
2829
2830 /* Run the connect ACL if it exists */
2831
2832 user_msg = NULL;
2833 if (acl_smtp_connect)
2834   {
2835   int rc;
2836   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2837                       &log_msg)) != OK)
2838     {
2839     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2840     return FALSE;
2841     }
2842   }
2843
2844 /* Output the initial message for a two-way SMTP connection. It may contain
2845 newlines, which then cause a multi-line response to be given. */
2846
2847 code = US"220";   /* Default status code */
2848 esc = US"";       /* Default extended status code */
2849 esclen = 0;       /* Length of esc */
2850
2851 if (!user_msg)
2852   {
2853   if (!(s = expand_string(smtp_banner)))
2854     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2855       "failed: %s", smtp_banner, expand_string_message);
2856   }
2857 else
2858   {
2859   int codelen = 3;
2860   s = user_msg;
2861   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2862   if (codelen > 4)
2863     {
2864     esc = code + 4;
2865     esclen = codelen - 4;
2866     }
2867   }
2868
2869 /* Remove any terminating newlines; might as well remove trailing space too */
2870
2871 p = s + Ustrlen(s);
2872 while (p > s && isspace(p[-1])) p--;
2873 *p = 0;
2874
2875 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2876 is all contained in a single IP packet. The original code wrote out the
2877 greeting using several calls to fprint/fputc, and on busy servers this could
2878 cause it to be split over more than one packet - which caused CC:Mail to fall
2879 over when it got the second part of the greeting after sending its first
2880 command. Sigh. To try to avoid this, build the complete greeting message
2881 first, and output it in one fell swoop. This gives a better chance of it
2882 ending up as a single packet. */
2883
2884 ss = string_get(256);
2885
2886 p = s;
2887 do       /* At least once, in case we have an empty string */
2888   {
2889   int len;
2890   uschar *linebreak = Ustrchr(p, '\n');
2891   ss = string_catn(ss, code, 3);
2892   if (linebreak == NULL)
2893     {
2894     len = Ustrlen(p);
2895     ss = string_catn(ss, US" ", 1);
2896     }
2897   else
2898     {
2899     len = linebreak - p;
2900     ss = string_catn(ss, US"-", 1);
2901     }
2902   ss = string_catn(ss, esc, esclen);
2903   ss = string_catn(ss, p, len);
2904   ss = string_catn(ss, US"\r\n", 2);
2905   p += len;
2906   if (linebreak != NULL) p++;
2907   }
2908 while (*p != 0);
2909
2910 /* Before we write the banner, check that there is no input pending, unless
2911 this synchronisation check is disabled. */
2912
2913 if (!check_sync())
2914   {
2915   unsigned n = smtp_inend - smtp_inptr;
2916   if (n > 32) n = 32;
2917
2918   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2919     "synchronization error (input sent without waiting for greeting): "
2920     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2921     string_printing(string_copyn(smtp_inptr, n)));
2922   smtp_printf("554 SMTP synchronization error\r\n", FALSE);
2923   return FALSE;
2924   }
2925
2926 /* Now output the banner */
2927
2928 smtp_printf("%s", FALSE, string_from_gstring(ss));
2929
2930 /* Attempt to see if we sent the banner before the last ACK of the 3-way
2931 handshake arrived.  If so we must have managed a TFO. */
2932
2933 #ifdef TCP_FASTOPEN
2934 tfo_in_check();
2935 #endif
2936
2937 return TRUE;
2938 }
2939
2940
2941
2942
2943
2944 /*************************************************
2945 *     Handle SMTP syntax and protocol errors     *
2946 *************************************************/
2947
2948 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2949 to do so. Then transmit the error response. The return value depends on the
2950 number of syntax and protocol errors in this SMTP session.
2951
2952 Arguments:
2953   type      error type, given as a log flag bit
2954   code      response code; <= 0 means don't send a response
2955   data      data to reflect in the response (can be NULL)
2956   errmess   the error message
2957
2958 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2959             +1   limit of syntax/protocol errors IS exceeded
2960
2961 These values fit in with the values of the "done" variable in the main
2962 processing loop in smtp_setup_msg(). */
2963
2964 static int
2965 synprot_error(int type, int code, uschar *data, uschar *errmess)
2966 {
2967 int yield = -1;
2968
2969 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2970   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2971   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2972
2973 if (++synprot_error_count > smtp_max_synprot_errors)
2974   {
2975   yield = 1;
2976   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2977     "syntax or protocol errors (last command was \"%s\")",
2978     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2979   }
2980
2981 if (code > 0)
2982   {
2983   smtp_printf("%d%c%s%s%s\r\n", FALSE, code, yield == 1 ? '-' : ' ',
2984     data ? data : US"", data ? US": " : US"", errmess);
2985   if (yield == 1)
2986     smtp_printf("%d Too many syntax or protocol errors\r\n", FALSE, code);
2987   }
2988
2989 return yield;
2990 }
2991
2992
2993
2994
2995 /*************************************************
2996 *    Send SMTP response, possibly multiline      *
2997 *************************************************/
2998
2999 /* There are, it seems, broken clients out there that cannot handle multiline
3000 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
3001 output nothing for non-final calls, and only the first line for anything else.
3002
3003 Arguments:
3004   code          SMTP code, may involve extended status codes
3005   codelen       length of smtp code; if > 4 there's an ESC
3006   final         FALSE if the last line isn't the final line
3007   msg           message text, possibly containing newlines
3008
3009 Returns:        nothing
3010 */
3011
3012 void
3013 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
3014 {
3015 int esclen = 0;
3016 uschar *esc = US"";
3017
3018 if (!final && no_multiline_responses) return;
3019
3020 if (codelen > 4)
3021   {
3022   esc = code + 4;
3023   esclen = codelen - 4;
3024   }
3025
3026 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
3027 have had the same. Note: this code is also present in smtp_printf(). It would
3028 be tidier to have it only in one place, but when it was added, it was easier to
3029 do it that way, so as not to have to mess with the code for the RCPT command,
3030 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
3031
3032 if (rcpt_in_progress)
3033   {
3034   if (rcpt_smtp_response == NULL)
3035     rcpt_smtp_response = string_copy(msg);
3036   else if (rcpt_smtp_response_same &&
3037            Ustrcmp(rcpt_smtp_response, msg) != 0)
3038     rcpt_smtp_response_same = FALSE;
3039   rcpt_in_progress = FALSE;
3040   }
3041
3042 /* Now output the message, splitting it up into multiple lines if necessary.
3043 We only handle pipelining these responses as far as nonfinal/final groups,
3044 not the whole MAIL/RCPT/DATA response set. */
3045
3046 for (;;)
3047   {
3048   uschar *nl = Ustrchr(msg, '\n');
3049   if (nl == NULL)
3050     {
3051     smtp_printf("%.3s%c%.*s%s\r\n", !final, code, final ? ' ':'-', esclen, esc, msg);
3052     return;
3053     }
3054   else if (nl[1] == 0 || no_multiline_responses)
3055     {
3056     smtp_printf("%.3s%c%.*s%.*s\r\n", !final, code, final ? ' ':'-', esclen, esc,
3057       (int)(nl - msg), msg);
3058     return;
3059     }
3060   else
3061     {
3062     smtp_printf("%.3s-%.*s%.*s\r\n", TRUE, code, esclen, esc, (int)(nl - msg), msg);
3063     msg = nl + 1;
3064     while (isspace(*msg)) msg++;
3065     }
3066   }
3067 }
3068
3069
3070
3071
3072 /*************************************************
3073 *            Parse user SMTP message             *
3074 *************************************************/
3075
3076 /* This function allows for user messages overriding the response code details
3077 by providing a suitable response code string at the start of the message
3078 user_msg. Check the message for starting with a response code and optionally an
3079 extended status code. If found, check that the first digit is valid, and if so,
3080 change the code pointer and length to use the replacement. An invalid code
3081 causes a panic log; in this case, if the log messages is the same as the user
3082 message, we must also adjust the value of the log message to show the code that
3083 is actually going to be used (the original one).
3084
3085 This function is global because it is called from receive.c as well as within
3086 this module.
3087
3088 Note that the code length returned includes the terminating whitespace
3089 character, which is always included in the regex match.
3090
3091 Arguments:
3092   code          SMTP code, may involve extended status codes
3093   codelen       length of smtp code; if > 4 there's an ESC
3094   msg           message text
3095   log_msg       optional log message, to be adjusted with the new SMTP code
3096   check_valid   if true, verify the response code
3097
3098 Returns:        nothing
3099 */
3100
3101 void
3102 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
3103   BOOL check_valid)
3104 {
3105 int n;
3106 int ovector[3];
3107
3108 if (!msg || !*msg) return;
3109
3110 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
3111   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
3112
3113 if (check_valid && (*msg)[0] != (*code)[0])
3114   {
3115   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
3116     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
3117   if (log_msg != NULL && *log_msg == *msg)
3118     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
3119   }
3120 else
3121   {
3122   *code = *msg;
3123   *codelen = ovector[1];    /* Includes final space */
3124   }
3125 *msg += ovector[1];         /* Chop the code off the message */
3126 return;
3127 }
3128
3129
3130
3131
3132 /*************************************************
3133 *           Handle an ACL failure                *
3134 *************************************************/
3135
3136 /* This function is called when acl_check() fails. As well as calls from within
3137 this module, it is called from receive.c for an ACL after DATA. It sorts out
3138 logging the incident, and sets up the error response. A message containing
3139 newlines is turned into a multiline SMTP response, but for logging, only the
3140 first line is used.
3141
3142 There's a table of default permanent failure response codes to use in
3143 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3144 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3145 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3146 state, because there are broken clients that try VRFY before RCPT. A 5xx
3147 response should be given only when the address is positively known to be
3148 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3149 no explicit code, but if there is one we let it know best.
3150 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3151
3152 From Exim 4.63, it is possible to override the response code details by
3153 providing a suitable response code string at the start of the message provided
3154 in user_msg. The code's first digit is checked for validity.
3155
3156 Arguments:
3157   where        where the ACL was called from
3158   rc           the failure code
3159   user_msg     a message that can be included in an SMTP response
3160   log_msg      a message for logging
3161
3162 Returns:     0 in most cases
3163              2 if the failure code was FAIL_DROP, in which case the
3164                SMTP connection should be dropped (this value fits with the
3165                "done" variable in smtp_setup_msg() below)
3166 */
3167
3168 int
3169 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3170 {
3171 BOOL drop = rc == FAIL_DROP;
3172 int codelen = 3;
3173 uschar *smtp_code;
3174 uschar *lognl;
3175 uschar *sender_info = US"";
3176 uschar *what =
3177 #ifdef WITH_CONTENT_SCAN
3178   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3179 #endif
3180   where == ACL_WHERE_PREDATA ? US"DATA" :
3181   where == ACL_WHERE_DATA ? US"after DATA" :
3182 #ifndef DISABLE_PRDR
3183   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3184 #endif
3185   smtp_cmd_data ?
3186     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3187     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3188
3189 if (drop) rc = FAIL;
3190
3191 /* Set the default SMTP code, and allow a user message to change it. */
3192
3193 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3194 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3195   where != ACL_WHERE_VRFY);
3196
3197 /* We used to have sender_address here; however, there was a bug that was not
3198 updating sender_address after a rewrite during a verify. When this bug was
3199 fixed, sender_address at this point became the rewritten address. I'm not sure
3200 this is what should be logged, so I've changed to logging the unrewritten
3201 address to retain backward compatibility. */
3202
3203 #ifndef WITH_CONTENT_SCAN
3204 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3205 #else
3206 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3207 #endif
3208   {
3209   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3210     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3211     sender_host_authenticated ? US" A="                                    : US"",
3212     sender_host_authenticated ? sender_host_authenticated                  : US"",
3213     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3214     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3215     );
3216   }
3217
3218 /* If there's been a sender verification failure with a specific message, and
3219 we have not sent a response about it yet, do so now, as a preliminary line for
3220 failures, but not defers. However, always log it for defer, and log it for fail
3221 unless the sender_verify_fail log selector has been turned off. */
3222
3223 if (sender_verified_failed &&
3224     !testflag(sender_verified_failed, af_sverify_told))
3225   {
3226   BOOL save_rcpt_in_progress = rcpt_in_progress;
3227   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3228
3229   setflag(sender_verified_failed, af_sverify_told);
3230
3231   if (rc != FAIL || LOGGING(sender_verify_fail))
3232     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3233       host_and_ident(TRUE),
3234       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3235       sender_verified_failed->address,
3236       (sender_verified_failed->message == NULL)? US"" :
3237       string_sprintf(": %s", sender_verified_failed->message));
3238
3239   if (rc == FAIL && sender_verified_failed->user_message)
3240     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3241         testflag(sender_verified_failed, af_verify_pmfail)?
3242           "Postmaster verification failed while checking <%s>\n%s\n"
3243           "Several RFCs state that you are required to have a postmaster\n"
3244           "mailbox for each mail domain. This host does not accept mail\n"
3245           "from domains whose servers reject the postmaster address."
3246           :
3247         testflag(sender_verified_failed, af_verify_nsfail)?
3248           "Callback setup failed while verifying <%s>\n%s\n"
3249           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3250           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3251           "RFC requirements, and stops you from receiving standard bounce\n"
3252           "messages. This host does not accept mail from domains whose servers\n"
3253           "refuse bounces."
3254           :
3255           "Verification failed for <%s>\n%s",
3256         sender_verified_failed->address,
3257         sender_verified_failed->user_message));
3258
3259   rcpt_in_progress = save_rcpt_in_progress;
3260   }
3261
3262 /* Sort out text for logging */
3263
3264 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3265 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3266
3267 /* Send permanent failure response to the command, but the code used isn't
3268 always a 5xx one - see comments at the start of this function. If the original
3269 rc was FAIL_DROP we drop the connection and yield 2. */
3270
3271 if (rc == FAIL)
3272   smtp_respond(smtp_code, codelen, TRUE,
3273     user_msg ? user_msg : US"Administrative prohibition");
3274
3275 /* Send temporary failure response to the command. Don't give any details,
3276 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3277 verb, and for a header verify when smtp_return_error_details is set.
3278
3279 This conditional logic is all somewhat of a mess because of the odd
3280 interactions between temp_details and return_error_details. One day it should
3281 be re-implemented in a tidier fashion. */
3282
3283 else
3284   if (acl_temp_details && user_msg)
3285     {
3286     if (  smtp_return_error_details
3287        && sender_verified_failed
3288        && sender_verified_failed->message
3289        )
3290       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3291
3292     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3293     }
3294   else
3295     smtp_respond(smtp_code, codelen, TRUE,
3296       US"Temporary local problem - please try later");
3297
3298 /* Log the incident to the logs that are specified by log_reject_target
3299 (default main, reject). This can be empty to suppress logging of rejections. If
3300 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3301 is closing if required and return 2.  */
3302
3303 if (log_reject_target != 0)
3304   {
3305 #ifdef SUPPORT_TLS
3306   gstring * g = s_tlslog(NULL);
3307   uschar * tls = string_from_gstring(g);
3308   if (!tls) tls = US"";
3309 #else
3310   uschar * tls = US"";
3311 #endif
3312   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3313     log_reject_target, "%s%s%s %s%srejected %s%s",
3314     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3315     host_and_ident(TRUE),
3316     tls,
3317     sender_info,
3318     rc == FAIL ? US"" : US"temporarily ",
3319     what, log_msg);
3320   }
3321
3322 if (!drop) return 0;
3323
3324 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3325   smtp_get_connection_info());
3326
3327 /* Run the not-quit ACL, but without any custom messages. This should not be a
3328 problem, because we get here only if some other ACL has issued "drop", and
3329 in that case, *its* custom messages will have been used above. */
3330
3331 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3332 return 2;
3333 }
3334
3335
3336
3337
3338 /*************************************************
3339 *     Handle SMTP exit when QUIT is not given    *
3340 *************************************************/
3341
3342 /* This function provides a logging/statistics hook for when an SMTP connection
3343 is dropped on the floor or the other end goes away. It's a global function
3344 because it's called from receive.c as well as this module. As well as running
3345 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3346 response, either with a custom message from the ACL, or using a default. There
3347 is one case, however, when no message is output - after "drop". In that case,
3348 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3349 passed to this function.
3350
3351 In case things go wrong while processing this function, causing an error that
3352 may re-enter this function, there is a recursion check.
3353
3354 Arguments:
3355   reason          What $smtp_notquit_reason will be set to in the ACL;
3356                     if NULL, the ACL is not run
3357   code            The error code to return as part of the response
3358   defaultrespond  The default message if there's no user_msg
3359
3360 Returns:          Nothing
3361 */
3362
3363 void
3364 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3365 {
3366 int rc;
3367 uschar *user_msg = NULL;
3368 uschar *log_msg = NULL;
3369
3370 /* Check for recursive acll */
3371
3372 if (smtp_exit_function_called)
3373   {
3374   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3375     reason);
3376   return;
3377   }
3378 smtp_exit_function_called = TRUE;
3379
3380 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3381
3382 if (acl_smtp_notquit && reason)
3383   {
3384   smtp_notquit_reason = reason;
3385   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3386                       &log_msg)) == ERROR)
3387     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3388       log_msg);
3389   }
3390
3391 /* Write an SMTP response if we are expected to give one. As the default
3392 responses are all internal, they should always fit in the buffer, but code a
3393 warning, just in case. Note that string_vformat() still leaves a complete
3394 string, even if it is incomplete. */
3395
3396 if (code && defaultrespond)
3397   {
3398   if (user_msg)
3399     smtp_respond(code, 3, TRUE, user_msg);
3400   else
3401     {
3402     uschar buffer[128];
3403     va_list ap;
3404     va_start(ap, defaultrespond);
3405     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3406       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3407     smtp_printf("%s %s\r\n", FALSE, code, buffer);
3408     va_end(ap);
3409     }
3410   mac_smtp_fflush();
3411   }
3412 }
3413
3414
3415
3416
3417 /*************************************************
3418 *             Verify HELO argument               *
3419 *************************************************/
3420
3421 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3422 matched. It is also called from ACL processing if verify = helo is used and
3423 verification was not previously tried (i.e. helo_try_verify_hosts was not
3424 matched). The result of its processing is to set helo_verified and
3425 helo_verify_failed. These variables should both be FALSE for this function to
3426 be called.
3427
3428 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3429 for IPv6 ::ffff: literals.
3430
3431 Argument:   none
3432 Returns:    TRUE if testing was completed;
3433             FALSE on a temporary failure
3434 */
3435
3436 BOOL
3437 smtp_verify_helo(void)
3438 {
3439 BOOL yield = TRUE;
3440
3441 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3442   sender_helo_name);
3443
3444 if (sender_helo_name == NULL)
3445   {
3446   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3447   }
3448
3449 /* Deal with the case of -bs without an IP address */
3450
3451 else if (sender_host_address == NULL)
3452   {
3453   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3454   helo_verified = TRUE;
3455   }
3456
3457 /* Deal with the more common case when there is a sending IP address */
3458
3459 else if (sender_helo_name[0] == '[')
3460   {
3461   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3462     Ustrlen(sender_host_address)) == 0;
3463
3464   #if HAVE_IPV6
3465   if (!helo_verified)
3466     {
3467     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3468       helo_verified = Ustrncmp(sender_helo_name + 1,
3469         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3470     }
3471   #endif
3472
3473   HDEBUG(D_receive)
3474     { if (helo_verified) debug_printf("matched host address\n"); }
3475   }
3476
3477 /* Do a reverse lookup if one hasn't already given a positive or negative
3478 response. If that fails, or the name doesn't match, try checking with a forward
3479 lookup. */
3480
3481 else
3482   {
3483   if (sender_host_name == NULL && !host_lookup_failed)
3484     yield = host_name_lookup() != DEFER;
3485
3486   /* If a host name is known, check it and all its aliases. */
3487
3488   if (sender_host_name)
3489     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3490       {
3491       sender_helo_dnssec = sender_host_dnssec;
3492       HDEBUG(D_receive) debug_printf("matched host name\n");
3493       }
3494     else
3495       {
3496       uschar **aliases = sender_host_aliases;
3497       while (*aliases)
3498         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3499           {
3500           sender_helo_dnssec = sender_host_dnssec;
3501           break;
3502           }
3503
3504       HDEBUG(D_receive) if (helo_verified)
3505           debug_printf("matched alias %s\n", *(--aliases));
3506       }
3507
3508   /* Final attempt: try a forward lookup of the helo name */
3509
3510   if (!helo_verified)
3511     {
3512     int rc;
3513     host_item h;
3514     dnssec_domains d;
3515     host_item *hh;
3516
3517     h.name = sender_helo_name;
3518     h.address = NULL;
3519     h.mx = MX_NONE;
3520     h.next = NULL;
3521     d.request = US"*";
3522     d.require = US"";
3523
3524     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3525       sender_helo_name);
3526     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3527                           NULL, NULL, NULL, &d, NULL, NULL);
3528     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3529       for (hh = &h; hh; hh = hh->next)
3530         if (Ustrcmp(hh->address, sender_host_address) == 0)
3531           {
3532           helo_verified = TRUE;
3533           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3534           HDEBUG(D_receive)
3535             {
3536             debug_printf("IP address for %s matches calling address\n"
3537               "Forward DNS security status: %sverified\n",
3538               sender_helo_name, sender_helo_dnssec ? "" : "un");
3539             }
3540           break;
3541           }
3542     }
3543   }
3544
3545 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3546 return yield;
3547 }
3548
3549
3550
3551
3552 /*************************************************
3553 *        Send user response message              *
3554 *************************************************/
3555
3556 /* This function is passed a default response code and a user message. It calls
3557 smtp_message_code() to check and possibly modify the response code, and then
3558 calls smtp_respond() to transmit the response. I put this into a function
3559 just to avoid a lot of repetition.
3560
3561 Arguments:
3562   code         the response code
3563   user_msg     the user message
3564
3565 Returns:       nothing
3566 */
3567
3568 static void
3569 smtp_user_msg(uschar *code, uschar *user_msg)
3570 {
3571 int len = 3;
3572 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3573 smtp_respond(code, len, TRUE, user_msg);
3574 }
3575
3576
3577
3578 static int
3579 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3580 {
3581 const uschar *set_id = NULL;
3582 int rc, i;
3583
3584 /* Run the checking code, passing the remainder of the command line as
3585 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3586 it as the only set numerical variable. The authenticator may set $auth<n>
3587 and also set other numeric variables. The $auth<n> variables are preferred
3588 nowadays; the numerical variables remain for backwards compatibility.
3589
3590 Afterwards, have a go at expanding the set_id string, even if
3591 authentication failed - for bad passwords it can be useful to log the
3592 userid. On success, require set_id to expand and exist, and put it in
3593 authenticated_id. Save this in permanent store, as the working store gets
3594 reset at HELO, RSET, etc. */
3595
3596 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3597 expand_nmax = 0;
3598 expand_nlength[0] = 0;   /* $0 contains nothing */
3599
3600 rc = (au->info->servercode)(au, smtp_cmd_data);
3601 if (au->set_id) set_id = expand_string(au->set_id);
3602 expand_nmax = -1;        /* Reset numeric variables */
3603 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3604
3605 /* The value of authenticated_id is stored in the spool file and printed in
3606 log lines. It must not contain binary zeros or newline characters. In
3607 normal use, it never will, but when playing around or testing, this error
3608 can (did) happen. To guard against this, ensure that the id contains only
3609 printing characters. */
3610
3611 if (set_id) set_id = string_printing(set_id);
3612
3613 /* For the non-OK cases, set up additional logging data if set_id
3614 is not empty. */
3615
3616 if (rc != OK)
3617   set_id = set_id && *set_id
3618     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3619
3620 /* Switch on the result */
3621
3622 switch(rc)
3623   {
3624   case OK:
3625   if (!au->set_id || set_id)    /* Complete success */
3626     {
3627     if (set_id) authenticated_id = string_copy_malloc(set_id);
3628     sender_host_authenticated = au->name;
3629     authentication_failed = FALSE;
3630     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3631
3632     received_protocol =
3633       (sender_host_address ? protocols : protocols_local)
3634         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3635     *s = *ss = US"235 Authentication succeeded";
3636     authenticated_by = au;
3637     break;
3638     }
3639
3640   /* Authentication succeeded, but we failed to expand the set_id string.
3641   Treat this as a temporary error. */
3642
3643   auth_defer_msg = expand_string_message;
3644   /* Fall through */
3645
3646   case DEFER:
3647   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3648   *s = string_sprintf("435 Unable to authenticate at present%s",
3649     auth_defer_user_msg);
3650   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3651     set_id, auth_defer_msg);
3652   break;
3653
3654   case BAD64:
3655   *s = *ss = US"501 Invalid base64 data";
3656   break;
3657
3658   case CANCELLED:
3659   *s = *ss = US"501 Authentication cancelled";
3660   break;
3661
3662   case UNEXPECTED:
3663   *s = *ss = US"553 Initial data not expected";
3664   break;
3665
3666   case FAIL:
3667   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3668   *s = US"535 Incorrect authentication data";
3669   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3670   break;
3671
3672   default:
3673   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3674   *s = US"435 Internal error";
3675   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3676     "check", set_id, rc);
3677   break;
3678   }
3679
3680 return rc;
3681 }
3682
3683
3684
3685
3686
3687 static int
3688 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3689 {
3690 int rd;
3691 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3692   {
3693   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3694     *recipient);
3695   rd = Ustrlen(recipient) + 1;
3696   *recipient = rewrite_address_qualify(*recipient, TRUE);
3697   return rd;
3698   }
3699 smtp_printf("501 %s: recipient address must contain a domain\r\n", FALSE,
3700   smtp_cmd_data);
3701 log_write(L_smtp_syntax_error,
3702   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3703   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3704 return 0;
3705 }
3706
3707
3708
3709
3710 static void
3711 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3712 {
3713 HAD(SCH_QUIT);
3714 incomplete_transaction_log(US"QUIT");
3715 if (acl_smtp_quit)
3716   {
3717   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3718   if (rc == ERROR)
3719     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3720       *log_msgp);
3721   }
3722 if (*user_msgp)
3723   smtp_respond(US"221", 3, TRUE, *user_msgp);
3724 else
3725   smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
3726
3727 #ifdef SUPPORT_TLS
3728 tls_close(TRUE, TRUE);
3729 #endif
3730
3731 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3732   smtp_get_connection_info());
3733 }
3734
3735
3736 static void
3737 smtp_rset_handler(void)
3738 {
3739 HAD(SCH_RSET);
3740 incomplete_transaction_log(US"RSET");
3741 smtp_printf("250 Reset OK\r\n", FALSE);
3742 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3743 }
3744
3745
3746
3747 /*************************************************
3748 *       Initialize for SMTP incoming message     *
3749 *************************************************/
3750
3751 /* This function conducts the initial dialogue at the start of an incoming SMTP
3752 message, and builds a list of recipients. However, if the incoming message
3753 is part of a batch (-bS option) a separate function is called since it would
3754 be messy having tests splattered about all over this function. This function
3755 therefore handles the case where interaction is occurring. The input and output
3756 files are set up in smtp_in and smtp_out.
3757
3758 The global recipients_list is set to point to a vector of recipient_item
3759 blocks, whose number is given by recipients_count. This is extended by the
3760 receive_add_recipient() function. The global variable sender_address is set to
3761 the sender's address. The yield is +1 if a message has been successfully
3762 started, 0 if a QUIT command was encountered or the connection was refused from
3763 the particular host, or -1 if the connection was lost.
3764
3765 Argument: none
3766
3767 Returns:  > 0 message successfully started (reached DATA)
3768           = 0 QUIT read or end of file reached or call refused
3769           < 0 lost connection
3770 */
3771
3772 int
3773 smtp_setup_msg(void)
3774 {
3775 int done = 0;
3776 BOOL toomany = FALSE;
3777 BOOL discarded = FALSE;
3778 BOOL last_was_rej_mail = FALSE;
3779 BOOL last_was_rcpt = FALSE;
3780 void *reset_point = store_get(0);
3781
3782 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3783
3784 /* Reset for start of new message. We allow one RSET not to be counted as a
3785 nonmail command, for those MTAs that insist on sending it between every
3786 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3787 TLS between messages (an Exim client may do this if it has messages queued up
3788 for the host). Note: we do NOT reset AUTH at this point. */
3789
3790 smtp_reset(reset_point);
3791 message_ended = END_NOTSTARTED;
3792
3793 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3794
3795 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3796 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3797 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3798 #ifdef SUPPORT_TLS
3799 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3800 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3801 #endif
3802
3803 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3804
3805 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3806
3807 /* Batched SMTP is handled in a different function. */
3808
3809 if (smtp_batched_input) return smtp_setup_batch_msg();
3810
3811 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3812 value. The values are 2 larger than the required yield of the function. */
3813
3814 while (done <= 0)
3815   {
3816   const uschar **argv;
3817   uschar *etrn_command;
3818   uschar *etrn_serialize_key;
3819   uschar *errmess;
3820   uschar *log_msg, *smtp_code;
3821   uschar *user_msg = NULL;
3822   uschar *recipient = NULL;
3823   uschar *hello = NULL;
3824   uschar *s, *ss;
3825   BOOL was_rej_mail = FALSE;
3826   BOOL was_rcpt = FALSE;
3827   void (*oldsignal)(int);
3828   pid_t pid;
3829   int start, end, sender_domain, recipient_domain;
3830   int rc;
3831   int c;
3832   auth_instance *au;
3833   uschar *orcpt = NULL;
3834   int flags;
3835   gstring * g;
3836
3837 #ifdef AUTH_TLS
3838   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3839   if (  tls_in.active >= 0
3840      && tls_in.peercert
3841      && tls_in.certificate_verified
3842      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3843      )
3844     {
3845     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3846     if (  acl_smtp_auth
3847        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3848                   &user_msg, &log_msg)) != OK
3849        )
3850       {
3851       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3852       continue;
3853       }
3854
3855     for (au = auths; au; au = au->next)
3856       if (strcmpic(US"tls", au->driver_name) == 0)
3857         {
3858         smtp_cmd_data = NULL;
3859
3860         if (smtp_in_auth(au, &s, &ss) == OK)
3861           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3862         else
3863           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3864         break;
3865         }
3866     }
3867 #endif
3868
3869 #ifdef TCP_QUICKACK
3870   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3871     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3872             US &off, sizeof(off));
3873 #endif
3874
3875   switch(smtp_read_command(TRUE, GETC_BUFFER_UNLIMITED))
3876     {
3877     /* The AUTH command is not permitted to occur inside a transaction, and may
3878     occur successfully only once per connection. Actually, that isn't quite
3879     true. When TLS is started, all previous information about a connection must
3880     be discarded, so a new AUTH is permitted at that time.
3881
3882     AUTH may only be used when it has been advertised. However, it seems that
3883     there are clients that send AUTH when it hasn't been advertised, some of
3884     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3885     So there's a get-out that allows this to happen.
3886
3887     AUTH is initially labelled as a "nonmail command" so that one occurrence
3888     doesn't get counted. We change the label here so that multiple failing
3889     AUTHS will eventually hit the nonmail threshold. */
3890
3891     case AUTH_CMD:
3892     HAD(SCH_AUTH);
3893     authentication_failed = TRUE;
3894     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3895
3896     if (!auth_advertised && !allow_auth_unadvertised)
3897       {
3898       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3899         US"AUTH command used when not advertised");
3900       break;
3901       }
3902     if (sender_host_authenticated)
3903       {
3904       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3905         US"already authenticated");
3906       break;
3907       }
3908     if (sender_address)
3909       {
3910       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3911         US"not permitted in mail transaction");
3912       break;
3913       }
3914
3915     /* Check the ACL */
3916
3917     if (  acl_smtp_auth
3918        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3919                   &user_msg, &log_msg)) != OK
3920        )
3921       {
3922       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3923       break;
3924       }
3925
3926     /* Find the name of the requested authentication mechanism. */
3927
3928     s = smtp_cmd_data;
3929     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3930       {
3931       if (!isalnum(c) && c != '-' && c != '_')
3932         {
3933         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3934           US"invalid character in authentication mechanism name");
3935         goto COMMAND_LOOP;
3936         }
3937       smtp_cmd_data++;
3938       }
3939
3940     /* If not at the end of the line, we must be at white space. Terminate the
3941     name and move the pointer on to any data that may be present. */
3942
3943     if (*smtp_cmd_data != 0)
3944       {
3945       *smtp_cmd_data++ = 0;
3946       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3947       }
3948
3949     /* Search for an authentication mechanism which is configured for use
3950     as a server and which has been advertised (unless, sigh, allow_auth_
3951     unadvertised is set). */
3952
3953     for (au = auths; au; au = au->next)
3954       if (strcmpic(s, au->public_name) == 0 && au->server &&
3955           (au->advertised || allow_auth_unadvertised))
3956         break;
3957
3958     if (au)
3959       {
3960       c = smtp_in_auth(au, &s, &ss);
3961
3962       smtp_printf("%s\r\n", FALSE, s);
3963       if (c != OK)
3964         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3965           au->name, host_and_ident(FALSE), ss);
3966       }
3967     else
3968       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3969         string_sprintf("%s authentication mechanism not supported", s));
3970
3971     break;  /* AUTH_CMD */
3972
3973     /* The HELO/EHLO commands are permitted to appear in the middle of a
3974     session as well as at the beginning. They have the effect of a reset in
3975     addition to their other functions. Their absence at the start cannot be
3976     taken to be an error.
3977
3978     RFC 2821 says:
3979
3980       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3981       or 502 failure replies MUST be returned as appropriate.  The SMTP
3982       server MUST stay in the same state after transmitting these replies
3983       that it was in before the EHLO was received.
3984
3985     Therefore, we do not do the reset until after checking the command for
3986     acceptability. This change was made for Exim release 4.11. Previously
3987     it did the reset first. */
3988
3989     case HELO_CMD:
3990     HAD(SCH_HELO);
3991     hello = US"HELO";
3992     esmtp = FALSE;
3993     goto HELO_EHLO;
3994
3995     case EHLO_CMD:
3996     HAD(SCH_EHLO);
3997     hello = US"EHLO";
3998     esmtp = TRUE;
3999
4000     HELO_EHLO:      /* Common code for HELO and EHLO */
4001     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
4002     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
4003
4004     /* Reject the HELO if its argument was invalid or non-existent. A
4005     successful check causes the argument to be saved in malloc store. */
4006
4007     if (!check_helo(smtp_cmd_data))
4008       {
4009       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", FALSE, hello);
4010
4011       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
4012         "invalid argument(s): %s", hello, host_and_ident(FALSE),
4013         (*smtp_cmd_argument == 0)? US"(no argument given)" :
4014                            string_printing(smtp_cmd_argument));
4015
4016       if (++synprot_error_count > smtp_max_synprot_errors)
4017         {
4018         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4019           "syntax or protocol errors (last command was \"%s\")",
4020           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
4021         done = 1;
4022         }
4023
4024       break;
4025       }
4026
4027     /* If sender_host_unknown is true, we have got here via the -bs interface,
4028     not called from inetd. Otherwise, we are running an IP connection and the
4029     host address will be set. If the helo name is the primary name of this
4030     host and we haven't done a reverse lookup, force one now. If helo_required
4031     is set, ensure that the HELO name matches the actual host. If helo_verify
4032     is set, do the same check, but softly. */
4033
4034     if (!sender_host_unknown)
4035       {
4036       BOOL old_helo_verified = helo_verified;
4037       uschar *p = smtp_cmd_data;
4038
4039       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
4040       *p = 0;
4041
4042       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
4043       because otherwise the log can be confusing. */
4044
4045       if (sender_host_name == NULL &&
4046            (deliver_domain = sender_helo_name,  /* set $domain */
4047             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
4048               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
4049         (void)host_name_lookup();
4050
4051       /* Rebuild the fullhost info to include the HELO name (and the real name
4052       if it was looked up.) */
4053
4054       host_build_sender_fullhost();  /* Rebuild */
4055       set_process_info("handling%s incoming connection from %s",
4056         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
4057
4058       /* Verify if configured. This doesn't give much security, but it does
4059       make some people happy to be able to do it. If helo_required is set,
4060       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
4061       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
4062       now obsolescent, since the verification can now be requested selectively
4063       at ACL time. */
4064
4065       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
4066       if (helo_required || helo_verify)
4067         {
4068         BOOL tempfail = !smtp_verify_helo();
4069         if (!helo_verified)
4070           {
4071           if (helo_required)
4072             {
4073             smtp_printf("%d %s argument does not match calling host\r\n", FALSE,
4074               tempfail? 451 : 550, hello);
4075             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
4076               tempfail? "temporarily " : "",
4077               hello, sender_helo_name, host_and_ident(FALSE));
4078             helo_verified = old_helo_verified;
4079             break;                   /* End of HELO/EHLO processing */
4080             }
4081           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
4082             "helo_try_verify_hosts\n", hello);
4083           }
4084         }
4085       }
4086
4087 #ifdef EXPERIMENTAL_SPF
4088     /* set up SPF context */
4089     spf_init(sender_helo_name, sender_host_address);
4090 #endif
4091
4092     /* Apply an ACL check if one is defined; afterwards, recheck
4093     synchronization in case the client started sending in a delay. */
4094
4095     if (acl_smtp_helo)
4096       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
4097                 &user_msg, &log_msg)) != OK)
4098         {
4099         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
4100         sender_helo_name = NULL;
4101         host_build_sender_fullhost();  /* Rebuild */
4102         break;
4103         }
4104       else if (!check_sync()) goto SYNC_FAILURE;
4105
4106     /* Generate an OK reply. The default string includes the ident if present,
4107     and also the IP address if present. Reflecting back the ident is intended
4108     as a deterrent to mail forgers. For maximum efficiency, and also because
4109     some broken systems expect each response to be in a single packet, arrange
4110     that the entire reply is sent in one write(). */
4111
4112     auth_advertised = FALSE;
4113     pipelining_advertised = FALSE;
4114 #ifdef SUPPORT_TLS
4115     tls_advertised = FALSE;
4116 #endif
4117     dsn_advertised = FALSE;
4118 #ifdef SUPPORT_I18N
4119     smtputf8_advertised = FALSE;
4120 #endif
4121
4122     smtp_code = US"250 ";        /* Default response code plus space*/
4123     if (!user_msg)
4124       {
4125       s = string_sprintf("%.3s %s Hello %s%s%s",
4126         smtp_code,
4127         smtp_active_hostname,
4128         sender_ident ? sender_ident : US"",
4129         sender_ident ? US" at " : US"",
4130         sender_host_name ? sender_host_name : sender_helo_name);
4131       g = string_cat(NULL, s);
4132
4133       if (sender_host_address)
4134         {
4135         g = string_catn(g, US" [", 2);
4136         g = string_cat (g, sender_host_address);
4137         g = string_catn(g, US"]", 1);
4138         }
4139       }
4140
4141     /* A user-supplied EHLO greeting may not contain more than one line. Note
4142     that the code returned by smtp_message_code() includes the terminating
4143     whitespace character. */
4144
4145     else
4146       {
4147       char *ss;
4148       int codelen = 4;
4149       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4150       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4151       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4152         {
4153         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4154           "newlines: message truncated: %s", string_printing(s));
4155         *ss = 0;
4156         }
4157       g = string_cat(NULL, s);
4158       }
4159
4160     g = string_catn(g, US"\r\n", 2);
4161
4162     /* If we received EHLO, we must create a multiline response which includes
4163     the functions supported. */
4164
4165     if (esmtp)
4166       {
4167       g->s[3] = '-';
4168
4169       /* I'm not entirely happy with this, as an MTA is supposed to check
4170       that it has enough room to accept a message of maximum size before
4171       it sends this. However, there seems little point in not sending it.
4172       The actual size check happens later at MAIL FROM time. By postponing it
4173       till then, VRFY and EXPN can be used after EHLO when space is short. */
4174
4175       if (thismessage_size_limit > 0)
4176         {
4177         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
4178           thismessage_size_limit);
4179         g = string_cat(g, big_buffer);
4180         }
4181       else
4182         {
4183         g = string_catn(g, smtp_code, 3);
4184         g = string_catn(g, US"-SIZE\r\n", 7);
4185         }
4186
4187       /* Exim does not do protocol conversion or data conversion. It is 8-bit
4188       clean; if it has an 8-bit character in its hand, it just sends it. It
4189       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4190       However, some users want this option simply in order to stop MUAs
4191       mangling messages that contain top-bit-set characters. It is therefore
4192       provided as an option. */
4193
4194       if (accept_8bitmime)
4195         {
4196         g = string_catn(g, smtp_code, 3);
4197         g = string_catn(g, US"-8BITMIME\r\n", 11);
4198         }
4199
4200       /* Advertise DSN support if configured to do so. */
4201       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4202         {
4203         g = string_catn(g, smtp_code, 3);
4204         g = string_catn(g, US"-DSN\r\n", 6);
4205         dsn_advertised = TRUE;
4206         }
4207
4208       /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4209       permitted to issue them; a check is made when any host actually tries. */
4210
4211       if (acl_smtp_etrn)
4212         {
4213         g = string_catn(g, smtp_code, 3);
4214         g = string_catn(g, US"-ETRN\r\n", 7);
4215         }
4216       if (acl_smtp_vrfy)
4217         {
4218         g = string_catn(g, smtp_code, 3);
4219         g = string_catn(g, US"-VRFY\r\n", 7);
4220         }
4221       if (acl_smtp_expn)
4222         {
4223         g = string_catn(g, smtp_code, 3);
4224         g = string_catn(g, US"-EXPN\r\n", 7);
4225         }
4226
4227       /* Exim is quite happy with pipelining, so let the other end know that
4228       it is safe to use it, unless advertising is disabled. */
4229
4230       if (pipelining_enable &&
4231           verify_check_host(&pipelining_advertise_hosts) == OK)
4232         {
4233         g = string_catn(g, smtp_code, 3);
4234         g = string_catn(g, US"-PIPELINING\r\n", 13);
4235         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4236         pipelining_advertised = TRUE;
4237         }
4238
4239
4240       /* If any server authentication mechanisms are configured, advertise
4241       them if the current host is in auth_advertise_hosts. The problem with
4242       advertising always is that some clients then require users to
4243       authenticate (and aren't configurable otherwise) even though it may not
4244       be necessary (e.g. if the host is in host_accept_relay).
4245
4246       RFC 2222 states that SASL mechanism names contain only upper case
4247       letters, so output the names in upper case, though we actually recognize
4248       them in either case in the AUTH command. */
4249
4250       if (  auths
4251 #ifdef AUTH_TLS
4252          && !sender_host_authenticated
4253 #endif
4254          && verify_check_host(&auth_advertise_hosts) == OK
4255          )
4256         {
4257         auth_instance *au;
4258         BOOL first = TRUE;
4259         for (au = auths; au; au = au->next)
4260           {
4261           au->advertised = FALSE;
4262           if (au->server)
4263             {
4264             DEBUG(D_auth+D_expand) debug_printf_indent(
4265               "Evaluating advertise_condition for %s athenticator\n",
4266               au->public_name);
4267             if (  !au->advertise_condition
4268                || expand_check_condition(au->advertise_condition, au->name,
4269                       US"authenticator")
4270                )
4271               {
4272               int saveptr;
4273               if (first)
4274                 {
4275                 g = string_catn(g, smtp_code, 3);
4276                 g = string_catn(g, US"-AUTH", 5);
4277                 first = FALSE;
4278                 auth_advertised = TRUE;
4279                 }
4280               saveptr = g->ptr;
4281               g = string_catn(g, US" ", 1);
4282               g = string_cat (g, au->public_name);
4283               while (++saveptr < g->ptr) g->s[saveptr] = toupper(g->s[saveptr]);
4284               au->advertised = TRUE;
4285               }
4286             }
4287           }
4288
4289         if (!first) g = string_catn(g, US"\r\n", 2);
4290         }
4291
4292       /* RFC 3030 CHUNKING */
4293
4294       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4295         {
4296         g = string_catn(g, smtp_code, 3);
4297         g = string_catn(g, US"-CHUNKING\r\n", 11);
4298         chunking_offered = TRUE;
4299         chunking_state = CHUNKING_OFFERED;
4300         }
4301
4302       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4303       if it has been included in the binary, and the host matches
4304       tls_advertise_hosts. We must *not* advertise if we are already in a
4305       secure connection. */
4306
4307 #ifdef SUPPORT_TLS
4308       if (tls_in.active < 0 &&
4309           verify_check_host(&tls_advertise_hosts) != FAIL)
4310         {
4311         g = string_catn(g, smtp_code, 3);
4312         g = string_catn(g, US"-STARTTLS\r\n", 11);
4313         tls_advertised = TRUE;
4314         }
4315 #endif
4316
4317 #ifndef DISABLE_PRDR
4318       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4319       if (prdr_enable)
4320         {
4321         g = string_catn(g, smtp_code, 3);
4322         g = string_catn(g, US"-PRDR\r\n", 7);
4323         }
4324 #endif
4325
4326 #ifdef SUPPORT_I18N
4327       if (  accept_8bitmime
4328          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4329         {
4330         g = string_catn(g, smtp_code, 3);
4331         g = string_catn(g, US"-SMTPUTF8\r\n", 11);
4332         smtputf8_advertised = TRUE;
4333         }
4334 #endif
4335
4336       /* Finish off the multiline reply with one that is always available. */
4337
4338       g = string_catn(g, smtp_code, 3);
4339       g = string_catn(g, US" HELP\r\n", 7);
4340       }
4341
4342     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4343     has been seen. */
4344
4345 #ifdef SUPPORT_TLS
4346     if (tls_in.active >= 0) (void)tls_write(TRUE, g->s, g->ptr, FALSE); else
4347 #endif
4348
4349       {
4350       int i = fwrite(g->s, 1, g->ptr, smtp_out); i = i; /* compiler quietening */
4351       }
4352     DEBUG(D_receive)
4353       {
4354       uschar *cr;
4355
4356       (void) string_from_gstring(g);
4357       while ((cr = Ustrchr(g->s, '\r')) != NULL)   /* lose CRs */
4358         memmove(cr, cr + 1, (g->ptr--) - (cr - g->s));
4359       debug_printf("SMTP>> %s", g->s);
4360       }
4361     helo_seen = TRUE;
4362
4363     /* Reset the protocol and the state, abandoning any previous message. */
4364     received_protocol =
4365       (sender_host_address ? protocols : protocols_local)
4366         [ (esmtp
4367           ? pextend + (sender_host_authenticated ? pauthed : 0)
4368           : pnormal)
4369         + (tls_in.active >= 0 ? pcrpted : 0)
4370         ];
4371     cancel_cutthrough_connection(TRUE, US"sent EHLO response");
4372     smtp_reset(reset_point);
4373     toomany = FALSE;
4374     break;   /* HELO/EHLO */
4375
4376
4377     /* The MAIL command requires an address as an operand. All we do
4378     here is to parse it for syntactic correctness. The form "<>" is
4379     a special case which converts into an empty string. The start/end
4380     pointers in the original are not used further for this address, as
4381     it is the canonical extracted address which is all that is kept. */
4382
4383     case MAIL_CMD:
4384     HAD(SCH_MAIL);
4385     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4386     was_rej_mail = TRUE;               /* Reset if accepted */
4387     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4388
4389     if (helo_required && !helo_seen)
4390       {
4391       smtp_printf("503 HELO or EHLO required\r\n", FALSE);
4392       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4393         "HELO/EHLO given", host_and_ident(FALSE));
4394       break;
4395       }
4396
4397     if (sender_address != NULL)
4398       {
4399       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4400         US"sender already given");
4401       break;
4402       }
4403
4404     if (smtp_cmd_data[0] == 0)
4405       {
4406       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4407         US"MAIL must have an address operand");
4408       break;
4409       }
4410
4411     /* Check to see if the limit for messages per connection would be
4412     exceeded by accepting further messages. */
4413
4414     if (smtp_accept_max_per_connection > 0 &&
4415         smtp_mailcmd_count > smtp_accept_max_per_connection)
4416       {
4417       smtp_printf("421 too many messages in this connection\r\n", FALSE);
4418       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4419         "messages in one connection", host_and_ident(TRUE));
4420       break;
4421       }
4422
4423     /* Reset for start of message - even if this is going to fail, we
4424     obviously need to throw away any previous data. */
4425
4426     cancel_cutthrough_connection(TRUE, US"MAIL received");
4427     smtp_reset(reset_point);
4428     toomany = FALSE;
4429     sender_data = recipient_data = NULL;
4430
4431     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4432
4433     if (esmtp) for(;;)
4434       {
4435       uschar *name, *value, *end;
4436       unsigned long int size;
4437       BOOL arg_error = FALSE;
4438
4439       if (!extract_option(&name, &value)) break;
4440
4441       for (mail_args = env_mail_type_list;
4442            mail_args->value != ENV_MAIL_OPT_NULL;
4443            mail_args++
4444           )
4445         if (strcmpic(name, mail_args->name) == 0)
4446           break;
4447       if (mail_args->need_value && strcmpic(value, US"") == 0)
4448         break;
4449
4450       switch(mail_args->value)
4451         {
4452         /* Handle SIZE= by reading the value. We don't do the check till later,
4453         in order to be able to log the sender address on failure. */
4454         case ENV_MAIL_OPT_SIZE:
4455           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4456             {
4457             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4458               size = INT_MAX;
4459             message_size = (int)size;
4460             }
4461           else
4462             arg_error = TRUE;
4463           break;
4464
4465         /* If this session was initiated with EHLO and accept_8bitmime is set,
4466         Exim will have indicated that it supports the BODY=8BITMIME option. In
4467         fact, it does not support this according to the RFCs, in that it does not
4468         take any special action for forwarding messages containing 8-bit
4469         characters. That is why accept_8bitmime is not the default setting, but
4470         some sites want the action that is provided. We recognize both "8BITMIME"
4471         and "7BIT" as body types, but take no action. */
4472         case ENV_MAIL_OPT_BODY:
4473           if (accept_8bitmime) {
4474             if (strcmpic(value, US"8BITMIME") == 0)
4475               body_8bitmime = 8;
4476             else if (strcmpic(value, US"7BIT") == 0)
4477               body_8bitmime = 7;
4478             else
4479               {
4480               body_8bitmime = 0;
4481               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4482                 US"invalid data for BODY");
4483               goto COMMAND_LOOP;
4484               }
4485             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4486             break;
4487           }
4488           arg_error = TRUE;
4489           break;
4490
4491         /* Handle the two DSN options, but only if configured to do so (which
4492         will have caused "DSN" to be given in the EHLO response). The code itself
4493         is included only if configured in at build time. */
4494
4495         case ENV_MAIL_OPT_RET:
4496           if (dsn_advertised)
4497             {
4498             /* Check if RET has already been set */
4499             if (dsn_ret > 0)
4500               {
4501               synprot_error(L_smtp_syntax_error, 501, NULL,
4502                 US"RET can be specified once only");
4503               goto COMMAND_LOOP;
4504               }
4505             dsn_ret = strcmpic(value, US"HDRS") == 0
4506               ? dsn_ret_hdrs
4507               : strcmpic(value, US"FULL") == 0
4508               ? dsn_ret_full
4509               : 0;
4510             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4511             /* Check for invalid invalid value, and exit with error */
4512             if (dsn_ret == 0)
4513               {
4514               synprot_error(L_smtp_syntax_error, 501, NULL,
4515                 US"Value for RET is invalid");
4516               goto COMMAND_LOOP;
4517               }
4518             }
4519           break;
4520         case ENV_MAIL_OPT_ENVID:
4521           if (dsn_advertised)
4522             {
4523             /* Check if the dsn envid has been already set */
4524             if (dsn_envid != NULL)
4525               {
4526               synprot_error(L_smtp_syntax_error, 501, NULL,
4527                 US"ENVID can be specified once only");
4528               goto COMMAND_LOOP;
4529               }
4530             dsn_envid = string_copy(value);
4531             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4532             }
4533           break;
4534
4535         /* Handle the AUTH extension. If the value given is not "<>" and either
4536         the ACL says "yes" or there is no ACL but the sending host is
4537         authenticated, we set it up as the authenticated sender. However, if the
4538         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4539         the condition is met. The value of AUTH is an xtext, which means that +,
4540         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4541         coding. */
4542         case ENV_MAIL_OPT_AUTH:
4543           if (Ustrcmp(value, "<>") != 0)
4544             {
4545             int rc;
4546             uschar *ignore_msg;
4547
4548             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4549               {
4550               /* Put back terminator overrides for error message */
4551               value[-1] = '=';
4552               name[-1] = ' ';
4553               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4554                 US"invalid data for AUTH");
4555               goto COMMAND_LOOP;
4556               }
4557             if (acl_smtp_mailauth == NULL)
4558               {
4559               ignore_msg = US"client not authenticated";
4560               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4561               }
4562             else
4563               {
4564               ignore_msg = US"rejected by ACL";
4565               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4566                 &user_msg, &log_msg);
4567               }
4568
4569             switch (rc)
4570               {
4571               case OK:
4572                 if (authenticated_by == NULL ||
4573                     authenticated_by->mail_auth_condition == NULL ||
4574                     expand_check_condition(authenticated_by->mail_auth_condition,
4575                         authenticated_by->name, US"authenticator"))
4576                   break;     /* Accept the AUTH */
4577
4578                 ignore_msg = US"server_mail_auth_condition failed";
4579                 if (authenticated_id != NULL)
4580                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4581                     ignore_msg, authenticated_id);
4582
4583               /* Fall through */
4584
4585               case FAIL:
4586                 authenticated_sender = NULL;
4587                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4588                   value, host_and_ident(TRUE), ignore_msg);
4589                 break;
4590
4591               /* Should only get DEFER or ERROR here. Put back terminator
4592               overrides for error message */
4593
4594               default:
4595                 value[-1] = '=';
4596                 name[-1] = ' ';
4597                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4598                   log_msg);
4599                 goto COMMAND_LOOP;
4600               }
4601             }
4602             break;
4603
4604 #ifndef DISABLE_PRDR
4605         case ENV_MAIL_OPT_PRDR:
4606           if (prdr_enable)
4607             prdr_requested = TRUE;
4608           break;
4609 #endif
4610
4611 #ifdef SUPPORT_I18N
4612         case ENV_MAIL_OPT_UTF8:
4613           if (smtputf8_advertised)
4614             {
4615             int old_pool = store_pool;
4616
4617             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4618             message_smtputf8 = allow_utf8_domains = TRUE;
4619             store_pool = POOL_PERM;
4620             received_protocol = string_sprintf("utf8%s", received_protocol);
4621             store_pool = old_pool;
4622             }
4623           break;
4624 #endif
4625         /* No valid option. Stick back the terminator characters and break
4626         the loop.  Do the name-terminator second as extract_option sets
4627         value==name when it found no equal-sign.
4628         An error for a malformed address will occur. */
4629         case ENV_MAIL_OPT_NULL:
4630           value[-1] = '=';
4631           name[-1] = ' ';
4632           arg_error = TRUE;
4633           break;
4634
4635         default:  assert(0);
4636         }
4637       /* Break out of for loop if switch() had bad argument or
4638          when start of the email address is reached */
4639       if (arg_error) break;
4640       }
4641
4642     /* If we have passed the threshold for rate limiting, apply the current
4643     delay, and update it for next time, provided this is a limited host. */
4644
4645     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4646         verify_check_host(&smtp_ratelimit_hosts) == OK)
4647       {
4648       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4649         smtp_delay_mail/1000.0);
4650       millisleep((int)smtp_delay_mail);
4651       smtp_delay_mail *= smtp_rlm_factor;
4652       if (smtp_delay_mail > (double)smtp_rlm_limit)
4653         smtp_delay_mail = (double)smtp_rlm_limit;
4654       }
4655
4656     /* Now extract the address, first applying any SMTP-time rewriting. The
4657     TRUE flag allows "<>" as a sender address. */
4658
4659     raw_sender = rewrite_existflags & rewrite_smtp
4660       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4661                     global_rewrite_rules)
4662       : smtp_cmd_data;
4663
4664     raw_sender =
4665       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4666         TRUE);
4667
4668     if (!raw_sender)
4669       {
4670       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4671       break;
4672       }
4673
4674     sender_address = raw_sender;
4675
4676     /* If there is a configured size limit for mail, check that this message
4677     doesn't exceed it. The check is postponed to this point so that the sender
4678     can be logged. */
4679
4680     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4681       {
4682       smtp_printf("552 Message size exceeds maximum permitted\r\n", FALSE);
4683       log_write(L_size_reject,
4684           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4685           "message too big: size%s=%d max=%d",
4686           sender_address,
4687           host_and_ident(TRUE),
4688           (message_size == INT_MAX)? ">" : "",
4689           message_size,
4690           thismessage_size_limit);
4691       sender_address = NULL;
4692       break;
4693       }
4694
4695     /* Check there is enough space on the disk unless configured not to.
4696     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4697     plus the current message - i.e. we accept the message only if it won't
4698     reduce the space below the threshold. Add 5000 to the size to allow for
4699     overheads such as the Received: line and storing of recipients, etc.
4700     By putting the check here, even when SIZE is not given, it allow VRFY
4701     and EXPN etc. to be used when space is short. */
4702
4703     if (!receive_check_fs(
4704          (smtp_check_spool_space && message_size >= 0)?
4705             message_size + 5000 : 0))
4706       {
4707       smtp_printf("452 Space shortage, please try later\r\n", FALSE);
4708       sender_address = NULL;
4709       break;
4710       }
4711
4712     /* If sender_address is unqualified, reject it, unless this is a locally
4713     generated message, or the sending host or net is permitted to send
4714     unqualified addresses - typically local machines behaving as MUAs -
4715     in which case just qualify the address. The flag is set above at the start
4716     of the SMTP connection. */
4717
4718     if (sender_domain == 0 && sender_address[0] != 0)
4719       {
4720       if (allow_unqualified_sender)
4721         {
4722         sender_domain = Ustrlen(sender_address) + 1;
4723         sender_address = rewrite_address_qualify(sender_address, FALSE);
4724         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4725           raw_sender);
4726         }
4727       else
4728         {
4729         smtp_printf("501 %s: sender address must contain a domain\r\n", FALSE,
4730           smtp_cmd_data);
4731         log_write(L_smtp_syntax_error,
4732           LOG_MAIN|LOG_REJECT,
4733           "unqualified sender rejected: <%s> %s%s",
4734           raw_sender,
4735           host_and_ident(TRUE),
4736           host_lookup_msg);
4737         sender_address = NULL;
4738         break;
4739         }
4740       }
4741
4742     /* Apply an ACL check if one is defined, before responding. Afterwards,
4743     when pipelining is not advertised, do another sync check in case the ACL
4744     delayed and the client started sending in the meantime. */
4745
4746     if (acl_smtp_mail)
4747       {
4748       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4749       if (rc == OK && !pipelining_advertised && !check_sync())
4750         goto SYNC_FAILURE;
4751       }
4752     else
4753       rc = OK;
4754
4755     if (rc == OK || rc == DISCARD)
4756       {
4757       BOOL more = pipeline_response();
4758
4759       if (!user_msg)
4760         smtp_printf("%s%s%s", more, US"250 OK",
4761                   #ifndef DISABLE_PRDR
4762                     prdr_requested ? US", PRDR Requested" : US"",
4763                   #else
4764                     US"",
4765                   #endif
4766                     US"\r\n");
4767       else
4768         {
4769       #ifndef DISABLE_PRDR
4770         if (prdr_requested)
4771            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4772       #endif
4773         smtp_user_msg(US"250", user_msg);
4774         }
4775       smtp_delay_rcpt = smtp_rlr_base;
4776       recipients_discarded = (rc == DISCARD);
4777       was_rej_mail = FALSE;
4778       }
4779     else
4780       {
4781       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4782       sender_address = NULL;
4783       }
4784     break;
4785
4786
4787     /* The RCPT command requires an address as an operand. There may be any
4788     number of RCPT commands, specifying multiple recipients. We build them all
4789     into a data structure. The start/end values given by parse_extract_address
4790     are not used, as we keep only the extracted address. */
4791
4792     case RCPT_CMD:
4793     HAD(SCH_RCPT);
4794     rcpt_count++;
4795     was_rcpt = rcpt_in_progress = TRUE;
4796
4797     /* There must be a sender address; if the sender was rejected and
4798     pipelining was advertised, we assume the client was pipelining, and do not
4799     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4800     get the same treatment. */
4801
4802     if (sender_address == NULL)
4803       {
4804       if (pipelining_advertised && last_was_rej_mail)
4805         {
4806         smtp_printf("503 sender not yet given\r\n", FALSE);
4807         was_rej_mail = TRUE;
4808         }
4809       else
4810         {
4811         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4812           US"sender not yet given");
4813         was_rcpt = FALSE;             /* Not a valid RCPT */
4814         }
4815       rcpt_fail_count++;
4816       break;
4817       }
4818
4819     /* Check for an operand */
4820
4821     if (smtp_cmd_data[0] == 0)
4822       {
4823       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4824         US"RCPT must have an address operand");
4825       rcpt_fail_count++;
4826       break;
4827       }
4828
4829     /* Set the DSN flags orcpt and dsn_flags from the session*/
4830     orcpt = NULL;
4831     flags = 0;
4832
4833     if (esmtp) for(;;)
4834       {
4835       uschar *name, *value;
4836
4837       if (!extract_option(&name, &value))
4838         break;
4839
4840       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4841         {
4842         /* Check whether orcpt has been already set */
4843         if (orcpt)
4844           {
4845           synprot_error(L_smtp_syntax_error, 501, NULL,
4846             US"ORCPT can be specified once only");
4847           goto COMMAND_LOOP;
4848           }
4849         orcpt = string_copy(value);
4850         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4851         }
4852
4853       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4854         {
4855         /* Check if the notify flags have been already set */
4856         if (flags > 0)
4857           {
4858           synprot_error(L_smtp_syntax_error, 501, NULL,
4859               US"NOTIFY can be specified once only");
4860           goto COMMAND_LOOP;
4861           }
4862         if (strcmpic(value, US"NEVER") == 0)
4863           flags |= rf_notify_never;
4864         else
4865           {
4866           uschar *p = value;
4867           while (*p != 0)
4868             {
4869             uschar *pp = p;
4870             while (*pp != 0 && *pp != ',') pp++;
4871             if (*pp == ',') *pp++ = 0;
4872             if (strcmpic(p, US"SUCCESS") == 0)
4873               {
4874               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4875               flags |= rf_notify_success;
4876               }
4877             else if (strcmpic(p, US"FAILURE") == 0)
4878               {
4879               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4880               flags |= rf_notify_failure;
4881               }
4882             else if (strcmpic(p, US"DELAY") == 0)
4883               {
4884               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4885               flags |= rf_notify_delay;
4886               }
4887             else
4888               {
4889               /* Catch any strange values */
4890               synprot_error(L_smtp_syntax_error, 501, NULL,
4891                 US"Invalid value for NOTIFY parameter");
4892               goto COMMAND_LOOP;
4893               }
4894             p = pp;
4895             }
4896             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4897           }
4898         }
4899
4900       /* Unknown option. Stick back the terminator characters and break
4901       the loop. An error for a malformed address will occur. */
4902
4903       else
4904         {
4905         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4906         name[-1] = ' ';
4907         value[-1] = '=';
4908         break;
4909         }
4910       }
4911
4912     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4913     as a recipient address */
4914
4915     recipient = rewrite_existflags & rewrite_smtp
4916       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4917           global_rewrite_rules)
4918       : smtp_cmd_data;
4919
4920     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4921       &recipient_domain, FALSE)))
4922       {
4923       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4924       rcpt_fail_count++;
4925       break;
4926       }
4927
4928     /* If the recipient address is unqualified, reject it, unless this is a
4929     locally generated message. However, unqualified addresses are permitted
4930     from a configured list of hosts and nets - typically when behaving as
4931     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4932     really. The flag is set at the start of the SMTP connection.
4933
4934     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4935     assumed this meant "reserved local part", but the revision of RFC 821 and
4936     friends now makes it absolutely clear that it means *mailbox*. Consequently
4937     we must always qualify this address, regardless. */
4938
4939     if (!recipient_domain)
4940       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4941                                   US"recipient")))
4942         {
4943         rcpt_fail_count++;
4944         break;
4945         }
4946
4947     /* Check maximum allowed */
4948
4949     if (rcpt_count > recipients_max && recipients_max > 0)
4950       {
4951       if (recipients_max_reject)
4952         {
4953         rcpt_fail_count++;
4954         smtp_printf("552 too many recipients\r\n", FALSE);
4955         if (!toomany)
4956           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4957             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4958         }
4959       else
4960         {
4961         rcpt_defer_count++;
4962         smtp_printf("452 too many recipients\r\n", FALSE);
4963         if (!toomany)
4964           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4965             "temporarily rejected: sender=<%s> %s", sender_address,
4966             host_and_ident(TRUE));
4967         }
4968
4969       toomany = TRUE;
4970       break;
4971       }
4972
4973     /* If we have passed the threshold for rate limiting, apply the current
4974     delay, and update it for next time, provided this is a limited host. */
4975
4976     if (rcpt_count > smtp_rlr_threshold &&
4977         verify_check_host(&smtp_ratelimit_hosts) == OK)
4978       {
4979       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4980         smtp_delay_rcpt/1000.0);
4981       millisleep((int)smtp_delay_rcpt);
4982       smtp_delay_rcpt *= smtp_rlr_factor;
4983       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4984         smtp_delay_rcpt = (double)smtp_rlr_limit;
4985       }
4986
4987     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4988     for them. Otherwise, check the access control list for this recipient. As
4989     there may be a delay in this, re-check for a synchronization error
4990     afterwards, unless pipelining was advertised. */
4991
4992     if (recipients_discarded)
4993       rc = DISCARD;
4994     else
4995       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4996                     &log_msg)) == OK
4997          && !pipelining_advertised && !check_sync())
4998         goto SYNC_FAILURE;
4999
5000     /* The ACL was happy */
5001
5002     if (rc == OK)
5003       {
5004       BOOL more = pipeline_response();
5005
5006       if (user_msg)
5007         smtp_user_msg(US"250", user_msg);
5008       else
5009         smtp_printf("250 Accepted\r\n", more);
5010       receive_add_recipient(recipient, -1);
5011
5012       /* Set the dsn flags in the recipients_list */
5013       recipients_list[recipients_count-1].orcpt = orcpt;
5014       recipients_list[recipients_count-1].dsn_flags = flags;
5015
5016       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
5017         recipients_list[recipients_count-1].orcpt,
5018         recipients_list[recipients_count-1].dsn_flags);
5019       }
5020
5021     /* The recipient was discarded */
5022
5023     else if (rc == DISCARD)
5024       {
5025       if (user_msg)
5026         smtp_user_msg(US"250", user_msg);
5027       else
5028         smtp_printf("250 Accepted\r\n", FALSE);
5029       rcpt_fail_count++;
5030       discarded = TRUE;
5031       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
5032         "discarded by %s ACL%s%s", host_and_ident(TRUE),
5033         sender_address_unrewritten? sender_address_unrewritten : sender_address,
5034         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
5035         log_msg ? US": " : US"", log_msg ? log_msg : US"");
5036       }
5037
5038     /* Either the ACL failed the address, or it was deferred. */
5039
5040     else
5041       {
5042       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
5043       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
5044       }
5045     break;
5046
5047
5048     /* The DATA command is legal only if it follows successful MAIL FROM
5049     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
5050     not counted as a protocol error if it follows RCPT (which must have been
5051     rejected if there are no recipients.) This function is complete when a
5052     valid DATA command is encountered.
5053
5054     Note concerning the code used: RFC 2821 says this:
5055
5056      -  If there was no MAIL, or no RCPT, command, or all such commands
5057         were rejected, the server MAY return a "command out of sequence"
5058         (503) or "no valid recipients" (554) reply in response to the
5059         DATA command.
5060
5061     The example in the pipelining RFC 2920 uses 554, but I use 503 here
5062     because it is the same whether pipelining is in use or not.
5063
5064     If all the RCPT commands that precede DATA provoked the same error message
5065     (often indicating some kind of system error), it is helpful to include it
5066     with the DATA rejection (an idea suggested by Tony Finch). */
5067
5068     case BDAT_CMD:
5069     HAD(SCH_BDAT);
5070       {
5071       int n;
5072
5073       if (chunking_state != CHUNKING_OFFERED)
5074         {
5075         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5076           US"BDAT command used when CHUNKING not advertised");
5077         break;
5078         }
5079
5080       /* grab size, endmarker */
5081
5082       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
5083         {
5084         done = synprot_error(L_smtp_protocol_error, 501, NULL,
5085           US"missing size for BDAT command");
5086         break;
5087         }
5088       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
5089         ? CHUNKING_LAST : CHUNKING_ACTIVE;
5090       chunking_data_left = chunking_datasize;
5091       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
5092                                     (int)chunking_state, chunking_data_left);
5093
5094       lwr_receive_getc = receive_getc;
5095       lwr_receive_getbuf = receive_getbuf;
5096       lwr_receive_ungetc = receive_ungetc;
5097       receive_getc = bdat_getc;
5098       receive_ungetc = bdat_ungetc;
5099
5100       goto DATA_BDAT;
5101       }
5102
5103     case DATA_CMD:
5104     HAD(SCH_DATA);
5105
5106     DATA_BDAT:          /* Common code for DATA and BDAT */
5107     if (!discarded && recipients_count <= 0)
5108       {
5109       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
5110         {
5111         uschar *code = US"503";
5112         int len = Ustrlen(rcpt_smtp_response);
5113         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
5114           "this error:");
5115         /* Responses from smtp_printf() will have \r\n on the end */
5116         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
5117           rcpt_smtp_response[len-2] = 0;
5118         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
5119         }
5120       if (pipelining_advertised && last_was_rcpt)
5121         smtp_printf("503 Valid RCPT command must precede %s\r\n", FALSE,
5122           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
5123       else
5124         done = synprot_error(L_smtp_protocol_error, 503, NULL,
5125           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
5126           ? US"valid RCPT command must precede DATA"
5127           : US"valid RCPT command must precede BDAT");
5128
5129       if (chunking_state > CHUNKING_OFFERED)
5130         bdat_flush_data();
5131       break;
5132       }
5133
5134     if (toomany && recipients_max_reject)
5135       {
5136       sender_address = NULL;  /* This will allow a new MAIL without RSET */
5137       sender_address_unrewritten = NULL;
5138       smtp_printf("554 Too many recipients\r\n", FALSE);
5139       break;
5140       }
5141
5142     if (chunking_state > CHUNKING_OFFERED)
5143       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
5144     else
5145       {
5146       /* If there is an ACL, re-check the synchronization afterwards, since the
5147       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5148       to get the DATA command sent. */
5149
5150       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
5151         rc = OK;
5152       else
5153         {
5154         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5155         enable_dollar_recipients = TRUE;
5156         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5157           &log_msg);
5158         enable_dollar_recipients = FALSE;
5159         if (rc == OK && !check_sync())
5160           goto SYNC_FAILURE;
5161
5162         if (rc != OK)
5163           {     /* Either the ACL failed the address, or it was deferred. */
5164           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5165           break;
5166           }
5167         }
5168
5169       if (user_msg)
5170         smtp_user_msg(US"354", user_msg);
5171       else
5172         smtp_printf(
5173           "354 Enter message, ending with \".\" on a line by itself\r\n", FALSE);
5174       }
5175
5176 #ifdef TCP_QUICKACK
5177     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
5178       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5179               US &on, sizeof(on));
5180 #endif
5181     done = 3;
5182     message_ended = END_NOTENDED;   /* Indicate in middle of data */
5183
5184     break;
5185
5186
5187     case VRFY_CMD:
5188       {
5189       uschar * address;
5190
5191       HAD(SCH_VRFY);
5192
5193       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5194             &start, &end, &recipient_domain, FALSE)))
5195         {
5196         smtp_printf("501 %s\r\n", FALSE, errmess);
5197         break;
5198         }
5199
5200       if (!recipient_domain)
5201         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5202                                     US"verify")))
5203           break;
5204
5205       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5206                     &user_msg, &log_msg)) != OK)
5207         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5208       else
5209         {
5210         uschar * s = NULL;
5211         address_item * addr = deliver_make_addr(address, FALSE);
5212
5213         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5214                -1, -1, NULL, NULL, NULL))
5215           {
5216           case OK:
5217             s = string_sprintf("250 <%s> is deliverable", address);
5218             break;
5219
5220           case DEFER:
5221             s = (addr->user_message != NULL)?
5222               string_sprintf("451 <%s> %s", address, addr->user_message) :
5223               string_sprintf("451 Cannot resolve <%s> at this time", address);
5224             break;
5225
5226           case FAIL:
5227             s = (addr->user_message != NULL)?
5228               string_sprintf("550 <%s> %s", address, addr->user_message) :
5229               string_sprintf("550 <%s> is not deliverable", address);
5230             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5231               smtp_cmd_argument, host_and_ident(TRUE));
5232             break;
5233           }
5234
5235         smtp_printf("%s\r\n", FALSE, s);
5236         }
5237       break;
5238       }
5239
5240
5241     case EXPN_CMD:
5242     HAD(SCH_EXPN);
5243     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5244     if (rc != OK)
5245       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5246     else
5247       {
5248       BOOL save_log_testing_mode = log_testing_mode;
5249       address_test_mode = log_testing_mode = TRUE;
5250       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5251         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5252         NULL, NULL, NULL);
5253       address_test_mode = FALSE;
5254       log_testing_mode = save_log_testing_mode;    /* true for -bh */
5255       }
5256     break;
5257
5258
5259     #ifdef SUPPORT_TLS
5260
5261     case STARTTLS_CMD:
5262     HAD(SCH_STARTTLS);
5263     if (!tls_advertised)
5264       {
5265       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5266         US"STARTTLS command used when not advertised");
5267       break;
5268       }
5269
5270     /* Apply an ACL check if one is defined */
5271
5272     if (  acl_smtp_starttls
5273        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5274                   &user_msg, &log_msg)) != OK
5275        )
5276       {
5277       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5278       break;
5279       }
5280
5281     /* RFC 2487 is not clear on when this command may be sent, though it
5282     does state that all information previously obtained from the client
5283     must be discarded if a TLS session is started. It seems reasonable to
5284     do an implied RSET when STARTTLS is received. */
5285
5286     incomplete_transaction_log(US"STARTTLS");
5287     cancel_cutthrough_connection(TRUE, US"STARTTLS received");
5288     smtp_reset(reset_point);
5289     toomany = FALSE;
5290     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5291
5292     /* There's an attack where more data is read in past the STARTTLS command
5293     before TLS is negotiated, then assumed to be part of the secure session
5294     when used afterwards; we use segregated input buffers, so are not
5295     vulnerable, but we want to note when it happens and, for sheer paranoia,
5296     ensure that the buffer is "wiped".
5297     Pipelining sync checks will normally have protected us too, unless disabled
5298     by configuration. */
5299
5300     if (receive_smtp_buffered())
5301       {
5302       DEBUG(D_any)
5303         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5304       if (tls_in.active < 0)
5305         smtp_inend = smtp_inptr = smtp_inbuffer;
5306       /* and if TLS is already active, tls_server_start() should fail */
5307       }
5308
5309     /* There is nothing we value in the input buffer and if TLS is successfully
5310     negotiated, we won't use this buffer again; if TLS fails, we'll just read
5311     fresh content into it.  The buffer contains arbitrary content from an
5312     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5313     It seems safest to just wipe away the content rather than leave it as a
5314     target to jump to. */
5315
5316     memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5317
5318     /* Attempt to start up a TLS session, and if successful, discard all
5319     knowledge that was obtained previously. At least, that's what the RFC says,
5320     and that's what happens by default. However, in order to work round YAEB,
5321     there is an option to remember the esmtp state. Sigh.
5322
5323     We must allow for an extra EHLO command and an extra AUTH command after
5324     STARTTLS that don't add to the nonmail command count. */
5325
5326     s = NULL;
5327     if ((rc = tls_server_start(tls_require_ciphers, &s)) == OK)
5328       {
5329       if (!tls_remember_esmtp)
5330         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
5331       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5332       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5333       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5334       if (sender_helo_name != NULL)
5335         {
5336         store_free(sender_helo_name);
5337         sender_helo_name = NULL;
5338         host_build_sender_fullhost();  /* Rebuild */
5339         set_process_info("handling incoming TLS connection from %s",
5340           host_and_ident(FALSE));
5341         }
5342       received_protocol =
5343         (sender_host_address ? protocols : protocols_local)
5344           [ (esmtp
5345             ? pextend + (sender_host_authenticated ? pauthed : 0)
5346             : pnormal)
5347           + (tls_in.active >= 0 ? pcrpted : 0)
5348           ];
5349
5350       sender_host_authenticated = NULL;
5351       authenticated_id = NULL;
5352       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5353       DEBUG(D_tls) debug_printf("TLS active\n");
5354       break;     /* Successful STARTTLS */
5355       }
5356     else
5357       (void) smtp_log_tls_fail(s);
5358
5359     /* Some local configuration problem was discovered before actually trying
5360     to do a TLS handshake; give a temporary error. */
5361
5362     if (rc == DEFER)
5363       {
5364       smtp_printf("454 TLS currently unavailable\r\n", FALSE);
5365       break;
5366       }
5367
5368     /* Hard failure. Reject everything except QUIT or closed connection. One
5369     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5370     set, but we must still reject all incoming commands. */
5371
5372     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5373     while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5374       {
5375       case EOF_CMD:
5376         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5377           smtp_get_connection_info());
5378         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5379         done = 2;
5380         break;
5381
5382       /* It is perhaps arguable as to which exit ACL should be called here,
5383       but as it is probably a situation that almost never arises, it
5384       probably doesn't matter. We choose to call the real QUIT ACL, which in
5385       some sense is perhaps "right". */
5386
5387       case QUIT_CMD:
5388         user_msg = NULL;
5389         if (  acl_smtp_quit
5390            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5391                               &log_msg)) == ERROR))
5392             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5393               log_msg);
5394         if (user_msg)
5395           smtp_respond(US"221", 3, TRUE, user_msg);
5396         else
5397           smtp_printf("221 %s closing connection\r\n", FALSE, smtp_active_hostname);
5398         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5399           smtp_get_connection_info());
5400         done = 2;
5401         break;
5402
5403       default:
5404         smtp_printf("554 Security failure\r\n", FALSE);
5405         break;
5406       }
5407     tls_close(TRUE, TRUE);
5408     break;
5409     #endif
5410
5411
5412     /* The ACL for QUIT is provided for gathering statistical information or
5413     similar; it does not affect the response code, but it can supply a custom
5414     message. */
5415
5416     case QUIT_CMD:
5417     smtp_quit_handler(&user_msg, &log_msg);
5418     done = 2;
5419     break;
5420
5421
5422     case RSET_CMD:
5423     smtp_rset_handler();
5424     cancel_cutthrough_connection(TRUE, US"RSET received");
5425     smtp_reset(reset_point);
5426     toomany = FALSE;
5427     break;
5428
5429
5430     case NOOP_CMD:
5431     HAD(SCH_NOOP);
5432     smtp_printf("250 OK\r\n", FALSE);
5433     break;
5434
5435
5436     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5437     used, a check will be done for permitted hosts. Show STARTTLS only if not
5438     already in a TLS session and if it would be advertised in the EHLO
5439     response. */
5440
5441     case HELP_CMD:
5442     HAD(SCH_HELP);
5443     smtp_printf("214-Commands supported:\r\n", TRUE);
5444       {
5445       uschar buffer[256];
5446       buffer[0] = 0;
5447       Ustrcat(buffer, " AUTH");
5448       #ifdef SUPPORT_TLS
5449       if (tls_in.active < 0 &&
5450           verify_check_host(&tls_advertise_hosts) != FAIL)
5451         Ustrcat(buffer, " STARTTLS");
5452       #endif
5453       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5454       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5455       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5456       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5457       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5458       smtp_printf("214%s\r\n", FALSE, buffer);
5459       }
5460     break;
5461
5462
5463     case EOF_CMD:
5464     incomplete_transaction_log(US"connection lost");
5465     smtp_notquit_exit(US"connection-lost", US"421",
5466       US"%s lost input connection", smtp_active_hostname);
5467
5468     /* Don't log by default unless in the middle of a message, as some mailers
5469     just drop the call rather than sending QUIT, and it clutters up the logs.
5470     */
5471
5472     if (sender_address || recipients_count > 0)
5473       log_write(L_lost_incoming_connection, LOG_MAIN,
5474         "unexpected %s while reading SMTP command from %s%s%s D=%s",
5475         sender_host_unknown ? "EOF" : "disconnection",
5476         tcp_in_fastopen && !tcp_in_fastopen_logged ? US"TFO " : US"",
5477         host_and_ident(FALSE), smtp_read_error,
5478         string_timesince(&smtp_connection_start)
5479         );
5480
5481     else
5482       log_write(L_smtp_connection, LOG_MAIN, "%s %slost%s D=%s",
5483         smtp_get_connection_info(),
5484         tcp_in_fastopen && !tcp_in_fastopen_logged ? US"TFO " : US"",
5485         smtp_read_error,
5486         string_timesince(&smtp_connection_start)
5487         );
5488
5489     done = 1;
5490     break;
5491
5492
5493     case ETRN_CMD:
5494     HAD(SCH_ETRN);
5495     if (sender_address != NULL)
5496       {
5497       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5498         US"ETRN is not permitted inside a transaction");
5499       break;
5500       }
5501
5502     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5503       host_and_ident(FALSE));
5504
5505     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5506                 &user_msg, &log_msg)) != OK)
5507       {
5508       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5509       break;
5510       }
5511
5512     /* Compute the serialization key for this command. */
5513
5514     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5515
5516     /* If a command has been specified for running as a result of ETRN, we
5517     permit any argument to ETRN. If not, only the # standard form is permitted,
5518     since that is strictly the only kind of ETRN that can be implemented
5519     according to the RFC. */
5520
5521     if (smtp_etrn_command != NULL)
5522       {
5523       uschar *error;
5524       BOOL rc;
5525       etrn_command = smtp_etrn_command;
5526       deliver_domain = smtp_cmd_data;
5527       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5528         US"ETRN processing", &error);
5529       deliver_domain = NULL;
5530       if (!rc)
5531         {
5532         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5533           error);
5534         smtp_printf("458 Internal failure\r\n", FALSE);
5535         break;
5536         }
5537       }
5538
5539     /* Else set up to call Exim with the -R option. */
5540
5541     else
5542       {
5543       if (*smtp_cmd_data++ != '#')
5544         {
5545         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5546           US"argument must begin with #");
5547         break;
5548         }
5549       etrn_command = US"exim -R";
5550       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5551         *queue_name ? 4 : 2,
5552         US"-R", smtp_cmd_data,
5553         US"-MCG", queue_name);
5554       }
5555
5556     /* If we are host-testing, don't actually do anything. */
5557
5558     if (host_checking)
5559       {
5560       HDEBUG(D_any)
5561         {
5562         debug_printf("ETRN command is: %s\n", etrn_command);
5563         debug_printf("ETRN command execution skipped\n");
5564         }
5565       if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5566         else smtp_user_msg(US"250", user_msg);
5567       break;
5568       }
5569
5570
5571     /* If ETRN queue runs are to be serialized, check the database to
5572     ensure one isn't already running. */
5573
5574     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5575       {
5576       smtp_printf("458 Already processing %s\r\n", FALSE, smtp_cmd_data);
5577       break;
5578       }
5579
5580     /* Fork a child process and run the command. We don't want to have to
5581     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5582     forking. It should be set that way anyway for external incoming SMTP,
5583     but we save and restore to be tidy. If serialization is required, we
5584     actually run the command in yet another process, so we can wait for it
5585     to complete and then remove the serialization lock. */
5586
5587     oldsignal = signal(SIGCHLD, SIG_IGN);
5588
5589     if ((pid = fork()) == 0)
5590       {
5591       smtp_input = FALSE;       /* This process is not associated with the */
5592       (void)fclose(smtp_in);    /* SMTP call any more. */
5593       (void)fclose(smtp_out);
5594
5595       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5596
5597       /* If not serializing, do the exec right away. Otherwise, fork down
5598       into another process. */
5599
5600       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5601         {
5602         DEBUG(D_exec) debug_print_argv(argv);
5603         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5604         execv(CS argv[0], (char *const *)argv);
5605         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5606           etrn_command, strerror(errno));
5607         _exit(EXIT_FAILURE);         /* paranoia */
5608         }
5609
5610       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5611       is, we are in the first subprocess, after forking again. All we can do
5612       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5613       complete, before removing the serialization. */
5614
5615       if (pid < 0)
5616         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5617           "failed: %s", strerror(errno));
5618       else
5619         {
5620         int status;
5621         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5622           (int)pid);
5623         (void)wait(&status);
5624         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5625           (int)pid);
5626         }
5627
5628       enq_end(etrn_serialize_key);
5629       _exit(EXIT_SUCCESS);
5630       }
5631
5632     /* Back in the top level SMTP process. Check that we started a subprocess
5633     and restore the signal state. */
5634
5635     if (pid < 0)
5636       {
5637       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5638         strerror(errno));
5639       smtp_printf("458 Unable to fork process\r\n", FALSE);
5640       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5641       }
5642     else
5643       {
5644       if (user_msg == NULL) smtp_printf("250 OK\r\n", FALSE);
5645         else smtp_user_msg(US"250", user_msg);
5646       }
5647
5648     signal(SIGCHLD, oldsignal);
5649     break;
5650
5651
5652     case BADARG_CMD:
5653     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5654       US"unexpected argument data");
5655     break;
5656
5657
5658     /* This currently happens only for NULLs, but could be extended. */
5659
5660     case BADCHAR_CMD:
5661     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5662       US"NULL character(s) present (shown as '?')");
5663     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n", FALSE);
5664     break;
5665
5666
5667     case BADSYN_CMD:
5668     SYNC_FAILURE:
5669     if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5670       smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5671     c = smtp_inend - smtp_inptr;
5672     if (c > 150) c = 150;
5673     smtp_inptr[c] = 0;
5674     incomplete_transaction_log(US"sync failure");
5675     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5676       "(next input sent too soon: pipelining was%s advertised): "
5677       "rejected \"%s\" %s next input=\"%s\"",
5678       pipelining_advertised? "" : " not",
5679       smtp_cmd_buffer, host_and_ident(TRUE),
5680       string_printing(smtp_inptr));
5681     smtp_notquit_exit(US"synchronization-error", US"554",
5682       US"SMTP synchronization error");
5683     done = 1;   /* Pretend eof - drops connection */
5684     break;
5685
5686
5687     case TOO_MANY_NONMAIL_CMD:
5688     s = smtp_cmd_buffer;
5689     while (*s != 0 && !isspace(*s)) s++;
5690     incomplete_transaction_log(US"too many non-mail commands");
5691     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5692       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5693       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5694     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5695     done = 1;   /* Pretend eof - drops connection */
5696     break;
5697
5698 #ifdef SUPPORT_PROXY
5699     case PROXY_FAIL_IGNORE_CMD:
5700     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n", FALSE);
5701     break;
5702 #endif
5703
5704     default:
5705     if (unknown_command_count++ >= smtp_max_unknown_commands)
5706       {
5707       log_write(L_smtp_syntax_error, LOG_MAIN,
5708         "SMTP syntax error in \"%s\" %s %s",
5709         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5710         US"unrecognized command");
5711       incomplete_transaction_log(US"unrecognized command");
5712       smtp_notquit_exit(US"bad-commands", US"500",
5713         US"Too many unrecognized commands");
5714       done = 2;
5715       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5716         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5717         string_printing(smtp_cmd_buffer));
5718       }
5719     else
5720       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5721         US"unrecognized command");
5722     break;
5723     }
5724
5725   /* This label is used by goto's inside loops that want to break out to
5726   the end of the command-processing loop. */
5727
5728   COMMAND_LOOP:
5729   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5730   last_was_rcpt = was_rcpt;             /* protocol error handling */
5731   continue;
5732   }
5733
5734 return done - 2;  /* Convert yield values */
5735 }
5736
5737 /* vi: aw ai sw=2
5738 */
5739 /* End of smtp_in.c */