Handle Proxy Protocol v2 safely as well.
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2017 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static auth_instance *authenticated_by;
135 static BOOL auth_advertised;
136 #ifdef SUPPORT_TLS
137 static BOOL tls_advertised;
138 #endif
139 static BOOL dsn_advertised;
140 static BOOL esmtp;
141 static BOOL helo_required = FALSE;
142 static BOOL helo_verify = FALSE;
143 static BOOL helo_seen;
144 static BOOL helo_accept_junk;
145 static BOOL count_nonmail;
146 static BOOL pipelining_advertised;
147 static BOOL rcpt_smtp_response_same;
148 static BOOL rcpt_in_progress;
149 static int  nonmail_command_count;
150 static BOOL smtp_exit_function_called = 0;
151 #ifdef SUPPORT_I18N
152 static BOOL smtputf8_advertised;
153 #endif
154 static int  synprot_error_count;
155 static int  unknown_command_count;
156 static int  sync_cmd_limit;
157 static int  smtp_write_error = 0;
158
159 static uschar *rcpt_smtp_response;
160 static uschar *smtp_data_buffer;
161 static uschar *smtp_cmd_data;
162
163 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
164 final fields of all except AUTH are forced TRUE at the start of a new message
165 setup, to allow one of each between messages that is not counted as a nonmail
166 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
167 allow a new EHLO after starting up TLS.
168
169 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
170 counted. However, the flag is changed when AUTH is received, so that multiple
171 failing AUTHs will eventually hit the limit. After a successful AUTH, another
172 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
173 forced TRUE, to allow for the re-authentication that can happen at that point.
174
175 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
176 count of non-mail commands and possibly provoke an error.
177
178 tls_auth is a pseudo-command, never expected in input.  It is activated
179 on TLS startup and looks for a tls authenticator. */
180
181 static smtp_cmd_list cmd_list[] = {
182   /* name         len                     cmd     has_arg is_mail_cmd */
183
184   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
185   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
186   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
187   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
188   #ifdef SUPPORT_TLS
189   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
190   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
191   #endif
192
193 /* If you change anything above here, also fix the definitions below. */
194
195   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
196   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
197   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
198   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
199   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
200   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
201   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
202   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
203   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
204   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
205 };
206
207 static smtp_cmd_list *cmd_list_end =
208   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
209
210 #define CMD_LIST_RSET      0
211 #define CMD_LIST_HELO      1
212 #define CMD_LIST_EHLO      2
213 #define CMD_LIST_AUTH      3
214 #define CMD_LIST_STARTTLS  4
215 #define CMD_LIST_TLS_AUTH  5
216
217 /* This list of names is used for performing the smtp_no_mail logging action.
218 It must be kept in step with the SCH_xxx enumerations. */
219
220 static uschar *smtp_names[] =
221   {
222   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
223   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
224   US"STARTTLS", US"VRFY" };
225
226 static uschar *protocols_local[] = {
227   US"local-smtp",        /* HELO */
228   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
229   US"local-esmtp",       /* EHLO */
230   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
231   US"local-esmtpa",      /* EHLO->AUTH */
232   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
233   };
234 static uschar *protocols[] = {
235   US"smtp",              /* HELO */
236   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
237   US"esmtp",             /* EHLO */
238   US"esmtps",            /* EHLO->STARTTLS->EHLO */
239   US"esmtpa",            /* EHLO->AUTH */
240   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
241   };
242
243 #define pnormal  0
244 #define pextend  2
245 #define pcrpted  1  /* added to pextend or pnormal */
246 #define pauthed  2  /* added to pextend */
247
248 /* Sanity check and validate optional args to MAIL FROM: envelope */
249 enum {
250   ENV_MAIL_OPT_NULL,
251   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
252 #ifndef DISABLE_PRDR
253   ENV_MAIL_OPT_PRDR,
254 #endif
255   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
256 #ifdef SUPPORT_I18N
257   ENV_MAIL_OPT_UTF8,
258 #endif
259   };
260 typedef struct {
261   uschar *   name;  /* option requested during MAIL cmd */
262   int       value;  /* enum type */
263   BOOL need_value;  /* TRUE requires value (name=value pair format)
264                        FALSE is a singleton */
265   } env_mail_type_t;
266 static env_mail_type_t env_mail_type_list[] = {
267     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
268     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
269     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
270 #ifndef DISABLE_PRDR
271     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
272 #endif
273     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
274     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
275 #ifdef SUPPORT_I18N
276     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
277 #endif
278     /* keep this the last entry */
279     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
280   };
281
282 /* When reading SMTP from a remote host, we have to use our own versions of the
283 C input-reading functions, in order to be able to flush the SMTP output only
284 when about to read more data from the socket. This is the only way to get
285 optimal performance when the client is using pipelining. Flushing for every
286 command causes a separate packet and reply packet each time; saving all the
287 responses up (when pipelining) combines them into one packet and one response.
288
289 For simplicity, these functions are used for *all* SMTP input, not only when
290 receiving over a socket. However, after setting up a secure socket (SSL), input
291 is read via the OpenSSL library, and another set of functions is used instead
292 (see tls.c).
293
294 These functions are set in the receive_getc etc. variables and called with the
295 same interface as the C functions. However, since there can only ever be
296 one incoming SMTP call, we just use a single buffer and flags. There is no need
297 to implement a complicated private FILE-like structure.*/
298
299 static uschar *smtp_inbuffer;
300 static uschar *smtp_inptr;
301 static uschar *smtp_inend;
302 static int     smtp_had_eof;
303 static int     smtp_had_error;
304
305
306 /* forward declarations */
307 int bdat_ungetc(int ch);
308 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
309 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
310 static void smtp_quit_handler(uschar **, uschar **);
311 static void smtp_rset_handler(void);
312
313 /*************************************************
314 *          Recheck synchronization               *
315 *************************************************/
316
317 /* Synchronization checks can never be perfect because a packet may be on its
318 way but not arrived when the check is done. Such checks can in any case only be
319 done when TLS is not in use. Normally, the checks happen when commands are
320 read: Exim ensures that there is no more input in the input buffer. In normal
321 cases, the response to the command will be fast, and there is no further check.
322
323 However, for some commands an ACL is run, and that can include delays. In those
324 cases, it is useful to do another check on the input just before sending the
325 response. This also applies at the start of a connection. This function does
326 that check by means of the select() function, as long as the facility is not
327 disabled or inappropriate. A failure of select() is ignored.
328
329 When there is unwanted input, we read it so that it appears in the log of the
330 error.
331
332 Arguments: none
333 Returns:   TRUE if all is well; FALSE if there is input pending
334 */
335
336 static BOOL
337 check_sync(void)
338 {
339 int fd, rc;
340 fd_set fds;
341 struct timeval tzero;
342
343 if (!smtp_enforce_sync || sender_host_address == NULL ||
344     sender_host_notsocket || tls_in.active >= 0)
345   return TRUE;
346
347 fd = fileno(smtp_in);
348 FD_ZERO(&fds);
349 FD_SET(fd, &fds);
350 tzero.tv_sec = 0;
351 tzero.tv_usec = 0;
352 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
353
354 if (rc <= 0) return TRUE;     /* Not ready to read */
355 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
356 if (rc < 0) return TRUE;      /* End of file or error */
357
358 smtp_ungetc(rc);
359 rc = smtp_inend - smtp_inptr;
360 if (rc > 150) rc = 150;
361 smtp_inptr[rc] = 0;
362 return FALSE;
363 }
364
365
366
367 /*************************************************
368 *          Log incomplete transactions           *
369 *************************************************/
370
371 /* This function is called after a transaction has been aborted by RSET, QUIT,
372 connection drops or other errors. It logs the envelope information received
373 so far in order to preserve address verification attempts.
374
375 Argument:   string to indicate what aborted the transaction
376 Returns:    nothing
377 */
378
379 static void
380 incomplete_transaction_log(uschar *what)
381 {
382 if (sender_address == NULL ||                 /* No transaction in progress */
383     !LOGGING(smtp_incomplete_transaction))
384   return;
385
386 /* Build list of recipients for logging */
387
388 if (recipients_count > 0)
389   {
390   int i;
391   raw_recipients = store_get(recipients_count * sizeof(uschar *));
392   for (i = 0; i < recipients_count; i++)
393     raw_recipients[i] = recipients_list[i].address;
394   raw_recipients_count = recipients_count;
395   }
396
397 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
398   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
399 }
400
401
402
403
404 /*************************************************
405 *          SMTP version of getc()                *
406 *************************************************/
407
408 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
409 it flushes the output, and refills the buffer, with a timeout. The signal
410 handler is set appropriately by the calling function. This function is not used
411 after a connection has negotiated itself into an TLS/SSL state.
412
413 Arguments:  lim         Maximum amount to read/buffer
414 Returns:    the next character or EOF
415 */
416
417 int
418 smtp_getc(unsigned lim)
419 {
420 if (smtp_inptr >= smtp_inend)
421   {
422   int rc, save_errno;
423   if (!smtp_out) return EOF;
424   fflush(smtp_out);
425   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
426
427   /* Limit amount read, so non-message data is not fed to DKIM */
428
429   rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE, lim));
430   save_errno = errno;
431   alarm(0);
432   if (rc <= 0)
433     {
434     /* Must put the error text in fixed store, because this might be during
435     header reading, where it releases unused store above the header. */
436     if (rc < 0)
437       {
438       smtp_had_error = save_errno;
439       smtp_read_error = string_copy_malloc(
440         string_sprintf(" (error: %s)", strerror(save_errno)));
441       }
442     else smtp_had_eof = 1;
443     return EOF;
444     }
445 #ifndef DISABLE_DKIM
446   dkim_exim_verify_feed(smtp_inbuffer, rc);
447 #endif
448   smtp_inend = smtp_inbuffer + rc;
449   smtp_inptr = smtp_inbuffer;
450   }
451 return *smtp_inptr++;
452 }
453
454 void
455 smtp_get_cache(void)
456 {
457 #ifndef DISABLE_DKIM
458 int n = smtp_inend - smtp_inptr;
459 if (n > 0)
460   dkim_exim_verify_feed(smtp_inptr, n);
461 #endif
462 }
463
464
465 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
466 previous BDAT chunk and getting new ones when we run out.  Uses the
467 underlying smtp_getc or tls_getc both for that and for getting the
468 (buffered) data byte.  EOD signals (an expected) no further data.
469 ERR signals a protocol error, and EOF a closed input stream.
470
471 Called from read_bdat_smtp() in receive.c for the message body, but also
472 by the headers read loop in receive_msg(); manipulates chunking_state
473 to handle the BDAT command/response.
474 Placed here due to the correlation with the above smtp_getc(), which it wraps,
475 and also by the need to do smtp command/response handling.
476
477 Arguments:  lim         (ignored)
478 Returns:    the next character or ERR, EOD or EOF
479 */
480
481 int
482 bdat_getc(unsigned lim)
483 {
484 uschar * user_msg = NULL;
485 uschar * log_msg;
486
487 for(;;)
488   {
489   if (chunking_data_left > 0)
490     return lwr_receive_getc(chunking_data_left--);
491
492   receive_getc = lwr_receive_getc;
493   receive_ungetc = lwr_receive_ungetc;
494 #ifndef DISABLE_DKIM
495   dkim_collect_input = FALSE;
496 #endif
497
498   /* Unless PIPELINING was offered, there should be no next command
499   until after we ack that chunk */
500
501   if (!pipelining_advertised && !check_sync())
502     {
503     incomplete_transaction_log(US"sync failure");
504     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
505       "(next input sent too soon: pipelining was not advertised): "
506       "rejected \"%s\" %s next input=\"%s\"",
507       smtp_cmd_buffer, host_and_ident(TRUE),
508       string_printing(smtp_inptr));
509       (void) synprot_error(L_smtp_protocol_error, 554, NULL,
510         US"SMTP synchronization error");
511     goto repeat_until_rset;
512     }
513
514   /* If not the last, ack the received chunk.  The last response is delayed
515   until after the data ACL decides on it */
516
517   if (chunking_state == CHUNKING_LAST)
518     {
519 #ifndef DISABLE_DKIM
520     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
521 #endif
522     return EOD;
523     }
524
525   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
526   chunking_state = CHUNKING_OFFERED;
527   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
528
529   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
530   QUIT, RSET or NOOP but handling them seems obvious */
531
532 next_cmd:
533   switch(smtp_read_command(TRUE, 1))
534     {
535     default:
536       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
537         US"only BDAT permissible after non-LAST BDAT");
538
539   repeat_until_rset:
540       switch(smtp_read_command(TRUE, 1))
541         {
542         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
543         case EOF_CMD:   return EOF;
544         case RSET_CMD:  smtp_rset_handler(); return ERR;
545         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
546                                           US"only RSET accepted now") > 0)
547                           return EOF;
548                         goto repeat_until_rset;
549         }
550
551     case QUIT_CMD:
552       smtp_quit_handler(&user_msg, &log_msg);
553       /*FALLTHROUGH*/
554     case EOF_CMD:
555       return EOF;
556
557     case RSET_CMD:
558       smtp_rset_handler();
559       return ERR;
560
561     case NOOP_CMD:
562       HAD(SCH_NOOP);
563       smtp_printf("250 OK\r\n");
564       goto next_cmd;
565
566     case BDAT_CMD:
567       {
568       int n;
569
570       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
571         {
572         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
573           US"missing size for BDAT command");
574         return ERR;
575         }
576       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
577         ? CHUNKING_LAST : CHUNKING_ACTIVE;
578       chunking_data_left = chunking_datasize;
579       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
580                                     (int)chunking_state, chunking_data_left);
581
582       if (chunking_datasize == 0)
583         if (chunking_state == CHUNKING_LAST)
584           return EOD;
585         else
586           {
587           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
588             US"zero size for BDAT command");
589           goto repeat_until_rset;
590           }
591
592       receive_getc = bdat_getc;
593       receive_ungetc = bdat_ungetc;
594 #ifndef DISABLE_DKIM
595       dkim_collect_input = TRUE;
596 #endif
597       break;    /* to top of main loop */
598       }
599     }
600   }
601 }
602
603 void
604 bdat_flush_data(void)
605 {
606 while (chunking_data_left > 0)
607   if (lwr_receive_getc(chunking_data_left--) < 0)
608     break;
609
610 receive_getc = lwr_receive_getc;
611 receive_ungetc = lwr_receive_ungetc;
612
613 if (chunking_state != CHUNKING_LAST)
614   {
615   chunking_state = CHUNKING_OFFERED;
616   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
617   }
618 }
619
620
621
622
623 /*************************************************
624 *          SMTP version of ungetc()              *
625 *************************************************/
626
627 /* Puts a character back in the input buffer. Only ever
628 called once.
629
630 Arguments:
631   ch           the character
632
633 Returns:       the character
634 */
635
636 int
637 smtp_ungetc(int ch)
638 {
639 *--smtp_inptr = ch;
640 return ch;
641 }
642
643
644 int
645 bdat_ungetc(int ch)
646 {
647 chunking_data_left++;
648 return lwr_receive_ungetc(ch);
649 }
650
651
652
653 /*************************************************
654 *          SMTP version of feof()                *
655 *************************************************/
656
657 /* Tests for a previous EOF
658
659 Arguments:     none
660 Returns:       non-zero if the eof flag is set
661 */
662
663 int
664 smtp_feof(void)
665 {
666 return smtp_had_eof;
667 }
668
669
670
671
672 /*************************************************
673 *          SMTP version of ferror()              *
674 *************************************************/
675
676 /* Tests for a previous read error, and returns with errno
677 restored to what it was when the error was detected.
678
679 Arguments:     none
680 Returns:       non-zero if the error flag is set
681 */
682
683 int
684 smtp_ferror(void)
685 {
686 errno = smtp_had_error;
687 return smtp_had_error;
688 }
689
690
691
692 /*************************************************
693 *      Test for characters in the SMTP buffer    *
694 *************************************************/
695
696 /* Used at the end of a message
697
698 Arguments:     none
699 Returns:       TRUE/FALSE
700 */
701
702 BOOL
703 smtp_buffered(void)
704 {
705 return smtp_inptr < smtp_inend;
706 }
707
708
709
710 /*************************************************
711 *     Write formatted string to SMTP channel     *
712 *************************************************/
713
714 /* This is a separate function so that we don't have to repeat everything for
715 TLS support or debugging. It is global so that the daemon and the
716 authentication functions can use it. It does not return any error indication,
717 because major problems such as dropped connections won't show up till an output
718 flush for non-TLS connections. The smtp_fflush() function is available for
719 checking that: for convenience, TLS output errors are remembered here so that
720 they are also picked up later by smtp_fflush().
721
722 Arguments:
723   format      format string
724   ...         optional arguments
725
726 Returns:      nothing
727 */
728
729 void
730 smtp_printf(const char *format, ...)
731 {
732 va_list ap;
733
734 va_start(ap, format);
735 smtp_vprintf(format, ap);
736 va_end(ap);
737 }
738
739 /* This is split off so that verify.c:respond_printf() can, in effect, call
740 smtp_printf(), bearing in mind that in C a vararg function can't directly
741 call another vararg function, only a function which accepts a va_list. */
742
743 void
744 smtp_vprintf(const char *format, va_list ap)
745 {
746 BOOL yield;
747
748 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
749
750 DEBUG(D_receive)
751   {
752   void *reset_point = store_get(0);
753   uschar *msg_copy, *cr, *end;
754   msg_copy = string_copy(big_buffer);
755   end = msg_copy + Ustrlen(msg_copy);
756   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
757   memmove(cr, cr + 1, (end--) - cr);
758   debug_printf("SMTP>> %s", msg_copy);
759   store_reset(reset_point);
760   }
761
762 if (!yield)
763   {
764   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
765   smtp_closedown(US"Unexpected error");
766   exim_exit(EXIT_FAILURE);
767   }
768
769 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
770 have had the same. Note: this code is also present in smtp_respond(). It would
771 be tidier to have it only in one place, but when it was added, it was easier to
772 do it that way, so as not to have to mess with the code for the RCPT command,
773 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
774
775 if (rcpt_in_progress)
776   {
777   if (rcpt_smtp_response == NULL)
778     rcpt_smtp_response = string_copy(big_buffer);
779   else if (rcpt_smtp_response_same &&
780            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
781     rcpt_smtp_response_same = FALSE;
782   rcpt_in_progress = FALSE;
783   }
784
785 /* Now write the string */
786
787 #ifdef SUPPORT_TLS
788 if (tls_in.active >= 0)
789   {
790   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
791     smtp_write_error = -1;
792   }
793 else
794 #endif
795
796 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
797 }
798
799
800
801 /*************************************************
802 *        Flush SMTP out and check for error      *
803 *************************************************/
804
805 /* This function isn't currently used within Exim (it detects errors when it
806 tries to read the next SMTP input), but is available for use in local_scan().
807 For non-TLS connections, it flushes the output and checks for errors. For
808 TLS-connections, it checks for a previously-detected TLS write error.
809
810 Arguments:  none
811 Returns:    0 for no error; -1 after an error
812 */
813
814 int
815 smtp_fflush(void)
816 {
817 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
818 return smtp_write_error;
819 }
820
821
822
823 /*************************************************
824 *          SMTP command read timeout             *
825 *************************************************/
826
827 /* Signal handler for timing out incoming SMTP commands. This attempts to
828 finish off tidily.
829
830 Argument: signal number (SIGALRM)
831 Returns:  nothing
832 */
833
834 static void
835 command_timeout_handler(int sig)
836 {
837 sig = sig;    /* Keep picky compilers happy */
838 log_write(L_lost_incoming_connection,
839           LOG_MAIN, "SMTP command timeout on%s connection from %s",
840           (tls_in.active >= 0)? " TLS" : "",
841           host_and_ident(FALSE));
842 if (smtp_batched_input)
843   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
844 smtp_notquit_exit(US"command-timeout", US"421",
845   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
846 exim_exit(EXIT_FAILURE);
847 }
848
849
850
851 /*************************************************
852 *               SIGTERM received                 *
853 *************************************************/
854
855 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
856
857 Argument: signal number (SIGTERM)
858 Returns:  nothing
859 */
860
861 static void
862 command_sigterm_handler(int sig)
863 {
864 sig = sig;    /* Keep picky compilers happy */
865 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
866 if (smtp_batched_input)
867   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
868 smtp_notquit_exit(US"signal-exit", US"421",
869   US"%s: Service not available - closing connection", smtp_active_hostname);
870 exim_exit(EXIT_FAILURE);
871 }
872
873
874
875
876 #ifdef SUPPORT_PROXY
877 /*************************************************
878 *     Restore socket timeout to previous value   *
879 *************************************************/
880 /* If the previous value was successfully retrieved, restore
881 it before returning control to the non-proxy routines
882
883 Arguments: fd     - File descriptor for input
884            get_ok - Successfully retrieved previous values
885            tvtmp  - Time struct with previous values
886            vslen  - Length of time struct
887 Returns:   none
888 */
889 static void
890 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
891 {
892 if (get_ok == 0)
893   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
894 }
895
896 /*************************************************
897 *       Check if host is required proxy host     *
898 *************************************************/
899 /* The function determines if inbound host will be a regular smtp host
900 or if it is configured that it must use Proxy Protocol.  A local
901 connection cannot.
902
903 Arguments: none
904 Returns:   bool
905 */
906
907 static BOOL
908 check_proxy_protocol_host()
909 {
910 int rc;
911
912 if (  sender_host_address
913    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
914                            sender_host_address, NULL)) == OK)
915   {
916   DEBUG(D_receive)
917     debug_printf("Detected proxy protocol configured host\n");
918   proxy_session = TRUE;
919   }
920 return proxy_session;
921 }
922
923
924 /*************************************************
925 *    Read data until newline or end of buffer    *
926 *************************************************/
927 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
928 read an entire buffer and assume there will be nothing past a proxy protocol
929 header.  Our approach normally is to use stdio, but again that relies upon
930 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
931 reading _nothing_ before client TLS handshake.  So we don't want to use the
932 usual buffering reads which may read enough to block TLS starting.
933
934 So unfortunately we're down to "read one byte at a time, with a syscall each,
935 and expect a little overhead", for all proxy-opened connections which are v1,
936 just to handle the TLS-on-connect case.  Since SSL functions wrap the
937 underlying fd, we can't assume that we can feed them any already-read content.
938
939 We need to know where to read to, the max capacity, and we'll read until we
940 get a CR and one more character.  Let the caller scream if it's CR+!LF.
941
942 Return the amount read.
943 */
944
945 static int
946 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
947 {
948   uschar *to = base + already;
949   uschar *cr;
950   int have = 0;
951   int ret;
952   int last = 0;
953
954   /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
955   up through the \r; for the _normal_ case, we haven't yet seen the \r. */
956   cr = memchr(base, '\r', already);
957   if (cr != NULL)
958     {
959     if ((cr - base) < already - 1)
960       {
961       /* \r and presumed \n already within what we have; probably not
962       actually proxy protocol, but abort cleanly. */
963       return 0;
964       }
965     /* \r is last character read, just need one more. */
966     last = 1;
967     }
968
969   while (capacity > 0)
970     {
971     do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
972     if (ret == -1)
973       return -1;
974     have++;
975     if (last)
976       return have;
977     if (*to == '\r')
978       last = 1;
979     capacity--;
980     to++;
981     }
982   // reached end without having room for a final newline, abort
983   errno = EOVERFLOW;
984   return -1;
985 }
986
987 /*************************************************
988 *         Setup host for proxy protocol          *
989 *************************************************/
990 /* The function configures the connection based on a header from the
991 inbound host to use Proxy Protocol. The specification is very exact
992 so exit with an error if do not find the exact required pieces. This
993 includes an incorrect number of spaces separating args.
994
995 Arguments: none
996 Returns:   Boolean success
997 */
998
999 static void
1000 setup_proxy_protocol_host()
1001 {
1002 union {
1003   struct {
1004     uschar line[108];
1005   } v1;
1006   struct {
1007     uschar sig[12];
1008     uint8_t ver_cmd;
1009     uint8_t fam;
1010     uint16_t len;
1011     union {
1012       struct { /* TCP/UDP over IPv4, len = 12 */
1013         uint32_t src_addr;
1014         uint32_t dst_addr;
1015         uint16_t src_port;
1016         uint16_t dst_port;
1017       } ip4;
1018       struct { /* TCP/UDP over IPv6, len = 36 */
1019         uint8_t  src_addr[16];
1020         uint8_t  dst_addr[16];
1021         uint16_t src_port;
1022         uint16_t dst_port;
1023       } ip6;
1024       struct { /* AF_UNIX sockets, len = 216 */
1025         uschar   src_addr[108];
1026         uschar   dst_addr[108];
1027       } unx;
1028     } addr;
1029   } v2;
1030 } hdr;
1031
1032 /* Temp variables used in PPv2 address:port parsing */
1033 uint16_t tmpport;
1034 char tmpip[INET_ADDRSTRLEN];
1035 struct sockaddr_in tmpaddr;
1036 char tmpip6[INET6_ADDRSTRLEN];
1037 struct sockaddr_in6 tmpaddr6;
1038
1039 /* We can't read "all data until end" because while SMTP is
1040 server-speaks-first, the TLS handshake is client-speaks-first, so for
1041 TLS-on-connect ports the proxy protocol header will usually be immediately
1042 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1043 reinject data for reading by those.  So instead we first read "enough to be
1044 safely read within the header, and figure out how much more to read".
1045 For v1 we will later read to the end-of-line, for v2 we will read based upon
1046 the stated length.
1047
1048 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1049 data is needed total.  For v1, where the line looks like:
1050 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1051
1052 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1053 We seem to support that.  So, if we read 14 octets then we can tell if we're
1054 v2 or v1.  If we're v1, we can continue reading as normal.
1055
1056 If we're v2, we can't slurp up the entire header.  We need the length in the
1057 15th & 16th octets, then to read everything after that.
1058
1059 So to safely handle v1 and v2, with client-sent-first supported correctly,
1060 we have to do a minimum of 3 read calls, not 1.  Eww.
1061 */
1062
1063 #define PROXY_INITIAL_READ 14
1064 #define PROXY_V2_HEADER_SIZE 16
1065 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1066 # error Code bug in sizes of data to read for proxy usage
1067 #endif
1068
1069 int get_ok = 0;
1070 int size, ret;
1071 int fd = fileno(smtp_in);
1072 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1073 uschar * iptype;  /* To display debug info */
1074 struct timeval tv;
1075 struct timeval tvtmp;
1076 socklen_t vslen = sizeof(struct timeval);
1077 BOOL yield = FALSE;
1078
1079 /* Save current socket timeout values */
1080 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1081
1082 /* Proxy Protocol host must send header within a short time
1083 (default 3 seconds) or it's considered invalid */
1084 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1085 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1086 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1087   goto bad;
1088
1089 do
1090   {
1091   /* The inbound host was declared to be a Proxy Protocol host, so
1092      don't do a PEEK into the data, actually slurp up enough to be
1093      "safe". Can't take it all because TLS-on-connect clients follow
1094      immediately with TLS handshake. */
1095   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1096   }
1097   while (ret == -1 && errno == EINTR);
1098
1099 if (ret == -1)
1100   goto proxyfail;
1101
1102 /* For v2, handle reading the length, and then the rest. */
1103 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1104   {
1105   int retmore;
1106   uint8_t ver;
1107
1108   /* First get the length fields. */
1109   do
1110     {
1111     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1112     } while (retmore == -1 && errno == EINTR);
1113   if (retmore == -1)
1114     goto proxyfail;
1115   ret += retmore;
1116
1117   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1118
1119   /* May 2014: haproxy combined the version and command into one byte to
1120      allow two full bytes for the length field in order to proxy SSL
1121      connections.  SSL Proxy is not supported in this version of Exim, but
1122      must still separate values here. */
1123
1124   if (ver != 0x02)
1125     {
1126     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1127     goto proxyfail;
1128     }
1129
1130   /* The v2 header will always be 16 bytes per the spec. */
1131   size = 16 + ntohs(hdr.v2.len);
1132   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1133       size, (int)sizeof(hdr));
1134
1135   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1136   amount that we need.  Double-check that the size is not unreasonable, then
1137   get the rest. */
1138   if (size > sizeof(hdr))
1139     {
1140     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1141     goto proxyfail;
1142     }
1143
1144   do
1145     {
1146     do
1147       {
1148       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1149       } while (retmore == -1 && errno == EINTR);
1150     if (retmore == -1)
1151       goto proxyfail;
1152     ret += retmore;
1153     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1154     } while (ret < size);
1155
1156   } /* end scope for getting rest of data for v2 */
1157
1158 /* At this point: if PROXYv2, we've read the exact size required for all data;
1159 if PROXYv1 then we've read "less than required for any valid line" and should
1160 read the rest". */
1161
1162 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1163   {
1164   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1165
1166   switch (cmd)
1167     {
1168     case 0x01: /* PROXY command */
1169       switch (hdr.v2.fam)
1170         {
1171         case 0x11:  /* TCPv4 address type */
1172           iptype = US"IPv4";
1173           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1174           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1175           if (!string_is_ip_address(US tmpip, NULL))
1176             {
1177             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1178             goto proxyfail;
1179             }
1180           proxy_local_address = sender_host_address;
1181           sender_host_address = string_copy(US tmpip);
1182           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1183           proxy_local_port    = sender_host_port;
1184           sender_host_port    = tmpport;
1185           /* Save dest ip/port */
1186           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1187           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1188           if (!string_is_ip_address(US tmpip, NULL))
1189             {
1190             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1191             goto proxyfail;
1192             }
1193           proxy_external_address = string_copy(US tmpip);
1194           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1195           proxy_external_port  = tmpport;
1196           goto done;
1197         case 0x21:  /* TCPv6 address type */
1198           iptype = US"IPv6";
1199           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1200           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1201           if (!string_is_ip_address(US tmpip6, NULL))
1202             {
1203             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1204             goto proxyfail;
1205             }
1206           proxy_local_address = sender_host_address;
1207           sender_host_address = string_copy(US tmpip6);
1208           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1209           proxy_local_port    = sender_host_port;
1210           sender_host_port    = tmpport;
1211           /* Save dest ip/port */
1212           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1213           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1214           if (!string_is_ip_address(US tmpip6, NULL))
1215             {
1216             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1217             goto proxyfail;
1218             }
1219           proxy_external_address = string_copy(US tmpip6);
1220           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1221           proxy_external_port  = tmpport;
1222           goto done;
1223         default:
1224           DEBUG(D_receive)
1225             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1226                          hdr.v2.fam);
1227           goto proxyfail;
1228         }
1229       /* Unsupported protocol, keep local connection address */
1230       break;
1231     case 0x00: /* LOCAL command */
1232       /* Keep local connection address for LOCAL */
1233       iptype = US"local";
1234       break;
1235     default:
1236       DEBUG(D_receive)
1237         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1238       goto proxyfail;
1239     }
1240   }
1241 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1242   {
1243   uschar *p;
1244   uschar *end;
1245   uschar *sp;     /* Utility variables follow */
1246   int     tmp_port;
1247   int     r2;
1248   char   *endc;
1249
1250   /* get the rest of the line */
1251   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1252   if (r2 == -1)
1253     goto proxyfail;
1254   ret += r2;
1255
1256   p = string_copy(hdr.v1.line);
1257   end = memchr(p, '\r', ret - 1);
1258
1259   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1260     {
1261     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1262     goto proxyfail;
1263     }
1264   *end = '\0'; /* Terminate the string */
1265   size = end + 2 - p; /* Skip header + CRLF */
1266   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1267   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1268   /* Step through the string looking for the required fields. Ensure
1269      strict adherence to required formatting, exit for any error. */
1270   p += 5;
1271   if (!isspace(*(p++)))
1272     {
1273     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1274     goto proxyfail;
1275     }
1276   if (!Ustrncmp(p, CCS"TCP4", 4))
1277     iptype = US"IPv4";
1278   else if (!Ustrncmp(p,CCS"TCP6", 4))
1279     iptype = US"IPv6";
1280   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1281     {
1282     iptype = US"Unknown";
1283     goto done;
1284     }
1285   else
1286     {
1287     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1288     goto proxyfail;
1289     }
1290
1291   p += Ustrlen(iptype);
1292   if (!isspace(*(p++)))
1293     {
1294     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1295     goto proxyfail;
1296     }
1297   /* Find the end of the arg */
1298   if ((sp = Ustrchr(p, ' ')) == NULL)
1299     {
1300     DEBUG(D_receive)
1301       debug_printf("Did not find proxied src %s\n", iptype);
1302     goto proxyfail;
1303     }
1304   *sp = '\0';
1305   if(!string_is_ip_address(p, NULL))
1306     {
1307     DEBUG(D_receive)
1308       debug_printf("Proxied src arg is not an %s address\n", iptype);
1309     goto proxyfail;
1310     }
1311   proxy_local_address = sender_host_address;
1312   sender_host_address = p;
1313   p = sp + 1;
1314   if ((sp = Ustrchr(p, ' ')) == NULL)
1315     {
1316     DEBUG(D_receive)
1317       debug_printf("Did not find proxy dest %s\n", iptype);
1318     goto proxyfail;
1319     }
1320   *sp = '\0';
1321   if(!string_is_ip_address(p, NULL))
1322     {
1323     DEBUG(D_receive)
1324       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1325     goto proxyfail;
1326     }
1327   proxy_external_address = p;
1328   p = sp + 1;
1329   if ((sp = Ustrchr(p, ' ')) == NULL)
1330     {
1331     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1332     goto proxyfail;
1333     }
1334   *sp = '\0';
1335   tmp_port = strtol(CCS p, &endc, 10);
1336   if (*endc || tmp_port == 0)
1337     {
1338     DEBUG(D_receive)
1339       debug_printf("Proxied src port '%s' not an integer\n", p);
1340     goto proxyfail;
1341     }
1342   proxy_local_port = sender_host_port;
1343   sender_host_port = tmp_port;
1344   p = sp + 1;
1345   if ((sp = Ustrchr(p, '\0')) == NULL)
1346     {
1347     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1348     goto proxyfail;
1349     }
1350   tmp_port = strtol(CCS p, &endc, 10);
1351   if (*endc || tmp_port == 0)
1352     {
1353     DEBUG(D_receive)
1354       debug_printf("Proxy dest port '%s' not an integer\n", p);
1355     goto proxyfail;
1356     }
1357   proxy_external_port = tmp_port;
1358   /* Already checked for /r /n above. Good V1 header received. */
1359   }
1360 else
1361   {
1362   /* Wrong protocol */
1363   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1364   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1365   goto proxyfail;
1366   }
1367
1368 done:
1369   DEBUG(D_receive)
1370     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1371   yield = proxy_session;
1372
1373 /* Don't flush any potential buffer contents. Any input on proxyfail
1374 should cause a synchronization failure */
1375
1376 proxyfail:
1377   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1378
1379 bad:
1380   if (yield)
1381     {
1382     sender_host_name = NULL;
1383     (void) host_name_lookup();
1384     host_build_sender_fullhost();
1385     }
1386   else
1387     {
1388     proxy_session_failed = TRUE;
1389     DEBUG(D_receive)
1390       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1391     }
1392
1393 return;
1394 }
1395 #endif
1396
1397 /*************************************************
1398 *           Read one command line                *
1399 *************************************************/
1400
1401 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1402 There are sites that don't do this, and in any case internal SMTP probably
1403 should check only for LF. Consequently, we check here for LF only. The line
1404 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1405 an unknown command. The command is read into the global smtp_cmd_buffer so that
1406 it is available via $smtp_command.
1407
1408 The character reading routine sets up a timeout for each block actually read
1409 from the input (which may contain more than one command). We set up a special
1410 signal handler that closes down the session on a timeout. Control does not
1411 return when it runs.
1412
1413 Arguments:
1414   check_sync    if TRUE, check synchronization rules if global option is TRUE
1415   buffer_lim    maximum to buffer in lower layer
1416
1417 Returns:       a code identifying the command (enumerated above)
1418 */
1419
1420 static int
1421 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1422 {
1423 int c;
1424 int ptr = 0;
1425 smtp_cmd_list *p;
1426 BOOL hadnull = FALSE;
1427
1428 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1429
1430 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1431   {
1432   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1433     {
1434     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1435     return OTHER_CMD;
1436     }
1437   if (c == 0)
1438     {
1439     hadnull = TRUE;
1440     c = '?';
1441     }
1442   smtp_cmd_buffer[ptr++] = c;
1443   }
1444
1445 receive_linecount++;    /* For BSMTP errors */
1446 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1447
1448 /* If hit end of file, return pseudo EOF command. Whether we have a
1449 part-line already read doesn't matter, since this is an error state. */
1450
1451 if (c == EOF) return EOF_CMD;
1452
1453 /* Remove any CR and white space at the end of the line, and terminate the
1454 string. */
1455
1456 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1457 smtp_cmd_buffer[ptr] = 0;
1458
1459 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1460
1461 /* NULLs are not allowed in SMTP commands */
1462
1463 if (hadnull) return BADCHAR_CMD;
1464
1465 /* Scan command list and return identity, having set the data pointer
1466 to the start of the actual data characters. Check for SMTP synchronization
1467 if required. */
1468
1469 for (p = cmd_list; p < cmd_list_end; p++)
1470   {
1471 #ifdef SUPPORT_PROXY
1472   /* Only allow QUIT command if Proxy Protocol parsing failed */
1473   if (proxy_session && proxy_session_failed && p->cmd != QUIT_CMD)
1474     continue;
1475 #endif
1476   if (  p->len
1477      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1478      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1479         || smtp_cmd_buffer[p->len] == 0
1480         || smtp_cmd_buffer[p->len] == ' '
1481      )  )
1482     {
1483     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1484         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1485         check_sync &&                                  /* Local flag set */
1486         smtp_enforce_sync &&                           /* Global flag set */
1487         sender_host_address != NULL &&                 /* Not local input */
1488         !sender_host_notsocket)                        /* Really is a socket */
1489       return BADSYN_CMD;
1490
1491     /* The variables $smtp_command and $smtp_command_argument point into the
1492     unmodified input buffer. A copy of the latter is taken for actual
1493     processing, so that it can be chopped up into separate parts if necessary,
1494     for example, when processing a MAIL command options such as SIZE that can
1495     follow the sender address. */
1496
1497     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1498     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1499     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1500     smtp_cmd_data = smtp_data_buffer;
1501
1502     /* Count non-mail commands from those hosts that are controlled in this
1503     way. The default is all hosts. We don't waste effort checking the list
1504     until we get a non-mail command, but then cache the result to save checking
1505     again. If there's a DEFER while checking the host, assume it's in the list.
1506
1507     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1508     start of each incoming message by fiddling with the value in the table. */
1509
1510     if (!p->is_mail_cmd)
1511       {
1512       if (count_nonmail == TRUE_UNSET) count_nonmail =
1513         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1514       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1515         return TOO_MANY_NONMAIL_CMD;
1516       }
1517
1518     /* If there is data for a command that does not expect it, generate the
1519     error here. */
1520
1521     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1522     }
1523   }
1524
1525 #ifdef SUPPORT_PROXY
1526 /* Only allow QUIT command if Proxy Protocol parsing failed */
1527 if (proxy_session && proxy_session_failed)
1528   return PROXY_FAIL_IGNORE_CMD;
1529 #endif
1530
1531 /* Enforce synchronization for unknown commands */
1532
1533 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1534     check_sync &&                                  /* Local flag set */
1535     smtp_enforce_sync &&                           /* Global flag set */
1536     sender_host_address != NULL &&                 /* Not local input */
1537     !sender_host_notsocket)                        /* Really is a socket */
1538   return BADSYN_CMD;
1539
1540 return OTHER_CMD;
1541 }
1542
1543
1544
1545 /*************************************************
1546 *          Forced closedown of call              *
1547 *************************************************/
1548
1549 /* This function is called from log.c when Exim is dying because of a serious
1550 disaster, and also from some other places. If an incoming non-batched SMTP
1551 channel is open, it swallows the rest of the incoming message if in the DATA
1552 phase, sends the reply string, and gives an error to all subsequent commands
1553 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1554 smtp_in.
1555
1556 Arguments:
1557   message   SMTP reply string to send, excluding the code
1558
1559 Returns:    nothing
1560 */
1561
1562 void
1563 smtp_closedown(uschar *message)
1564 {
1565 if (smtp_in == NULL || smtp_batched_input) return;
1566 receive_swallow_smtp();
1567 smtp_printf("421 %s\r\n", message);
1568
1569 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1570   {
1571   case EOF_CMD:
1572   return;
1573
1574   case QUIT_CMD:
1575   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1576   mac_smtp_fflush();
1577   return;
1578
1579   case RSET_CMD:
1580   smtp_printf("250 Reset OK\r\n");
1581   break;
1582
1583   default:
1584   smtp_printf("421 %s\r\n", message);
1585   break;
1586   }
1587 }
1588
1589
1590
1591
1592 /*************************************************
1593 *        Set up connection info for logging      *
1594 *************************************************/
1595
1596 /* This function is called when logging information about an SMTP connection.
1597 It sets up appropriate source information, depending on the type of connection.
1598 If sender_fullhost is NULL, we are at a very early stage of the connection;
1599 just use the IP address.
1600
1601 Argument:    none
1602 Returns:     a string describing the connection
1603 */
1604
1605 uschar *
1606 smtp_get_connection_info(void)
1607 {
1608 const uschar * hostname = sender_fullhost
1609   ? sender_fullhost : sender_host_address;
1610
1611 if (host_checking)
1612   return string_sprintf("SMTP connection from %s", hostname);
1613
1614 if (sender_host_unknown || sender_host_notsocket)
1615   return string_sprintf("SMTP connection from %s", sender_ident);
1616
1617 if (is_inetd)
1618   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1619
1620 if (LOGGING(incoming_interface) && interface_address != NULL)
1621   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1622     interface_address, interface_port);
1623
1624 return string_sprintf("SMTP connection from %s", hostname);
1625 }
1626
1627
1628
1629 #ifdef SUPPORT_TLS
1630 /* Append TLS-related information to a log line
1631
1632 Arguments:
1633   s             String under construction: allocated string to extend, or NULL
1634   sizep         Pointer to current allocation size (update on return), or NULL
1635   ptrp          Pointer to index for new entries in string (update on return), or NULL
1636
1637 Returns:        Allocated string or NULL
1638 */
1639 static uschar *
1640 s_tlslog(uschar * s, int * sizep, int * ptrp)
1641 {
1642   int size = sizep ? *sizep : 0;
1643   int ptr = ptrp ? *ptrp : 0;
1644
1645   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1646     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1647   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1648     s = string_append(s, &size, &ptr, 2, US" CV=",
1649       tls_in.certificate_verified? "yes":"no");
1650   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1651     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1652       string_printing(tls_in.peerdn), US"\"");
1653   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1654     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1655       string_printing(tls_in.sni), US"\"");
1656
1657   if (s)
1658     {
1659     s[ptr] = '\0';
1660     if (sizep) *sizep = size;
1661     if (ptrp) *ptrp = ptr;
1662     }
1663   return s;
1664 }
1665 #endif
1666
1667 /*************************************************
1668 *      Log lack of MAIL if so configured         *
1669 *************************************************/
1670
1671 /* This function is called when an SMTP session ends. If the log selector
1672 smtp_no_mail is set, write a log line giving some details of what has happened
1673 in the SMTP session.
1674
1675 Arguments:   none
1676 Returns:     nothing
1677 */
1678
1679 void
1680 smtp_log_no_mail(void)
1681 {
1682 int size, ptr, i;
1683 uschar *s, *sep;
1684
1685 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1686   return;
1687
1688 s = NULL;
1689 size = ptr = 0;
1690
1691 if (sender_host_authenticated != NULL)
1692   {
1693   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1694   if (authenticated_id != NULL)
1695     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1696   }
1697
1698 #ifdef SUPPORT_TLS
1699 s = s_tlslog(s, &size, &ptr);
1700 #endif
1701
1702 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1703   US" C=..." : US" C=";
1704 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1705   {
1706   if (smtp_connection_had[i] != SCH_NONE)
1707     {
1708     s = string_append(s, &size, &ptr, 2, sep,
1709       smtp_names[smtp_connection_had[i]]);
1710     sep = US",";
1711     }
1712   }
1713
1714 for (i = 0; i < smtp_ch_index; i++)
1715   {
1716   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1717   sep = US",";
1718   }
1719
1720 if (s != NULL) s[ptr] = 0; else s = US"";
1721 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1722   host_and_ident(FALSE),
1723   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1724   s);
1725 }
1726
1727
1728
1729 /*************************************************
1730 *   Check HELO line and set sender_helo_name     *
1731 *************************************************/
1732
1733 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1734 the domain name of the sending host, or an ip literal in square brackets. The
1735 argument is placed in sender_helo_name, which is in malloc store, because it
1736 must persist over multiple incoming messages. If helo_accept_junk is set, this
1737 host is permitted to send any old junk (needed for some broken hosts).
1738 Otherwise, helo_allow_chars can be used for rogue characters in general
1739 (typically people want to let in underscores).
1740
1741 Argument:
1742   s       the data portion of the line (already past any white space)
1743
1744 Returns:  TRUE or FALSE
1745 */
1746
1747 static BOOL
1748 check_helo(uschar *s)
1749 {
1750 uschar *start = s;
1751 uschar *end = s + Ustrlen(s);
1752 BOOL yield = helo_accept_junk;
1753
1754 /* Discard any previous helo name */
1755
1756 if (sender_helo_name != NULL)
1757   {
1758   store_free(sender_helo_name);
1759   sender_helo_name = NULL;
1760   }
1761
1762 /* Skip tests if junk is permitted. */
1763
1764 if (!yield)
1765   {
1766   /* Allow the new standard form for IPv6 address literals, namely,
1767   [IPv6:....], and because someone is bound to use it, allow an equivalent
1768   IPv4 form. Allow plain addresses as well. */
1769
1770   if (*s == '[')
1771     {
1772     if (end[-1] == ']')
1773       {
1774       end[-1] = 0;
1775       if (strncmpic(s, US"[IPv6:", 6) == 0)
1776         yield = (string_is_ip_address(s+6, NULL) == 6);
1777       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1778         yield = (string_is_ip_address(s+6, NULL) == 4);
1779       else
1780         yield = (string_is_ip_address(s+1, NULL) != 0);
1781       end[-1] = ']';
1782       }
1783     }
1784
1785   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1786   that have been configured (usually underscore - sigh). */
1787
1788   else if (*s != 0)
1789     {
1790     yield = TRUE;
1791     while (*s != 0)
1792       {
1793       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1794           Ustrchr(helo_allow_chars, *s) == NULL)
1795         {
1796         yield = FALSE;
1797         break;
1798         }
1799       s++;
1800       }
1801     }
1802   }
1803
1804 /* Save argument if OK */
1805
1806 if (yield) sender_helo_name = string_copy_malloc(start);
1807 return yield;
1808 }
1809
1810
1811
1812
1813
1814 /*************************************************
1815 *         Extract SMTP command option            *
1816 *************************************************/
1817
1818 /* This function picks the next option setting off the end of smtp_cmd_data. It
1819 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1820 things that can appear there.
1821
1822 Arguments:
1823    name           point this at the name
1824    value          point this at the data string
1825
1826 Returns:          TRUE if found an option
1827 */
1828
1829 static BOOL
1830 extract_option(uschar **name, uschar **value)
1831 {
1832 uschar *n;
1833 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1834 while (isspace(*v)) v--;
1835 v[1] = 0;
1836 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1837   {
1838   /* Take care to not stop at a space embedded in a quoted local-part */
1839
1840   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1841   v--;
1842   }
1843
1844 n = v;
1845 if (*v == '=')
1846 {
1847   while(isalpha(n[-1])) n--;
1848   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1849   if (!isspace(n[-1])) return FALSE;
1850   n[-1] = 0;
1851 }
1852 else
1853 {
1854   n++;
1855   if (v == smtp_cmd_data) return FALSE;
1856 }
1857 *v++ = 0;
1858 *name = n;
1859 *value = v;
1860 return TRUE;
1861 }
1862
1863
1864
1865
1866
1867 /*************************************************
1868 *         Reset for new message                  *
1869 *************************************************/
1870
1871 /* This function is called whenever the SMTP session is reset from
1872 within either of the setup functions.
1873
1874 Argument:   the stacking pool storage reset point
1875 Returns:    nothing
1876 */
1877
1878 static void
1879 smtp_reset(void *reset_point)
1880 {
1881 store_reset(reset_point);
1882 recipients_list = NULL;
1883 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1884   raw_recipients_count = recipients_count = recipients_list_max = 0;
1885 cancel_cutthrough_connection("smtp reset");
1886 message_linecount = 0;
1887 message_size = -1;
1888 acl_added_headers = NULL;
1889 acl_removed_headers = NULL;
1890 queue_only_policy = FALSE;
1891 rcpt_smtp_response = NULL;
1892 rcpt_smtp_response_same = TRUE;
1893 rcpt_in_progress = FALSE;
1894 deliver_freeze = FALSE;                              /* Can be set by ACL */
1895 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1896 fake_response = OK;                                  /* Can be set by ACL */
1897 #ifdef WITH_CONTENT_SCAN
1898 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1899 #endif
1900 submission_mode = FALSE;                             /* Can be set by ACL */
1901 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1902 active_local_from_check = local_from_check;          /* Can be set by ACL */
1903 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1904 sender_address = NULL;
1905 submission_name = NULL;                              /* Can be set by ACL */
1906 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1907 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1908 sender_verified_list = NULL;        /* No senders verified */
1909 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1910 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1911
1912 authenticated_sender = NULL;
1913 #ifdef EXPERIMENTAL_BRIGHTMAIL
1914 bmi_run = 0;
1915 bmi_verdicts = NULL;
1916 #endif
1917 #ifndef DISABLE_DKIM
1918 dkim_signers = NULL;
1919 dkim_disable_verify = FALSE;
1920 dkim_collect_input = FALSE;
1921 #endif
1922 dsn_ret = 0;
1923 dsn_envid = NULL;
1924 #ifndef DISABLE_PRDR
1925 prdr_requested = FALSE;
1926 #endif
1927 #ifdef EXPERIMENTAL_SPF
1928 spf_header_comment = NULL;
1929 spf_received = NULL;
1930 spf_result = NULL;
1931 spf_smtp_comment = NULL;
1932 #endif
1933 #ifdef SUPPORT_I18N
1934 message_smtputf8 = FALSE;
1935 #endif
1936 body_linecount = body_zerocount = 0;
1937
1938 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1939 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1940                    /* Note that ratelimiters_conn persists across resets. */
1941
1942 /* Reset message ACL variables */
1943
1944 acl_var_m = NULL;
1945
1946 /* The message body variables use malloc store. They may be set if this is
1947 not the first message in an SMTP session and the previous message caused them
1948 to be referenced in an ACL. */
1949
1950 if (message_body != NULL)
1951   {
1952   store_free(message_body);
1953   message_body = NULL;
1954   }
1955
1956 if (message_body_end != NULL)
1957   {
1958   store_free(message_body_end);
1959   message_body_end = NULL;
1960   }
1961
1962 /* Warning log messages are also saved in malloc store. They are saved to avoid
1963 repetition in the same message, but it seems right to repeat them for different
1964 messages. */
1965
1966 while (acl_warn_logged != NULL)
1967   {
1968   string_item *this = acl_warn_logged;
1969   acl_warn_logged = acl_warn_logged->next;
1970   store_free(this);
1971   }
1972 }
1973
1974
1975
1976
1977
1978 /*************************************************
1979 *  Initialize for incoming batched SMTP message  *
1980 *************************************************/
1981
1982 /* This function is called from smtp_setup_msg() in the case when
1983 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1984 of messages in one file with SMTP commands between them. All errors must be
1985 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1986 relevant. After an error on a sender, or an invalid recipient, the remainder
1987 of the message is skipped. The value of received_protocol is already set.
1988
1989 Argument: none
1990 Returns:  > 0 message successfully started (reached DATA)
1991           = 0 QUIT read or end of file reached
1992           < 0 should not occur
1993 */
1994
1995 static int
1996 smtp_setup_batch_msg(void)
1997 {
1998 int done = 0;
1999 void *reset_point = store_get(0);
2000
2001 /* Save the line count at the start of each transaction - single commands
2002 like HELO and RSET count as whole transactions. */
2003
2004 bsmtp_transaction_linecount = receive_linecount;
2005
2006 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2007
2008 smtp_reset(reset_point);                /* Reset for start of message */
2009
2010 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2011 value. The values are 2 larger than the required yield of the function. */
2012
2013 while (done <= 0)
2014   {
2015   uschar *errmess;
2016   uschar *recipient = NULL;
2017   int start, end, sender_domain, recipient_domain;
2018
2019   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2020     {
2021     /* The HELO/EHLO commands set sender_address_helo if they have
2022     valid data; otherwise they are ignored, except that they do
2023     a reset of the state. */
2024
2025     case HELO_CMD:
2026     case EHLO_CMD:
2027
2028     check_helo(smtp_cmd_data);
2029     /* Fall through */
2030
2031     case RSET_CMD:
2032     smtp_reset(reset_point);
2033     bsmtp_transaction_linecount = receive_linecount;
2034     break;
2035
2036
2037     /* The MAIL FROM command requires an address as an operand. All we
2038     do here is to parse it for syntactic correctness. The form "<>" is
2039     a special case which converts into an empty string. The start/end
2040     pointers in the original are not used further for this address, as
2041     it is the canonical extracted address which is all that is kept. */
2042
2043     case MAIL_CMD:
2044     smtp_mailcmd_count++;              /* Count for no-mail log */
2045     if (sender_address != NULL)
2046       /* The function moan_smtp_batch() does not return. */
2047       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2048
2049     if (smtp_cmd_data[0] == 0)
2050       /* The function moan_smtp_batch() does not return. */
2051       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2052
2053     /* Reset to start of message */
2054
2055     smtp_reset(reset_point);
2056
2057     /* Apply SMTP rewrite */
2058
2059     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2060       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2061         US"", global_rewrite_rules) : smtp_cmd_data;
2062
2063     /* Extract the address; the TRUE flag allows <> as valid */
2064
2065     raw_sender =
2066       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2067         TRUE);
2068
2069     if (raw_sender == NULL)
2070       /* The function moan_smtp_batch() does not return. */
2071       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2072
2073     sender_address = string_copy(raw_sender);
2074
2075     /* Qualify unqualified sender addresses if permitted to do so. */
2076
2077     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
2078       {
2079       if (allow_unqualified_sender)
2080         {
2081         sender_address = rewrite_address_qualify(sender_address, FALSE);
2082         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2083           "and rewritten\n", raw_sender);
2084         }
2085       /* The function moan_smtp_batch() does not return. */
2086       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2087         "a domain");
2088       }
2089     break;
2090
2091
2092     /* The RCPT TO command requires an address as an operand. All we do
2093     here is to parse it for syntactic correctness. There may be any number
2094     of RCPT TO commands, specifying multiple senders. We build them all into
2095     a data structure that is in argc/argv format. The start/end values
2096     given by parse_extract_address are not used, as we keep only the
2097     extracted address. */
2098
2099     case RCPT_CMD:
2100     if (sender_address == NULL)
2101       /* The function moan_smtp_batch() does not return. */
2102       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2103
2104     if (smtp_cmd_data[0] == 0)
2105       /* The function moan_smtp_batch() does not return. */
2106       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
2107
2108     /* Check maximum number allowed */
2109
2110     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2111       /* The function moan_smtp_batch() does not return. */
2112       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2113         recipients_max_reject? "552": "452");
2114
2115     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2116     recipient address */
2117
2118     recipient = rewrite_existflags & rewrite_smtp
2119       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2120                     global_rewrite_rules)
2121       : smtp_cmd_data;
2122
2123     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2124       &recipient_domain, FALSE);
2125
2126     if (!recipient)
2127       /* The function moan_smtp_batch() does not return. */
2128       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2129
2130     /* If the recipient address is unqualified, qualify it if permitted. Then
2131     add it to the list of recipients. */
2132
2133     if (recipient_domain == 0)
2134       {
2135       if (allow_unqualified_recipient)
2136         {
2137         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2138           recipient);
2139         recipient = rewrite_address_qualify(recipient, TRUE);
2140         }
2141       /* The function moan_smtp_batch() does not return. */
2142       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
2143         "a domain");
2144       }
2145     receive_add_recipient(recipient, -1);
2146     break;
2147
2148
2149     /* The DATA command is legal only if it follows successful MAIL FROM
2150     and RCPT TO commands. This function is complete when a valid DATA
2151     command is encountered. */
2152
2153     case DATA_CMD:
2154     if (sender_address == NULL || recipients_count <= 0)
2155       {
2156       /* The function moan_smtp_batch() does not return. */
2157       if (sender_address == NULL)
2158         moan_smtp_batch(smtp_cmd_buffer,
2159           "503 MAIL FROM:<sender> command must precede DATA");
2160       else
2161         moan_smtp_batch(smtp_cmd_buffer,
2162           "503 RCPT TO:<recipient> must precede DATA");
2163       }
2164     else
2165       {
2166       done = 3;                      /* DATA successfully achieved */
2167       message_ended = END_NOTENDED;  /* Indicate in middle of message */
2168       }
2169     break;
2170
2171
2172     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2173
2174     case VRFY_CMD:
2175     case EXPN_CMD:
2176     case HELP_CMD:
2177     case NOOP_CMD:
2178     case ETRN_CMD:
2179     bsmtp_transaction_linecount = receive_linecount;
2180     break;
2181
2182
2183     case EOF_CMD:
2184     case QUIT_CMD:
2185     done = 2;
2186     break;
2187
2188
2189     case BADARG_CMD:
2190     /* The function moan_smtp_batch() does not return. */
2191     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2192     break;
2193
2194
2195     case BADCHAR_CMD:
2196     /* The function moan_smtp_batch() does not return. */
2197     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2198     break;
2199
2200
2201     default:
2202     /* The function moan_smtp_batch() does not return. */
2203     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2204     break;
2205     }
2206   }
2207
2208 return done - 2;  /* Convert yield values */
2209 }
2210
2211
2212
2213
2214 /*************************************************
2215 *          Start an SMTP session                 *
2216 *************************************************/
2217
2218 /* This function is called at the start of an SMTP session. Thereafter,
2219 smtp_setup_msg() is called to initiate each separate message. This
2220 function does host-specific testing, and outputs the banner line.
2221
2222 Arguments:     none
2223 Returns:       FALSE if the session can not continue; something has
2224                gone wrong, or the connection to the host is blocked
2225 */
2226
2227 BOOL
2228 smtp_start_session(void)
2229 {
2230 int size = 256;
2231 int ptr, esclen;
2232 uschar *user_msg, *log_msg;
2233 uschar *code, *esc;
2234 uschar *p, *s, *ss;
2235
2236 smtp_connection_start = time(NULL);
2237 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2238   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2239 smtp_ch_index = 0;
2240
2241 /* Default values for certain variables */
2242
2243 helo_seen = esmtp = helo_accept_junk = FALSE;
2244 smtp_mailcmd_count = 0;
2245 count_nonmail = TRUE_UNSET;
2246 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2247 smtp_delay_mail = smtp_rlm_base;
2248 auth_advertised = FALSE;
2249 pipelining_advertised = FALSE;
2250 pipelining_enable = TRUE;
2251 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2252 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2253
2254 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2255 authentication settings from -oMaa to remain in force. */
2256
2257 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2258 authenticated_by = NULL;
2259
2260 #ifdef SUPPORT_TLS
2261 tls_in.cipher = tls_in.peerdn = NULL;
2262 tls_in.ourcert = tls_in.peercert = NULL;
2263 tls_in.sni = NULL;
2264 tls_in.ocsp = OCSP_NOT_REQ;
2265 tls_advertised = FALSE;
2266 #endif
2267 dsn_advertised = FALSE;
2268 #ifdef SUPPORT_I18N
2269 smtputf8_advertised = FALSE;
2270 #endif
2271
2272 /* Reset ACL connection variables */
2273
2274 acl_var_c = NULL;
2275
2276 /* Allow for trailing 0 in the command and data buffers. */
2277
2278 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2279   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2280     "malloc() failed for SMTP command buffer");
2281
2282 smtp_cmd_buffer[0] = 0;
2283 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2284
2285 /* For batched input, the protocol setting can be overridden from the
2286 command line by a trusted caller. */
2287
2288 if (smtp_batched_input)
2289   {
2290   if (!received_protocol) received_protocol = US"local-bsmtp";
2291   }
2292
2293 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2294 reset later if any of EHLO/AUTH/STARTTLS are received. */
2295
2296 else
2297   received_protocol =
2298     (sender_host_address ? protocols : protocols_local) [pnormal];
2299
2300 /* Set up the buffer for inputting using direct read() calls, and arrange to
2301 call the local functions instead of the standard C ones. */
2302
2303 if (!(smtp_inbuffer = (uschar *)malloc(IN_BUFFER_SIZE)))
2304   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2305
2306 receive_getc = smtp_getc;
2307 receive_get_cache = smtp_get_cache;
2308 receive_ungetc = smtp_ungetc;
2309 receive_feof = smtp_feof;
2310 receive_ferror = smtp_ferror;
2311 receive_smtp_buffered = smtp_buffered;
2312 smtp_inptr = smtp_inend = smtp_inbuffer;
2313 smtp_had_eof = smtp_had_error = 0;
2314
2315 /* Set up the message size limit; this may be host-specific */
2316
2317 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2318 if (expand_string_message != NULL)
2319   {
2320   if (thismessage_size_limit == -1)
2321     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2322       "%s", expand_string_message);
2323   else
2324     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2325       "%s", expand_string_message);
2326   smtp_closedown(US"Temporary local problem - please try later");
2327   return FALSE;
2328   }
2329
2330 /* When a message is input locally via the -bs or -bS options, sender_host_
2331 unknown is set unless -oMa was used to force an IP address, in which case it
2332 is checked like a real remote connection. When -bs is used from inetd, this
2333 flag is not set, causing the sending host to be checked. The code that deals
2334 with IP source routing (if configured) is never required for -bs or -bS and
2335 the flag sender_host_notsocket is used to suppress it.
2336
2337 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2338 reserve for certain hosts and/or networks. */
2339
2340 if (!sender_host_unknown)
2341   {
2342   int rc;
2343   BOOL reserved_host = FALSE;
2344
2345   /* Look up IP options (source routing info) on the socket if this is not an
2346   -oMa "host", and if any are found, log them and drop the connection.
2347
2348   Linux (and others now, see below) is different to everyone else, so there
2349   has to be some conditional compilation here. Versions of Linux before 2.1.15
2350   used a structure whose name was "options". Somebody finally realized that
2351   this name was silly, and it got changed to "ip_options". I use the
2352   newer name here, but there is a fudge in the script that sets up os.h
2353   to define a macro in older Linux systems.
2354
2355   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2356   glibc 2, which has chosen ip_opts for the structure name. This is now
2357   really a glibc thing rather than a Linux thing, so the condition name
2358   has been changed to reflect this. It is relevant also to GNU/Hurd.
2359
2360   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2361   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2362   a special macro defined in the os.h file.
2363
2364   Some DGUX versions on older hardware appear not to support IP options at
2365   all, so there is now a general macro which can be set to cut out this
2366   support altogether.
2367
2368   How to do this properly in IPv6 is not yet known. */
2369
2370   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2371
2372   #ifdef GLIBC_IP_OPTIONS
2373     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2374     #define OPTSTYLE 1
2375     #else
2376     #define OPTSTYLE 2
2377     #endif
2378   #elif defined DARWIN_IP_OPTIONS
2379     #define OPTSTYLE 2
2380   #else
2381     #define OPTSTYLE 3
2382   #endif
2383
2384   if (!host_checking && !sender_host_notsocket)
2385     {
2386     #if OPTSTYLE == 1
2387     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2388     struct ip_options *ipopt = store_get(optlen);
2389     #elif OPTSTYLE == 2
2390     struct ip_opts ipoptblock;
2391     struct ip_opts *ipopt = &ipoptblock;
2392     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2393     #else
2394     struct ipoption ipoptblock;
2395     struct ipoption *ipopt = &ipoptblock;
2396     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2397     #endif
2398
2399     /* Occasional genuine failures of getsockopt() have been seen - for
2400     example, "reset by peer". Therefore, just log and give up on this
2401     call, unless the error is ENOPROTOOPT. This error is given by systems
2402     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2403     of writing. So for that error, carry on - we just can't do an IP options
2404     check. */
2405
2406     DEBUG(D_receive) debug_printf("checking for IP options\n");
2407
2408     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2409           &optlen) < 0)
2410       {
2411       if (errno != ENOPROTOOPT)
2412         {
2413         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2414           host_and_ident(FALSE), strerror(errno));
2415         smtp_printf("451 SMTP service not available\r\n");
2416         return FALSE;
2417         }
2418       }
2419
2420     /* Deal with any IP options that are set. On the systems I have looked at,
2421     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2422     more logging data than will fit in big_buffer. Nevertheless, after somebody
2423     questioned this code, I've added in some paranoid checking. */
2424
2425     else if (optlen > 0)
2426       {
2427       uschar *p = big_buffer;
2428       uschar *pend = big_buffer + big_buffer_size;
2429       uschar *opt, *adptr;
2430       int optcount;
2431       struct in_addr addr;
2432
2433       #if OPTSTYLE == 1
2434       uschar *optstart = (uschar *)(ipopt->__data);
2435       #elif OPTSTYLE == 2
2436       uschar *optstart = (uschar *)(ipopt->ip_opts);
2437       #else
2438       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2439       #endif
2440
2441       DEBUG(D_receive) debug_printf("IP options exist\n");
2442
2443       Ustrcpy(p, "IP options on incoming call:");
2444       p += Ustrlen(p);
2445
2446       for (opt = optstart; opt != NULL &&
2447            opt < (uschar *)(ipopt) + optlen;)
2448         {
2449         switch (*opt)
2450           {
2451           case IPOPT_EOL:
2452           opt = NULL;
2453           break;
2454
2455           case IPOPT_NOP:
2456           opt++;
2457           break;
2458
2459           case IPOPT_SSRR:
2460           case IPOPT_LSRR:
2461           if (!string_format(p, pend-p, " %s [@%s",
2462                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2463                #if OPTSTYLE == 1
2464                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2465                #elif OPTSTYLE == 2
2466                inet_ntoa(ipopt->ip_dst)))
2467                #else
2468                inet_ntoa(ipopt->ipopt_dst)))
2469                #endif
2470             {
2471             opt = NULL;
2472             break;
2473             }
2474
2475           p += Ustrlen(p);
2476           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2477           adptr = opt + 3;
2478           while (optcount-- > 0)
2479             {
2480             memcpy(&addr, adptr, sizeof(addr));
2481             if (!string_format(p, pend - p - 1, "%s%s",
2482                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2483               {
2484               opt = NULL;
2485               break;
2486               }
2487             p += Ustrlen(p);
2488             adptr += sizeof(struct in_addr);
2489             }
2490           *p++ = ']';
2491           opt += opt[1];
2492           break;
2493
2494           default:
2495             {
2496             int i;
2497             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2498             Ustrcat(p, "[ ");
2499             p += 2;
2500             for (i = 0; i < opt[1]; i++)
2501               {
2502               sprintf(CS p, "%2.2x ", opt[i]);
2503               p += 3;
2504               }
2505             *p++ = ']';
2506             }
2507           opt += opt[1];
2508           break;
2509           }
2510         }
2511
2512       *p = 0;
2513       log_write(0, LOG_MAIN, "%s", big_buffer);
2514
2515       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2516
2517       log_write(0, LOG_MAIN|LOG_REJECT,
2518         "connection from %s refused (IP options)", host_and_ident(FALSE));
2519
2520       smtp_printf("554 SMTP service not available\r\n");
2521       return FALSE;
2522       }
2523
2524     /* Length of options = 0 => there are no options */
2525
2526     else DEBUG(D_receive) debug_printf("no IP options found\n");
2527     }
2528   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2529
2530   /* Set keep-alive in socket options. The option is on by default. This
2531   setting is an attempt to get rid of some hanging connections that stick in
2532   read() when the remote end (usually a dialup) goes away. */
2533
2534   if (smtp_accept_keepalive && !sender_host_notsocket)
2535     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2536
2537   /* If the current host matches host_lookup, set the name by doing a
2538   reverse lookup. On failure, sender_host_name will be NULL and
2539   host_lookup_failed will be TRUE. This may or may not be serious - optional
2540   checks later. */
2541
2542   if (verify_check_host(&host_lookup) == OK)
2543     {
2544     (void)host_name_lookup();
2545     host_build_sender_fullhost();
2546     }
2547
2548   /* Delay this until we have the full name, if it is looked up. */
2549
2550   set_process_info("handling incoming connection from %s",
2551     host_and_ident(FALSE));
2552
2553   /* Expand smtp_receive_timeout, if needed */
2554
2555   if (smtp_receive_timeout_s)
2556     {
2557     uschar * exp;
2558     if (  !(exp = expand_string(smtp_receive_timeout_s))
2559        || !(*exp)
2560        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2561        )
2562       log_write(0, LOG_MAIN|LOG_PANIC,
2563         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2564     }
2565
2566   /* Test for explicit connection rejection */
2567
2568   if (verify_check_host(&host_reject_connection) == OK)
2569     {
2570     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2571       "from %s (host_reject_connection)", host_and_ident(FALSE));
2572     smtp_printf("554 SMTP service not available\r\n");
2573     return FALSE;
2574     }
2575
2576   /* Test with TCP Wrappers if so configured. There is a problem in that
2577   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2578   such as disks dying. In these cases, it is desirable to reject with a 4xx
2579   error instead of a 5xx error. There isn't a "right" way to detect such
2580   problems. The following kludge is used: errno is zeroed before calling
2581   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2582   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2583   not exist). */
2584
2585 #ifdef USE_TCP_WRAPPERS
2586   errno = 0;
2587   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2588     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2589       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2590         expand_string_message);
2591
2592   if (!hosts_ctl(tcp_wrappers_name,
2593          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2594          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2595          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2596     {
2597     if (errno == 0 || errno == ENOENT)
2598       {
2599       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2600       log_write(L_connection_reject,
2601                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2602                 "(tcp wrappers)", host_and_ident(FALSE));
2603       smtp_printf("554 SMTP service not available\r\n");
2604       }
2605     else
2606       {
2607       int save_errno = errno;
2608       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2609         "errno value %d\n", save_errno);
2610       log_write(L_connection_reject,
2611                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2612                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2613       smtp_printf("451 Temporary local problem - please try later\r\n");
2614       }
2615     return FALSE;
2616     }
2617 #endif
2618
2619   /* Check for reserved slots. The value of smtp_accept_count has already been
2620   incremented to include this process. */
2621
2622   if (smtp_accept_max > 0 &&
2623       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2624     {
2625     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2626       {
2627       log_write(L_connection_reject,
2628         LOG_MAIN, "temporarily refused connection from %s: not in "
2629         "reserve list: connected=%d max=%d reserve=%d%s",
2630         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2631         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2632       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2633         "please try again later\r\n", smtp_active_hostname);
2634       return FALSE;
2635       }
2636     reserved_host = TRUE;
2637     }
2638
2639   /* If a load level above which only messages from reserved hosts are
2640   accepted is set, check the load. For incoming calls via the daemon, the
2641   check is done in the superior process if there are no reserved hosts, to
2642   save a fork. In all cases, the load average will already be available
2643   in a global variable at this point. */
2644
2645   if (smtp_load_reserve >= 0 &&
2646        load_average > smtp_load_reserve &&
2647        !reserved_host &&
2648        verify_check_host(&smtp_reserve_hosts) != OK)
2649     {
2650     log_write(L_connection_reject,
2651       LOG_MAIN, "temporarily refused connection from %s: not in "
2652       "reserve list and load average = %.2f", host_and_ident(FALSE),
2653       (double)load_average/1000.0);
2654     smtp_printf("421 %s: Too much load; please try again later\r\n",
2655       smtp_active_hostname);
2656     return FALSE;
2657     }
2658
2659   /* Determine whether unqualified senders or recipients are permitted
2660   for this host. Unfortunately, we have to do this every time, in order to
2661   set the flags so that they can be inspected when considering qualifying
2662   addresses in the headers. For a site that permits no qualification, this
2663   won't take long, however. */
2664
2665   allow_unqualified_sender =
2666     verify_check_host(&sender_unqualified_hosts) == OK;
2667
2668   allow_unqualified_recipient =
2669     verify_check_host(&recipient_unqualified_hosts) == OK;
2670
2671   /* Determine whether HELO/EHLO is required for this host. The requirement
2672   can be hard or soft. */
2673
2674   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2675   if (!helo_required)
2676     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2677
2678   /* Determine whether this hosts is permitted to send syntactic junk
2679   after a HELO or EHLO command. */
2680
2681   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2682   }
2683
2684 /* For batch SMTP input we are now done. */
2685
2686 if (smtp_batched_input) return TRUE;
2687
2688 /* If valid Proxy Protocol source is connecting, set up session.
2689  * Failure will not allow any SMTP function other than QUIT. */
2690
2691 #ifdef SUPPORT_PROXY
2692 proxy_session = FALSE;
2693 proxy_session_failed = FALSE;
2694 if (check_proxy_protocol_host())
2695   setup_proxy_protocol_host();
2696 #endif
2697
2698   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2699   smtps port for use with older style SSL MTAs. */
2700
2701 #ifdef SUPPORT_TLS
2702   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2703     return FALSE;
2704 #endif
2705
2706 /* Run the connect ACL if it exists */
2707
2708 user_msg = NULL;
2709 if (acl_smtp_connect)
2710   {
2711   int rc;
2712   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2713                       &log_msg)) != OK)
2714     {
2715     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2716     return FALSE;
2717     }
2718   }
2719
2720 /* Output the initial message for a two-way SMTP connection. It may contain
2721 newlines, which then cause a multi-line response to be given. */
2722
2723 code = US"220";   /* Default status code */
2724 esc = US"";       /* Default extended status code */
2725 esclen = 0;       /* Length of esc */
2726
2727 if (!user_msg)
2728   {
2729   if (!(s = expand_string(smtp_banner)))
2730     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2731       "failed: %s", smtp_banner, expand_string_message);
2732   }
2733 else
2734   {
2735   int codelen = 3;
2736   s = user_msg;
2737   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2738   if (codelen > 4)
2739     {
2740     esc = code + 4;
2741     esclen = codelen - 4;
2742     }
2743   }
2744
2745 /* Remove any terminating newlines; might as well remove trailing space too */
2746
2747 p = s + Ustrlen(s);
2748 while (p > s && isspace(p[-1])) p--;
2749 *p = 0;
2750
2751 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2752 is all contained in a single IP packet. The original code wrote out the
2753 greeting using several calls to fprint/fputc, and on busy servers this could
2754 cause it to be split over more than one packet - which caused CC:Mail to fall
2755 over when it got the second part of the greeting after sending its first
2756 command. Sigh. To try to avoid this, build the complete greeting message
2757 first, and output it in one fell swoop. This gives a better chance of it
2758 ending up as a single packet. */
2759
2760 ss = store_get(size);
2761 ptr = 0;
2762
2763 p = s;
2764 do       /* At least once, in case we have an empty string */
2765   {
2766   int len;
2767   uschar *linebreak = Ustrchr(p, '\n');
2768   ss = string_catn(ss, &size, &ptr, code, 3);
2769   if (linebreak == NULL)
2770     {
2771     len = Ustrlen(p);
2772     ss = string_catn(ss, &size, &ptr, US" ", 1);
2773     }
2774   else
2775     {
2776     len = linebreak - p;
2777     ss = string_catn(ss, &size, &ptr, US"-", 1);
2778     }
2779   ss = string_catn(ss, &size, &ptr, esc, esclen);
2780   ss = string_catn(ss, &size, &ptr, p, len);
2781   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2782   p += len;
2783   if (linebreak != NULL) p++;
2784   }
2785 while (*p != 0);
2786
2787 ss[ptr] = 0;  /* string_cat leaves room for this */
2788
2789 /* Before we write the banner, check that there is no input pending, unless
2790 this synchronisation check is disabled. */
2791
2792 if (!check_sync())
2793   {
2794   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2795     "synchronization error (input sent without waiting for greeting): "
2796     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2797     string_printing(smtp_inptr));
2798   smtp_printf("554 SMTP synchronization error\r\n");
2799   return FALSE;
2800   }
2801
2802 /* Now output the banner */
2803
2804 smtp_printf("%s", ss);
2805 return TRUE;
2806 }
2807
2808
2809
2810
2811
2812 /*************************************************
2813 *     Handle SMTP syntax and protocol errors     *
2814 *************************************************/
2815
2816 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2817 to do so. Then transmit the error response. The return value depends on the
2818 number of syntax and protocol errors in this SMTP session.
2819
2820 Arguments:
2821   type      error type, given as a log flag bit
2822   code      response code; <= 0 means don't send a response
2823   data      data to reflect in the response (can be NULL)
2824   errmess   the error message
2825
2826 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2827             +1   limit of syntax/protocol errors IS exceeded
2828
2829 These values fit in with the values of the "done" variable in the main
2830 processing loop in smtp_setup_msg(). */
2831
2832 static int
2833 synprot_error(int type, int code, uschar *data, uschar *errmess)
2834 {
2835 int yield = -1;
2836
2837 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2838   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2839   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2840
2841 if (++synprot_error_count > smtp_max_synprot_errors)
2842   {
2843   yield = 1;
2844   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2845     "syntax or protocol errors (last command was \"%s\")",
2846     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2847   }
2848
2849 if (code > 0)
2850   {
2851   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2852     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2853   if (yield == 1)
2854     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2855   }
2856
2857 return yield;
2858 }
2859
2860
2861
2862
2863 /*************************************************
2864 *    Send SMTP response, possibly multiline      *
2865 *************************************************/
2866
2867 /* There are, it seems, broken clients out there that cannot handle multiline
2868 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2869 output nothing for non-final calls, and only the first line for anything else.
2870
2871 Arguments:
2872   code          SMTP code, may involve extended status codes
2873   codelen       length of smtp code; if > 4 there's an ESC
2874   final         FALSE if the last line isn't the final line
2875   msg           message text, possibly containing newlines
2876
2877 Returns:        nothing
2878 */
2879
2880 void
2881 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2882 {
2883 int esclen = 0;
2884 uschar *esc = US"";
2885
2886 if (!final && no_multiline_responses) return;
2887
2888 if (codelen > 4)
2889   {
2890   esc = code + 4;
2891   esclen = codelen - 4;
2892   }
2893
2894 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2895 have had the same. Note: this code is also present in smtp_printf(). It would
2896 be tidier to have it only in one place, but when it was added, it was easier to
2897 do it that way, so as not to have to mess with the code for the RCPT command,
2898 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2899
2900 if (rcpt_in_progress)
2901   {
2902   if (rcpt_smtp_response == NULL)
2903     rcpt_smtp_response = string_copy(msg);
2904   else if (rcpt_smtp_response_same &&
2905            Ustrcmp(rcpt_smtp_response, msg) != 0)
2906     rcpt_smtp_response_same = FALSE;
2907   rcpt_in_progress = FALSE;
2908   }
2909
2910 /* Not output the message, splitting it up into multiple lines if necessary. */
2911
2912 for (;;)
2913   {
2914   uschar *nl = Ustrchr(msg, '\n');
2915   if (nl == NULL)
2916     {
2917     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2918     return;
2919     }
2920   else if (nl[1] == 0 || no_multiline_responses)
2921     {
2922     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2923       (int)(nl - msg), msg);
2924     return;
2925     }
2926   else
2927     {
2928     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2929     msg = nl + 1;
2930     while (isspace(*msg)) msg++;
2931     }
2932   }
2933 }
2934
2935
2936
2937
2938 /*************************************************
2939 *            Parse user SMTP message             *
2940 *************************************************/
2941
2942 /* This function allows for user messages overriding the response code details
2943 by providing a suitable response code string at the start of the message
2944 user_msg. Check the message for starting with a response code and optionally an
2945 extended status code. If found, check that the first digit is valid, and if so,
2946 change the code pointer and length to use the replacement. An invalid code
2947 causes a panic log; in this case, if the log messages is the same as the user
2948 message, we must also adjust the value of the log message to show the code that
2949 is actually going to be used (the original one).
2950
2951 This function is global because it is called from receive.c as well as within
2952 this module.
2953
2954 Note that the code length returned includes the terminating whitespace
2955 character, which is always included in the regex match.
2956
2957 Arguments:
2958   code          SMTP code, may involve extended status codes
2959   codelen       length of smtp code; if > 4 there's an ESC
2960   msg           message text
2961   log_msg       optional log message, to be adjusted with the new SMTP code
2962   check_valid   if true, verify the response code
2963
2964 Returns:        nothing
2965 */
2966
2967 void
2968 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2969   BOOL check_valid)
2970 {
2971 int n;
2972 int ovector[3];
2973
2974 if (!msg || !*msg) return;
2975
2976 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2977   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2978
2979 if (check_valid && (*msg)[0] != (*code)[0])
2980   {
2981   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2982     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2983   if (log_msg != NULL && *log_msg == *msg)
2984     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2985   }
2986 else
2987   {
2988   *code = *msg;
2989   *codelen = ovector[1];    /* Includes final space */
2990   }
2991 *msg += ovector[1];         /* Chop the code off the message */
2992 return;
2993 }
2994
2995
2996
2997
2998 /*************************************************
2999 *           Handle an ACL failure                *
3000 *************************************************/
3001
3002 /* This function is called when acl_check() fails. As well as calls from within
3003 this module, it is called from receive.c for an ACL after DATA. It sorts out
3004 logging the incident, and sets up the error response. A message containing
3005 newlines is turned into a multiline SMTP response, but for logging, only the
3006 first line is used.
3007
3008 There's a table of default permanent failure response codes to use in
3009 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3010 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3011 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3012 state, because there are broken clients that try VRFY before RCPT. A 5xx
3013 response should be given only when the address is positively known to be
3014 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3015 no explicit code, but if there is one we let it know best.
3016 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3017
3018 From Exim 4.63, it is possible to override the response code details by
3019 providing a suitable response code string at the start of the message provided
3020 in user_msg. The code's first digit is checked for validity.
3021
3022 Arguments:
3023   where        where the ACL was called from
3024   rc           the failure code
3025   user_msg     a message that can be included in an SMTP response
3026   log_msg      a message for logging
3027
3028 Returns:     0 in most cases
3029              2 if the failure code was FAIL_DROP, in which case the
3030                SMTP connection should be dropped (this value fits with the
3031                "done" variable in smtp_setup_msg() below)
3032 */
3033
3034 int
3035 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3036 {
3037 BOOL drop = rc == FAIL_DROP;
3038 int codelen = 3;
3039 uschar *smtp_code;
3040 uschar *lognl;
3041 uschar *sender_info = US"";
3042 uschar *what =
3043 #ifdef WITH_CONTENT_SCAN
3044   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3045 #endif
3046   where == ACL_WHERE_PREDATA ? US"DATA" :
3047   where == ACL_WHERE_DATA ? US"after DATA" :
3048 #ifndef DISABLE_PRDR
3049   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3050 #endif
3051   smtp_cmd_data ?
3052     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3053     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3054
3055 if (drop) rc = FAIL;
3056
3057 /* Set the default SMTP code, and allow a user message to change it. */
3058
3059 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3060 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3061   where != ACL_WHERE_VRFY);
3062
3063 /* We used to have sender_address here; however, there was a bug that was not
3064 updating sender_address after a rewrite during a verify. When this bug was
3065 fixed, sender_address at this point became the rewritten address. I'm not sure
3066 this is what should be logged, so I've changed to logging the unrewritten
3067 address to retain backward compatibility. */
3068
3069 #ifndef WITH_CONTENT_SCAN
3070 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3071 #else
3072 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3073 #endif
3074   {
3075   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3076     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3077     sender_host_authenticated ? US" A="                                    : US"",
3078     sender_host_authenticated ? sender_host_authenticated                  : US"",
3079     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3080     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3081     );
3082   }
3083
3084 /* If there's been a sender verification failure with a specific message, and
3085 we have not sent a response about it yet, do so now, as a preliminary line for
3086 failures, but not defers. However, always log it for defer, and log it for fail
3087 unless the sender_verify_fail log selector has been turned off. */
3088
3089 if (sender_verified_failed &&
3090     !testflag(sender_verified_failed, af_sverify_told))
3091   {
3092   BOOL save_rcpt_in_progress = rcpt_in_progress;
3093   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3094
3095   setflag(sender_verified_failed, af_sverify_told);
3096
3097   if (rc != FAIL || LOGGING(sender_verify_fail))
3098     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3099       host_and_ident(TRUE),
3100       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3101       sender_verified_failed->address,
3102       (sender_verified_failed->message == NULL)? US"" :
3103       string_sprintf(": %s", sender_verified_failed->message));
3104
3105   if (rc == FAIL && sender_verified_failed->user_message)
3106     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3107         testflag(sender_verified_failed, af_verify_pmfail)?
3108           "Postmaster verification failed while checking <%s>\n%s\n"
3109           "Several RFCs state that you are required to have a postmaster\n"
3110           "mailbox for each mail domain. This host does not accept mail\n"
3111           "from domains whose servers reject the postmaster address."
3112           :
3113         testflag(sender_verified_failed, af_verify_nsfail)?
3114           "Callback setup failed while verifying <%s>\n%s\n"
3115           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3116           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3117           "RFC requirements, and stops you from receiving standard bounce\n"
3118           "messages. This host does not accept mail from domains whose servers\n"
3119           "refuse bounces."
3120           :
3121           "Verification failed for <%s>\n%s",
3122         sender_verified_failed->address,
3123         sender_verified_failed->user_message));
3124
3125   rcpt_in_progress = save_rcpt_in_progress;
3126   }
3127
3128 /* Sort out text for logging */
3129
3130 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3131 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3132
3133 /* Send permanent failure response to the command, but the code used isn't
3134 always a 5xx one - see comments at the start of this function. If the original
3135 rc was FAIL_DROP we drop the connection and yield 2. */
3136
3137 if (rc == FAIL)
3138   smtp_respond(smtp_code, codelen, TRUE,
3139     user_msg ? user_msg : US"Administrative prohibition");
3140
3141 /* Send temporary failure response to the command. Don't give any details,
3142 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3143 verb, and for a header verify when smtp_return_error_details is set.
3144
3145 This conditional logic is all somewhat of a mess because of the odd
3146 interactions between temp_details and return_error_details. One day it should
3147 be re-implemented in a tidier fashion. */
3148
3149 else
3150   if (acl_temp_details && user_msg)
3151     {
3152     if (  smtp_return_error_details
3153        && sender_verified_failed
3154        && sender_verified_failed->message
3155        )
3156       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3157
3158     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3159     }
3160   else
3161     smtp_respond(smtp_code, codelen, TRUE,
3162       US"Temporary local problem - please try later");
3163
3164 /* Log the incident to the logs that are specified by log_reject_target
3165 (default main, reject). This can be empty to suppress logging of rejections. If
3166 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3167 is closing if required and return 2.  */
3168
3169 if (log_reject_target != 0)
3170   {
3171 #ifdef SUPPORT_TLS
3172   uschar * tls = s_tlslog(NULL, NULL, NULL);
3173   if (!tls) tls = US"";
3174 #else
3175   uschar * tls = US"";
3176 #endif
3177   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3178     log_reject_target, "%s%s%s %s%srejected %s%s",
3179     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3180     host_and_ident(TRUE),
3181     tls,
3182     sender_info,
3183     rc == FAIL ? US"" : US"temporarily ",
3184     what, log_msg);
3185   }
3186
3187 if (!drop) return 0;
3188
3189 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3190   smtp_get_connection_info());
3191
3192 /* Run the not-quit ACL, but without any custom messages. This should not be a
3193 problem, because we get here only if some other ACL has issued "drop", and
3194 in that case, *its* custom messages will have been used above. */
3195
3196 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3197 return 2;
3198 }
3199
3200
3201
3202
3203 /*************************************************
3204 *     Handle SMTP exit when QUIT is not given    *
3205 *************************************************/
3206
3207 /* This function provides a logging/statistics hook for when an SMTP connection
3208 is dropped on the floor or the other end goes away. It's a global function
3209 because it's called from receive.c as well as this module. As well as running
3210 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3211 response, either with a custom message from the ACL, or using a default. There
3212 is one case, however, when no message is output - after "drop". In that case,
3213 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3214 passed to this function.
3215
3216 In case things go wrong while processing this function, causing an error that
3217 may re-enter this function, there is a recursion check.
3218
3219 Arguments:
3220   reason          What $smtp_notquit_reason will be set to in the ACL;
3221                     if NULL, the ACL is not run
3222   code            The error code to return as part of the response
3223   defaultrespond  The default message if there's no user_msg
3224
3225 Returns:          Nothing
3226 */
3227
3228 void
3229 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3230 {
3231 int rc;
3232 uschar *user_msg = NULL;
3233 uschar *log_msg = NULL;
3234
3235 /* Check for recursive acll */
3236
3237 if (smtp_exit_function_called)
3238   {
3239   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3240     reason);
3241   return;
3242   }
3243 smtp_exit_function_called = TRUE;
3244
3245 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3246
3247 if (acl_smtp_notquit && reason)
3248   {
3249   smtp_notquit_reason = reason;
3250   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3251                       &log_msg)) == ERROR)
3252     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3253       log_msg);
3254   }
3255
3256 /* Write an SMTP response if we are expected to give one. As the default
3257 responses are all internal, they should always fit in the buffer, but code a
3258 warning, just in case. Note that string_vformat() still leaves a complete
3259 string, even if it is incomplete. */
3260
3261 if (code && defaultrespond)
3262   {
3263   if (user_msg)
3264     smtp_respond(code, 3, TRUE, user_msg);
3265   else
3266     {
3267     uschar buffer[128];
3268     va_list ap;
3269     va_start(ap, defaultrespond);
3270     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3271       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3272     smtp_printf("%s %s\r\n", code, buffer);
3273     va_end(ap);
3274     }
3275   mac_smtp_fflush();
3276   }
3277 }
3278
3279
3280
3281
3282 /*************************************************
3283 *             Verify HELO argument               *
3284 *************************************************/
3285
3286 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3287 matched. It is also called from ACL processing if verify = helo is used and
3288 verification was not previously tried (i.e. helo_try_verify_hosts was not
3289 matched). The result of its processing is to set helo_verified and
3290 helo_verify_failed. These variables should both be FALSE for this function to
3291 be called.
3292
3293 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3294 for IPv6 ::ffff: literals.
3295
3296 Argument:   none
3297 Returns:    TRUE if testing was completed;
3298             FALSE on a temporary failure
3299 */
3300
3301 BOOL
3302 smtp_verify_helo(void)
3303 {
3304 BOOL yield = TRUE;
3305
3306 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3307   sender_helo_name);
3308
3309 if (sender_helo_name == NULL)
3310   {
3311   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3312   }
3313
3314 /* Deal with the case of -bs without an IP address */
3315
3316 else if (sender_host_address == NULL)
3317   {
3318   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3319   helo_verified = TRUE;
3320   }
3321
3322 /* Deal with the more common case when there is a sending IP address */
3323
3324 else if (sender_helo_name[0] == '[')
3325   {
3326   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3327     Ustrlen(sender_host_address)) == 0;
3328
3329   #if HAVE_IPV6
3330   if (!helo_verified)
3331     {
3332     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3333       helo_verified = Ustrncmp(sender_helo_name + 1,
3334         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3335     }
3336   #endif
3337
3338   HDEBUG(D_receive)
3339     { if (helo_verified) debug_printf("matched host address\n"); }
3340   }
3341
3342 /* Do a reverse lookup if one hasn't already given a positive or negative
3343 response. If that fails, or the name doesn't match, try checking with a forward
3344 lookup. */
3345
3346 else
3347   {
3348   if (sender_host_name == NULL && !host_lookup_failed)
3349     yield = host_name_lookup() != DEFER;
3350
3351   /* If a host name is known, check it and all its aliases. */
3352
3353   if (sender_host_name)
3354     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3355       {
3356       sender_helo_dnssec = sender_host_dnssec;
3357       HDEBUG(D_receive) debug_printf("matched host name\n");
3358       }
3359     else
3360       {
3361       uschar **aliases = sender_host_aliases;
3362       while (*aliases)
3363         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3364           {
3365           sender_helo_dnssec = sender_host_dnssec;
3366           break;
3367           }
3368
3369       HDEBUG(D_receive) if (helo_verified)
3370           debug_printf("matched alias %s\n", *(--aliases));
3371       }
3372
3373   /* Final attempt: try a forward lookup of the helo name */
3374
3375   if (!helo_verified)
3376     {
3377     int rc;
3378     host_item h;
3379     dnssec_domains d;
3380     host_item *hh;
3381
3382     h.name = sender_helo_name;
3383     h.address = NULL;
3384     h.mx = MX_NONE;
3385     h.next = NULL;
3386     d.request = US"*";
3387     d.require = US"";
3388
3389     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3390       sender_helo_name);
3391     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3392                           NULL, NULL, NULL, &d, NULL, NULL);
3393     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3394       for (hh = &h; hh; hh = hh->next)
3395         if (Ustrcmp(hh->address, sender_host_address) == 0)
3396           {
3397           helo_verified = TRUE;
3398           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3399           HDEBUG(D_receive)
3400             {
3401             debug_printf("IP address for %s matches calling address\n"
3402               "Forward DNS security status: %sverified\n",
3403               sender_helo_name, sender_helo_dnssec ? "" : "un");
3404             }
3405           break;
3406           }
3407     }
3408   }
3409
3410 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3411 return yield;
3412 }
3413
3414
3415
3416
3417 /*************************************************
3418 *        Send user response message              *
3419 *************************************************/
3420
3421 /* This function is passed a default response code and a user message. It calls
3422 smtp_message_code() to check and possibly modify the response code, and then
3423 calls smtp_respond() to transmit the response. I put this into a function
3424 just to avoid a lot of repetition.
3425
3426 Arguments:
3427   code         the response code
3428   user_msg     the user message
3429
3430 Returns:       nothing
3431 */
3432
3433 static void
3434 smtp_user_msg(uschar *code, uschar *user_msg)
3435 {
3436 int len = 3;
3437 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3438 smtp_respond(code, len, TRUE, user_msg);
3439 }
3440
3441
3442
3443 static int
3444 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3445 {
3446 const uschar *set_id = NULL;
3447 int rc, i;
3448
3449 /* Run the checking code, passing the remainder of the command line as
3450 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3451 it as the only set numerical variable. The authenticator may set $auth<n>
3452 and also set other numeric variables. The $auth<n> variables are preferred
3453 nowadays; the numerical variables remain for backwards compatibility.
3454
3455 Afterwards, have a go at expanding the set_id string, even if
3456 authentication failed - for bad passwords it can be useful to log the
3457 userid. On success, require set_id to expand and exist, and put it in
3458 authenticated_id. Save this in permanent store, as the working store gets
3459 reset at HELO, RSET, etc. */
3460
3461 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3462 expand_nmax = 0;
3463 expand_nlength[0] = 0;   /* $0 contains nothing */
3464
3465 rc = (au->info->servercode)(au, smtp_cmd_data);
3466 if (au->set_id) set_id = expand_string(au->set_id);
3467 expand_nmax = -1;        /* Reset numeric variables */
3468 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3469
3470 /* The value of authenticated_id is stored in the spool file and printed in
3471 log lines. It must not contain binary zeros or newline characters. In
3472 normal use, it never will, but when playing around or testing, this error
3473 can (did) happen. To guard against this, ensure that the id contains only
3474 printing characters. */
3475
3476 if (set_id) set_id = string_printing(set_id);
3477
3478 /* For the non-OK cases, set up additional logging data if set_id
3479 is not empty. */
3480
3481 if (rc != OK)
3482   set_id = set_id && *set_id
3483     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3484
3485 /* Switch on the result */
3486
3487 switch(rc)
3488   {
3489   case OK:
3490   if (!au->set_id || set_id)    /* Complete success */
3491     {
3492     if (set_id) authenticated_id = string_copy_malloc(set_id);
3493     sender_host_authenticated = au->name;
3494     authentication_failed = FALSE;
3495     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3496
3497     received_protocol =
3498       (sender_host_address ? protocols : protocols_local)
3499         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3500     *s = *ss = US"235 Authentication succeeded";
3501     authenticated_by = au;
3502     break;
3503     }
3504
3505   /* Authentication succeeded, but we failed to expand the set_id string.
3506   Treat this as a temporary error. */
3507
3508   auth_defer_msg = expand_string_message;
3509   /* Fall through */
3510
3511   case DEFER:
3512   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3513   *s = string_sprintf("435 Unable to authenticate at present%s",
3514     auth_defer_user_msg);
3515   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3516     set_id, auth_defer_msg);
3517   break;
3518
3519   case BAD64:
3520   *s = *ss = US"501 Invalid base64 data";
3521   break;
3522
3523   case CANCELLED:
3524   *s = *ss = US"501 Authentication cancelled";
3525   break;
3526
3527   case UNEXPECTED:
3528   *s = *ss = US"553 Initial data not expected";
3529   break;
3530
3531   case FAIL:
3532   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3533   *s = US"535 Incorrect authentication data";
3534   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3535   break;
3536
3537   default:
3538   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3539   *s = US"435 Internal error";
3540   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3541     "check", set_id, rc);
3542   break;
3543   }
3544
3545 return rc;
3546 }
3547
3548
3549
3550
3551
3552 static int
3553 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3554 {
3555 int rd;
3556 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3557   {
3558   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3559     *recipient);
3560   rd = Ustrlen(recipient) + 1;
3561   *recipient = rewrite_address_qualify(*recipient, TRUE);
3562   return rd;
3563   }
3564 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3565   smtp_cmd_data);
3566 log_write(L_smtp_syntax_error,
3567   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3568   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3569 return 0;
3570 }
3571
3572
3573
3574
3575 static void
3576 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3577 {
3578 HAD(SCH_QUIT);
3579 incomplete_transaction_log(US"QUIT");
3580 if (acl_smtp_quit)
3581   {
3582   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3583   if (rc == ERROR)
3584     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3585       *log_msgp);
3586   }
3587 if (*user_msgp)
3588   smtp_respond(US"221", 3, TRUE, *user_msgp);
3589 else
3590   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3591
3592 #ifdef SUPPORT_TLS
3593 tls_close(TRUE, TRUE);
3594 #endif
3595
3596 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3597   smtp_get_connection_info());
3598 }
3599
3600
3601 static void
3602 smtp_rset_handler(void)
3603 {
3604 HAD(SCH_RSET);
3605 incomplete_transaction_log(US"RSET");
3606 smtp_printf("250 Reset OK\r\n");
3607 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3608 }
3609
3610
3611
3612 /*************************************************
3613 *       Initialize for SMTP incoming message     *
3614 *************************************************/
3615
3616 /* This function conducts the initial dialogue at the start of an incoming SMTP
3617 message, and builds a list of recipients. However, if the incoming message
3618 is part of a batch (-bS option) a separate function is called since it would
3619 be messy having tests splattered about all over this function. This function
3620 therefore handles the case where interaction is occurring. The input and output
3621 files are set up in smtp_in and smtp_out.
3622
3623 The global recipients_list is set to point to a vector of recipient_item
3624 blocks, whose number is given by recipients_count. This is extended by the
3625 receive_add_recipient() function. The global variable sender_address is set to
3626 the sender's address. The yield is +1 if a message has been successfully
3627 started, 0 if a QUIT command was encountered or the connection was refused from
3628 the particular host, or -1 if the connection was lost.
3629
3630 Argument: none
3631
3632 Returns:  > 0 message successfully started (reached DATA)
3633           = 0 QUIT read or end of file reached or call refused
3634           < 0 lost connection
3635 */
3636
3637 int
3638 smtp_setup_msg(void)
3639 {
3640 int done = 0;
3641 BOOL toomany = FALSE;
3642 BOOL discarded = FALSE;
3643 BOOL last_was_rej_mail = FALSE;
3644 BOOL last_was_rcpt = FALSE;
3645 void *reset_point = store_get(0);
3646
3647 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3648
3649 /* Reset for start of new message. We allow one RSET not to be counted as a
3650 nonmail command, for those MTAs that insist on sending it between every
3651 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3652 TLS between messages (an Exim client may do this if it has messages queued up
3653 for the host). Note: we do NOT reset AUTH at this point. */
3654
3655 smtp_reset(reset_point);
3656 message_ended = END_NOTSTARTED;
3657
3658 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3659
3660 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3661 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3662 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3663 #ifdef SUPPORT_TLS
3664 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3665 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3666 #endif
3667
3668 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3669
3670 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3671
3672 /* Batched SMTP is handled in a different function. */
3673
3674 if (smtp_batched_input) return smtp_setup_batch_msg();
3675
3676 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3677 value. The values are 2 larger than the required yield of the function. */
3678
3679 while (done <= 0)
3680   {
3681   const uschar **argv;
3682   uschar *etrn_command;
3683   uschar *etrn_serialize_key;
3684   uschar *errmess;
3685   uschar *log_msg, *smtp_code;
3686   uschar *user_msg = NULL;
3687   uschar *recipient = NULL;
3688   uschar *hello = NULL;
3689   uschar *s, *ss;
3690   BOOL was_rej_mail = FALSE;
3691   BOOL was_rcpt = FALSE;
3692   void (*oldsignal)(int);
3693   pid_t pid;
3694   int start, end, sender_domain, recipient_domain;
3695   int ptr, size, rc;
3696   int c;
3697   auth_instance *au;
3698   uschar *orcpt = NULL;
3699   int flags;
3700
3701 #ifdef AUTH_TLS
3702   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3703   if (  tls_in.active >= 0
3704      && tls_in.peercert
3705      && tls_in.certificate_verified
3706      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3707      )
3708     {
3709     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3710     if (  acl_smtp_auth
3711        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3712                   &user_msg, &log_msg)) != OK
3713        )
3714       {
3715       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3716       continue;
3717       }
3718
3719     for (au = auths; au; au = au->next)
3720       if (strcmpic(US"tls", au->driver_name) == 0)
3721         {
3722         smtp_cmd_data = NULL;
3723
3724         if (smtp_in_auth(au, &s, &ss) == OK)
3725           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3726         else
3727           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3728         break;
3729         }
3730     }
3731 #endif
3732
3733 #ifdef TCP_QUICKACK
3734   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3735     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3736             US &off, sizeof(off));
3737 #endif
3738
3739   switch(smtp_read_command(TRUE, GETC_BUFFER_UNLIMITED))
3740     {
3741     /* The AUTH command is not permitted to occur inside a transaction, and may
3742     occur successfully only once per connection. Actually, that isn't quite
3743     true. When TLS is started, all previous information about a connection must
3744     be discarded, so a new AUTH is permitted at that time.
3745
3746     AUTH may only be used when it has been advertised. However, it seems that
3747     there are clients that send AUTH when it hasn't been advertised, some of
3748     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3749     So there's a get-out that allows this to happen.
3750
3751     AUTH is initially labelled as a "nonmail command" so that one occurrence
3752     doesn't get counted. We change the label here so that multiple failing
3753     AUTHS will eventually hit the nonmail threshold. */
3754
3755     case AUTH_CMD:
3756     HAD(SCH_AUTH);
3757     authentication_failed = TRUE;
3758     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3759
3760     if (!auth_advertised && !allow_auth_unadvertised)
3761       {
3762       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3763         US"AUTH command used when not advertised");
3764       break;
3765       }
3766     if (sender_host_authenticated)
3767       {
3768       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3769         US"already authenticated");
3770       break;
3771       }
3772     if (sender_address)
3773       {
3774       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3775         US"not permitted in mail transaction");
3776       break;
3777       }
3778
3779     /* Check the ACL */
3780
3781     if (  acl_smtp_auth
3782        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3783                   &user_msg, &log_msg)) != OK
3784        )
3785       {
3786       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3787       break;
3788       }
3789
3790     /* Find the name of the requested authentication mechanism. */
3791
3792     s = smtp_cmd_data;
3793     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3794       {
3795       if (!isalnum(c) && c != '-' && c != '_')
3796         {
3797         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3798           US"invalid character in authentication mechanism name");
3799         goto COMMAND_LOOP;
3800         }
3801       smtp_cmd_data++;
3802       }
3803
3804     /* If not at the end of the line, we must be at white space. Terminate the
3805     name and move the pointer on to any data that may be present. */
3806
3807     if (*smtp_cmd_data != 0)
3808       {
3809       *smtp_cmd_data++ = 0;
3810       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3811       }
3812
3813     /* Search for an authentication mechanism which is configured for use
3814     as a server and which has been advertised (unless, sigh, allow_auth_
3815     unadvertised is set). */
3816
3817     for (au = auths; au; au = au->next)
3818       if (strcmpic(s, au->public_name) == 0 && au->server &&
3819           (au->advertised || allow_auth_unadvertised))
3820         break;
3821
3822     if (au)
3823       {
3824       c = smtp_in_auth(au, &s, &ss);
3825
3826       smtp_printf("%s\r\n", s);
3827       if (c != OK)
3828         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3829           au->name, host_and_ident(FALSE), ss);
3830       }
3831     else
3832       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3833         string_sprintf("%s authentication mechanism not supported", s));
3834
3835     break;  /* AUTH_CMD */
3836
3837     /* The HELO/EHLO commands are permitted to appear in the middle of a
3838     session as well as at the beginning. They have the effect of a reset in
3839     addition to their other functions. Their absence at the start cannot be
3840     taken to be an error.
3841
3842     RFC 2821 says:
3843
3844       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3845       or 502 failure replies MUST be returned as appropriate.  The SMTP
3846       server MUST stay in the same state after transmitting these replies
3847       that it was in before the EHLO was received.
3848
3849     Therefore, we do not do the reset until after checking the command for
3850     acceptability. This change was made for Exim release 4.11. Previously
3851     it did the reset first. */
3852
3853     case HELO_CMD:
3854     HAD(SCH_HELO);
3855     hello = US"HELO";
3856     esmtp = FALSE;
3857     goto HELO_EHLO;
3858
3859     case EHLO_CMD:
3860     HAD(SCH_EHLO);
3861     hello = US"EHLO";
3862     esmtp = TRUE;
3863
3864     HELO_EHLO:      /* Common code for HELO and EHLO */
3865     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3866     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3867
3868     /* Reject the HELO if its argument was invalid or non-existent. A
3869     successful check causes the argument to be saved in malloc store. */
3870
3871     if (!check_helo(smtp_cmd_data))
3872       {
3873       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3874
3875       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3876         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3877         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3878                            string_printing(smtp_cmd_argument));
3879
3880       if (++synprot_error_count > smtp_max_synprot_errors)
3881         {
3882         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3883           "syntax or protocol errors (last command was \"%s\")",
3884           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3885         done = 1;
3886         }
3887
3888       break;
3889       }
3890
3891     /* If sender_host_unknown is true, we have got here via the -bs interface,
3892     not called from inetd. Otherwise, we are running an IP connection and the
3893     host address will be set. If the helo name is the primary name of this
3894     host and we haven't done a reverse lookup, force one now. If helo_required
3895     is set, ensure that the HELO name matches the actual host. If helo_verify
3896     is set, do the same check, but softly. */
3897
3898     if (!sender_host_unknown)
3899       {
3900       BOOL old_helo_verified = helo_verified;
3901       uschar *p = smtp_cmd_data;
3902
3903       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3904       *p = 0;
3905
3906       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3907       because otherwise the log can be confusing. */
3908
3909       if (sender_host_name == NULL &&
3910            (deliver_domain = sender_helo_name,  /* set $domain */
3911             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3912               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3913         (void)host_name_lookup();
3914
3915       /* Rebuild the fullhost info to include the HELO name (and the real name
3916       if it was looked up.) */
3917
3918       host_build_sender_fullhost();  /* Rebuild */
3919       set_process_info("handling%s incoming connection from %s",
3920         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3921
3922       /* Verify if configured. This doesn't give much security, but it does
3923       make some people happy to be able to do it. If helo_required is set,
3924       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3925       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3926       now obsolescent, since the verification can now be requested selectively
3927       at ACL time. */
3928
3929       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3930       if (helo_required || helo_verify)
3931         {
3932         BOOL tempfail = !smtp_verify_helo();
3933         if (!helo_verified)
3934           {
3935           if (helo_required)
3936             {
3937             smtp_printf("%d %s argument does not match calling host\r\n",
3938               tempfail? 451 : 550, hello);
3939             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3940               tempfail? "temporarily " : "",
3941               hello, sender_helo_name, host_and_ident(FALSE));
3942             helo_verified = old_helo_verified;
3943             break;                   /* End of HELO/EHLO processing */
3944             }
3945           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3946             "helo_try_verify_hosts\n", hello);
3947           }
3948         }
3949       }
3950
3951 #ifdef EXPERIMENTAL_SPF
3952     /* set up SPF context */
3953     spf_init(sender_helo_name, sender_host_address);
3954 #endif
3955
3956     /* Apply an ACL check if one is defined; afterwards, recheck
3957     synchronization in case the client started sending in a delay. */
3958
3959     if (acl_smtp_helo)
3960       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3961                 &user_msg, &log_msg)) != OK)
3962         {
3963         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3964         sender_helo_name = NULL;
3965         host_build_sender_fullhost();  /* Rebuild */
3966         break;
3967         }
3968       else if (!check_sync()) goto SYNC_FAILURE;
3969
3970     /* Generate an OK reply. The default string includes the ident if present,
3971     and also the IP address if present. Reflecting back the ident is intended
3972     as a deterrent to mail forgers. For maximum efficiency, and also because
3973     some broken systems expect each response to be in a single packet, arrange
3974     that the entire reply is sent in one write(). */
3975
3976     auth_advertised = FALSE;
3977     pipelining_advertised = FALSE;
3978 #ifdef SUPPORT_TLS
3979     tls_advertised = FALSE;
3980 #endif
3981     dsn_advertised = FALSE;
3982 #ifdef SUPPORT_I18N
3983     smtputf8_advertised = FALSE;
3984 #endif
3985
3986     smtp_code = US"250 ";        /* Default response code plus space*/
3987     if (user_msg == NULL)
3988       {
3989       s = string_sprintf("%.3s %s Hello %s%s%s",
3990         smtp_code,
3991         smtp_active_hostname,
3992         (sender_ident == NULL)?  US"" : sender_ident,
3993         (sender_ident == NULL)?  US"" : US" at ",
3994         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3995
3996       ptr = Ustrlen(s);
3997       size = ptr + 1;
3998
3999       if (sender_host_address != NULL)
4000         {
4001         s = string_catn(s, &size, &ptr, US" [", 2);
4002         s = string_cat (s, &size, &ptr, sender_host_address);
4003         s = string_catn(s, &size, &ptr, US"]", 1);
4004         }
4005       }
4006
4007     /* A user-supplied EHLO greeting may not contain more than one line. Note
4008     that the code returned by smtp_message_code() includes the terminating
4009     whitespace character. */
4010
4011     else
4012       {
4013       char *ss;
4014       int codelen = 4;
4015       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4016       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4017       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4018         {
4019         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4020           "newlines: message truncated: %s", string_printing(s));
4021         *ss = 0;
4022         }
4023       ptr = Ustrlen(s);
4024       size = ptr + 1;
4025       }
4026
4027     s = string_catn(s, &size, &ptr, US"\r\n", 2);
4028
4029     /* If we received EHLO, we must create a multiline response which includes
4030     the functions supported. */
4031
4032     if (esmtp)
4033       {
4034       s[3] = '-';
4035
4036       /* I'm not entirely happy with this, as an MTA is supposed to check
4037       that it has enough room to accept a message of maximum size before
4038       it sends this. However, there seems little point in not sending it.
4039       The actual size check happens later at MAIL FROM time. By postponing it
4040       till then, VRFY and EXPN can be used after EHLO when space is short. */
4041
4042       if (thismessage_size_limit > 0)
4043         {
4044         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
4045           thismessage_size_limit);
4046         s = string_cat(s, &size, &ptr, big_buffer);
4047         }
4048       else
4049         {
4050         s = string_catn(s, &size, &ptr, smtp_code, 3);
4051         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
4052         }
4053
4054       /* Exim does not do protocol conversion or data conversion. It is 8-bit
4055       clean; if it has an 8-bit character in its hand, it just sends it. It
4056       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4057       However, some users want this option simply in order to stop MUAs
4058       mangling messages that contain top-bit-set characters. It is therefore
4059       provided as an option. */
4060
4061       if (accept_8bitmime)
4062         {
4063         s = string_catn(s, &size, &ptr, smtp_code, 3);
4064         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
4065         }
4066
4067       /* Advertise DSN support if configured to do so. */
4068       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4069         {
4070         s = string_catn(s, &size, &ptr, smtp_code, 3);
4071         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
4072         dsn_advertised = TRUE;
4073         }
4074
4075       /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4076       permitted to issue them; a check is made when any host actually tries. */
4077
4078       if (acl_smtp_etrn)
4079         {
4080         s = string_catn(s, &size, &ptr, smtp_code, 3);
4081         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
4082         }
4083       if (acl_smtp_vrfy)
4084         {
4085         s = string_catn(s, &size, &ptr, smtp_code, 3);
4086         s = string_catn(s, &size, &ptr, US"-VRFY\r\n", 7);
4087         }
4088       if (acl_smtp_expn)
4089         {
4090         s = string_catn(s, &size, &ptr, smtp_code, 3);
4091         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
4092         }
4093
4094       /* Exim is quite happy with pipelining, so let the other end know that
4095       it is safe to use it, unless advertising is disabled. */
4096
4097       if (pipelining_enable &&
4098           verify_check_host(&pipelining_advertise_hosts) == OK)
4099         {
4100         s = string_catn(s, &size, &ptr, smtp_code, 3);
4101         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
4102         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4103         pipelining_advertised = TRUE;
4104         }
4105
4106
4107       /* If any server authentication mechanisms are configured, advertise
4108       them if the current host is in auth_advertise_hosts. The problem with
4109       advertising always is that some clients then require users to
4110       authenticate (and aren't configurable otherwise) even though it may not
4111       be necessary (e.g. if the host is in host_accept_relay).
4112
4113       RFC 2222 states that SASL mechanism names contain only upper case
4114       letters, so output the names in upper case, though we actually recognize
4115       them in either case in the AUTH command. */
4116
4117       if (  auths
4118 #ifdef AUTH_TLS
4119          && !sender_host_authenticated
4120 #endif
4121          && verify_check_host(&auth_advertise_hosts) == OK
4122          )
4123         {
4124         auth_instance *au;
4125         BOOL first = TRUE;
4126         for (au = auths; au; au = au->next)
4127           if (au->server && (au->advertise_condition == NULL ||
4128               expand_check_condition(au->advertise_condition, au->name,
4129               US"authenticator")))
4130             {
4131             int saveptr;
4132             if (first)
4133               {
4134               s = string_catn(s, &size, &ptr, smtp_code, 3);
4135               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
4136               first = FALSE;
4137               auth_advertised = TRUE;
4138               }
4139             saveptr = ptr;
4140             s = string_catn(s, &size, &ptr, US" ", 1);
4141             s = string_cat (s, &size, &ptr, au->public_name);
4142             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
4143             au->advertised = TRUE;
4144             }
4145           else
4146             au->advertised = FALSE;
4147
4148         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
4149         }
4150
4151       /* RFC 3030 CHUNKING */
4152
4153       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4154         {
4155         s = string_catn(s, &size, &ptr, smtp_code, 3);
4156         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
4157         chunking_offered = TRUE;
4158         chunking_state = CHUNKING_OFFERED;
4159         }
4160
4161       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4162       if it has been included in the binary, and the host matches
4163       tls_advertise_hosts. We must *not* advertise if we are already in a
4164       secure connection. */
4165
4166 #ifdef SUPPORT_TLS
4167       if (tls_in.active < 0 &&
4168           verify_check_host(&tls_advertise_hosts) != FAIL)
4169         {
4170         s = string_catn(s, &size, &ptr, smtp_code, 3);
4171         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
4172         tls_advertised = TRUE;
4173         }
4174 #endif
4175
4176 #ifndef DISABLE_PRDR
4177       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4178       if (prdr_enable)
4179         {
4180         s = string_catn(s, &size, &ptr, smtp_code, 3);
4181         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
4182         }
4183 #endif
4184
4185 #ifdef SUPPORT_I18N
4186       if (  accept_8bitmime
4187          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4188         {
4189         s = string_catn(s, &size, &ptr, smtp_code, 3);
4190         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4191         smtputf8_advertised = TRUE;
4192         }
4193 #endif
4194
4195       /* Finish off the multiline reply with one that is always available. */
4196
4197       s = string_catn(s, &size, &ptr, smtp_code, 3);
4198       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4199       }
4200
4201     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4202     has been seen. */
4203
4204     s[ptr] = 0;
4205
4206 #ifdef SUPPORT_TLS
4207     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4208 #endif
4209
4210       {
4211       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4212       }
4213     DEBUG(D_receive)
4214       {
4215       uschar *cr;
4216       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4217         memmove(cr, cr + 1, (ptr--) - (cr - s));
4218       debug_printf("SMTP>> %s", s);
4219       }
4220     helo_seen = TRUE;
4221
4222     /* Reset the protocol and the state, abandoning any previous message. */
4223     received_protocol =
4224       (sender_host_address ? protocols : protocols_local)
4225         [ (esmtp
4226           ? pextend + (sender_host_authenticated ? pauthed : 0)
4227           : pnormal)
4228         + (tls_in.active >= 0 ? pcrpted : 0)
4229         ];
4230     smtp_reset(reset_point);
4231     toomany = FALSE;
4232     break;   /* HELO/EHLO */
4233
4234
4235     /* The MAIL command requires an address as an operand. All we do
4236     here is to parse it for syntactic correctness. The form "<>" is
4237     a special case which converts into an empty string. The start/end
4238     pointers in the original are not used further for this address, as
4239     it is the canonical extracted address which is all that is kept. */
4240
4241     case MAIL_CMD:
4242     HAD(SCH_MAIL);
4243     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4244     was_rej_mail = TRUE;               /* Reset if accepted */
4245     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4246
4247     if (helo_required && !helo_seen)
4248       {
4249       smtp_printf("503 HELO or EHLO required\r\n");
4250       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4251         "HELO/EHLO given", host_and_ident(FALSE));
4252       break;
4253       }
4254
4255     if (sender_address != NULL)
4256       {
4257       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4258         US"sender already given");
4259       break;
4260       }
4261
4262     if (smtp_cmd_data[0] == 0)
4263       {
4264       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4265         US"MAIL must have an address operand");
4266       break;
4267       }
4268
4269     /* Check to see if the limit for messages per connection would be
4270     exceeded by accepting further messages. */
4271
4272     if (smtp_accept_max_per_connection > 0 &&
4273         smtp_mailcmd_count > smtp_accept_max_per_connection)
4274       {
4275       smtp_printf("421 too many messages in this connection\r\n");
4276       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4277         "messages in one connection", host_and_ident(TRUE));
4278       break;
4279       }
4280
4281     /* Reset for start of message - even if this is going to fail, we
4282     obviously need to throw away any previous data. */
4283
4284     smtp_reset(reset_point);
4285     toomany = FALSE;
4286     sender_data = recipient_data = NULL;
4287
4288     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4289
4290     if (esmtp) for(;;)
4291       {
4292       uschar *name, *value, *end;
4293       unsigned long int size;
4294       BOOL arg_error = FALSE;
4295
4296       if (!extract_option(&name, &value)) break;
4297
4298       for (mail_args = env_mail_type_list;
4299            mail_args->value != ENV_MAIL_OPT_NULL;
4300            mail_args++
4301           )
4302         if (strcmpic(name, mail_args->name) == 0)
4303           break;
4304       if (mail_args->need_value && strcmpic(value, US"") == 0)
4305         break;
4306
4307       switch(mail_args->value)
4308         {
4309         /* Handle SIZE= by reading the value. We don't do the check till later,
4310         in order to be able to log the sender address on failure. */
4311         case ENV_MAIL_OPT_SIZE:
4312           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4313             {
4314             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4315               size = INT_MAX;
4316             message_size = (int)size;
4317             }
4318           else
4319             arg_error = TRUE;
4320           break;
4321
4322         /* If this session was initiated with EHLO and accept_8bitmime is set,
4323         Exim will have indicated that it supports the BODY=8BITMIME option. In
4324         fact, it does not support this according to the RFCs, in that it does not
4325         take any special action for forwarding messages containing 8-bit
4326         characters. That is why accept_8bitmime is not the default setting, but
4327         some sites want the action that is provided. We recognize both "8BITMIME"
4328         and "7BIT" as body types, but take no action. */
4329         case ENV_MAIL_OPT_BODY:
4330           if (accept_8bitmime) {
4331             if (strcmpic(value, US"8BITMIME") == 0)
4332               body_8bitmime = 8;
4333             else if (strcmpic(value, US"7BIT") == 0)
4334               body_8bitmime = 7;
4335             else
4336               {
4337               body_8bitmime = 0;
4338               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4339                 US"invalid data for BODY");
4340               goto COMMAND_LOOP;
4341               }
4342             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4343             break;
4344           }
4345           arg_error = TRUE;
4346           break;
4347
4348         /* Handle the two DSN options, but only if configured to do so (which
4349         will have caused "DSN" to be given in the EHLO response). The code itself
4350         is included only if configured in at build time. */
4351
4352         case ENV_MAIL_OPT_RET:
4353           if (dsn_advertised)
4354             {
4355             /* Check if RET has already been set */
4356             if (dsn_ret > 0)
4357               {
4358               synprot_error(L_smtp_syntax_error, 501, NULL,
4359                 US"RET can be specified once only");
4360               goto COMMAND_LOOP;
4361               }
4362             dsn_ret = strcmpic(value, US"HDRS") == 0
4363               ? dsn_ret_hdrs
4364               : strcmpic(value, US"FULL") == 0
4365               ? dsn_ret_full
4366               : 0;
4367             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4368             /* Check for invalid invalid value, and exit with error */
4369             if (dsn_ret == 0)
4370               {
4371               synprot_error(L_smtp_syntax_error, 501, NULL,
4372                 US"Value for RET is invalid");
4373               goto COMMAND_LOOP;
4374               }
4375             }
4376           break;
4377         case ENV_MAIL_OPT_ENVID:
4378           if (dsn_advertised)
4379             {
4380             /* Check if the dsn envid has been already set */
4381             if (dsn_envid != NULL)
4382               {
4383               synprot_error(L_smtp_syntax_error, 501, NULL,
4384                 US"ENVID can be specified once only");
4385               goto COMMAND_LOOP;
4386               }
4387             dsn_envid = string_copy(value);
4388             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4389             }
4390           break;
4391
4392         /* Handle the AUTH extension. If the value given is not "<>" and either
4393         the ACL says "yes" or there is no ACL but the sending host is
4394         authenticated, we set it up as the authenticated sender. However, if the
4395         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4396         the condition is met. The value of AUTH is an xtext, which means that +,
4397         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4398         coding. */
4399         case ENV_MAIL_OPT_AUTH:
4400           if (Ustrcmp(value, "<>") != 0)
4401             {
4402             int rc;
4403             uschar *ignore_msg;
4404
4405             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4406               {
4407               /* Put back terminator overrides for error message */
4408               value[-1] = '=';
4409               name[-1] = ' ';
4410               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4411                 US"invalid data for AUTH");
4412               goto COMMAND_LOOP;
4413               }
4414             if (acl_smtp_mailauth == NULL)
4415               {
4416               ignore_msg = US"client not authenticated";
4417               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4418               }
4419             else
4420               {
4421               ignore_msg = US"rejected by ACL";
4422               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4423                 &user_msg, &log_msg);
4424               }
4425
4426             switch (rc)
4427               {
4428               case OK:
4429                 if (authenticated_by == NULL ||
4430                     authenticated_by->mail_auth_condition == NULL ||
4431                     expand_check_condition(authenticated_by->mail_auth_condition,
4432                         authenticated_by->name, US"authenticator"))
4433                   break;     /* Accept the AUTH */
4434
4435                 ignore_msg = US"server_mail_auth_condition failed";
4436                 if (authenticated_id != NULL)
4437                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4438                     ignore_msg, authenticated_id);
4439
4440               /* Fall through */
4441
4442               case FAIL:
4443                 authenticated_sender = NULL;
4444                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4445                   value, host_and_ident(TRUE), ignore_msg);
4446                 break;
4447
4448               /* Should only get DEFER or ERROR here. Put back terminator
4449               overrides for error message */
4450
4451               default:
4452                 value[-1] = '=';
4453                 name[-1] = ' ';
4454                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4455                   log_msg);
4456                 goto COMMAND_LOOP;
4457               }
4458             }
4459             break;
4460
4461 #ifndef DISABLE_PRDR
4462         case ENV_MAIL_OPT_PRDR:
4463           if (prdr_enable)
4464             prdr_requested = TRUE;
4465           break;
4466 #endif
4467
4468 #ifdef SUPPORT_I18N
4469         case ENV_MAIL_OPT_UTF8:
4470           if (smtputf8_advertised)
4471             {
4472             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4473             message_smtputf8 = allow_utf8_domains = TRUE;
4474             received_protocol = string_sprintf("utf8%s", received_protocol);
4475             }
4476           break;
4477 #endif
4478         /* No valid option. Stick back the terminator characters and break
4479         the loop.  Do the name-terminator second as extract_option sets
4480         value==name when it found no equal-sign.
4481         An error for a malformed address will occur. */
4482         case ENV_MAIL_OPT_NULL:
4483           value[-1] = '=';
4484           name[-1] = ' ';
4485           arg_error = TRUE;
4486           break;
4487
4488         default:  assert(0);
4489         }
4490       /* Break out of for loop if switch() had bad argument or
4491          when start of the email address is reached */
4492       if (arg_error) break;
4493       }
4494
4495     /* If we have passed the threshold for rate limiting, apply the current
4496     delay, and update it for next time, provided this is a limited host. */
4497
4498     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4499         verify_check_host(&smtp_ratelimit_hosts) == OK)
4500       {
4501       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4502         smtp_delay_mail/1000.0);
4503       millisleep((int)smtp_delay_mail);
4504       smtp_delay_mail *= smtp_rlm_factor;
4505       if (smtp_delay_mail > (double)smtp_rlm_limit)
4506         smtp_delay_mail = (double)smtp_rlm_limit;
4507       }
4508
4509     /* Now extract the address, first applying any SMTP-time rewriting. The
4510     TRUE flag allows "<>" as a sender address. */
4511
4512     raw_sender = rewrite_existflags & rewrite_smtp
4513       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4514                     global_rewrite_rules)
4515       : smtp_cmd_data;
4516
4517     raw_sender =
4518       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4519         TRUE);
4520
4521     if (!raw_sender)
4522       {
4523       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4524       break;
4525       }
4526
4527     sender_address = raw_sender;
4528
4529     /* If there is a configured size limit for mail, check that this message
4530     doesn't exceed it. The check is postponed to this point so that the sender
4531     can be logged. */
4532
4533     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4534       {
4535       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4536       log_write(L_size_reject,
4537           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4538           "message too big: size%s=%d max=%d",
4539           sender_address,
4540           host_and_ident(TRUE),
4541           (message_size == INT_MAX)? ">" : "",
4542           message_size,
4543           thismessage_size_limit);
4544       sender_address = NULL;
4545       break;
4546       }
4547
4548     /* Check there is enough space on the disk unless configured not to.
4549     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4550     plus the current message - i.e. we accept the message only if it won't
4551     reduce the space below the threshold. Add 5000 to the size to allow for
4552     overheads such as the Received: line and storing of recipients, etc.
4553     By putting the check here, even when SIZE is not given, it allow VRFY
4554     and EXPN etc. to be used when space is short. */
4555
4556     if (!receive_check_fs(
4557          (smtp_check_spool_space && message_size >= 0)?
4558             message_size + 5000 : 0))
4559       {
4560       smtp_printf("452 Space shortage, please try later\r\n");
4561       sender_address = NULL;
4562       break;
4563       }
4564
4565     /* If sender_address is unqualified, reject it, unless this is a locally
4566     generated message, or the sending host or net is permitted to send
4567     unqualified addresses - typically local machines behaving as MUAs -
4568     in which case just qualify the address. The flag is set above at the start
4569     of the SMTP connection. */
4570
4571     if (sender_domain == 0 && sender_address[0] != 0)
4572       {
4573       if (allow_unqualified_sender)
4574         {
4575         sender_domain = Ustrlen(sender_address) + 1;
4576         sender_address = rewrite_address_qualify(sender_address, FALSE);
4577         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4578           raw_sender);
4579         }
4580       else
4581         {
4582         smtp_printf("501 %s: sender address must contain a domain\r\n",
4583           smtp_cmd_data);
4584         log_write(L_smtp_syntax_error,
4585           LOG_MAIN|LOG_REJECT,
4586           "unqualified sender rejected: <%s> %s%s",
4587           raw_sender,
4588           host_and_ident(TRUE),
4589           host_lookup_msg);
4590         sender_address = NULL;
4591         break;
4592         }
4593       }
4594
4595     /* Apply an ACL check if one is defined, before responding. Afterwards,
4596     when pipelining is not advertised, do another sync check in case the ACL
4597     delayed and the client started sending in the meantime. */
4598
4599     if (acl_smtp_mail)
4600       {
4601       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4602       if (rc == OK && !pipelining_advertised && !check_sync())
4603         goto SYNC_FAILURE;
4604       }
4605     else
4606       rc = OK;
4607
4608     if (rc == OK || rc == DISCARD)
4609       {
4610       if (!user_msg)
4611         smtp_printf("%s%s%s", US"250 OK",
4612                   #ifndef DISABLE_PRDR
4613                     prdr_requested ? US", PRDR Requested" : US"",
4614                   #else
4615                     US"",
4616                   #endif
4617                     US"\r\n");
4618       else
4619         {
4620       #ifndef DISABLE_PRDR
4621         if (prdr_requested)
4622            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4623       #endif
4624         smtp_user_msg(US"250", user_msg);
4625         }
4626       smtp_delay_rcpt = smtp_rlr_base;
4627       recipients_discarded = (rc == DISCARD);
4628       was_rej_mail = FALSE;
4629       }
4630     else
4631       {
4632       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4633       sender_address = NULL;
4634       }
4635     break;
4636
4637
4638     /* The RCPT command requires an address as an operand. There may be any
4639     number of RCPT commands, specifying multiple recipients. We build them all
4640     into a data structure. The start/end values given by parse_extract_address
4641     are not used, as we keep only the extracted address. */
4642
4643     case RCPT_CMD:
4644     HAD(SCH_RCPT);
4645     rcpt_count++;
4646     was_rcpt = rcpt_in_progress = TRUE;
4647
4648     /* There must be a sender address; if the sender was rejected and
4649     pipelining was advertised, we assume the client was pipelining, and do not
4650     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4651     get the same treatment. */
4652
4653     if (sender_address == NULL)
4654       {
4655       if (pipelining_advertised && last_was_rej_mail)
4656         {
4657         smtp_printf("503 sender not yet given\r\n");
4658         was_rej_mail = TRUE;
4659         }
4660       else
4661         {
4662         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4663           US"sender not yet given");
4664         was_rcpt = FALSE;             /* Not a valid RCPT */
4665         }
4666       rcpt_fail_count++;
4667       break;
4668       }
4669
4670     /* Check for an operand */
4671
4672     if (smtp_cmd_data[0] == 0)
4673       {
4674       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4675         US"RCPT must have an address operand");
4676       rcpt_fail_count++;
4677       break;
4678       }
4679
4680     /* Set the DSN flags orcpt and dsn_flags from the session*/
4681     orcpt = NULL;
4682     flags = 0;
4683
4684     if (esmtp) for(;;)
4685       {
4686       uschar *name, *value;
4687
4688       if (!extract_option(&name, &value))
4689         break;
4690
4691       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4692         {
4693         /* Check whether orcpt has been already set */
4694         if (orcpt)
4695           {
4696           synprot_error(L_smtp_syntax_error, 501, NULL,
4697             US"ORCPT can be specified once only");
4698           goto COMMAND_LOOP;
4699           }
4700         orcpt = string_copy(value);
4701         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4702         }
4703
4704       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4705         {
4706         /* Check if the notify flags have been already set */
4707         if (flags > 0)
4708           {
4709           synprot_error(L_smtp_syntax_error, 501, NULL,
4710               US"NOTIFY can be specified once only");
4711           goto COMMAND_LOOP;
4712           }
4713         if (strcmpic(value, US"NEVER") == 0)
4714           flags |= rf_notify_never;
4715         else
4716           {
4717           uschar *p = value;
4718           while (*p != 0)
4719             {
4720             uschar *pp = p;
4721             while (*pp != 0 && *pp != ',') pp++;
4722             if (*pp == ',') *pp++ = 0;
4723             if (strcmpic(p, US"SUCCESS") == 0)
4724               {
4725               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4726               flags |= rf_notify_success;
4727               }
4728             else if (strcmpic(p, US"FAILURE") == 0)
4729               {
4730               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4731               flags |= rf_notify_failure;
4732               }
4733             else if (strcmpic(p, US"DELAY") == 0)
4734               {
4735               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4736               flags |= rf_notify_delay;
4737               }
4738             else
4739               {
4740               /* Catch any strange values */
4741               synprot_error(L_smtp_syntax_error, 501, NULL,
4742                 US"Invalid value for NOTIFY parameter");
4743               goto COMMAND_LOOP;
4744               }
4745             p = pp;
4746             }
4747             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4748           }
4749         }
4750
4751       /* Unknown option. Stick back the terminator characters and break
4752       the loop. An error for a malformed address will occur. */
4753
4754       else
4755         {
4756         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4757         name[-1] = ' ';
4758         value[-1] = '=';
4759         break;
4760         }
4761       }
4762
4763     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4764     as a recipient address */
4765
4766     recipient = rewrite_existflags & rewrite_smtp
4767       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4768           global_rewrite_rules)
4769       : smtp_cmd_data;
4770
4771     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4772       &recipient_domain, FALSE)))
4773       {
4774       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4775       rcpt_fail_count++;
4776       break;
4777       }
4778
4779     /* If the recipient address is unqualified, reject it, unless this is a
4780     locally generated message. However, unqualified addresses are permitted
4781     from a configured list of hosts and nets - typically when behaving as
4782     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4783     really. The flag is set at the start of the SMTP connection.
4784
4785     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4786     assumed this meant "reserved local part", but the revision of RFC 821 and
4787     friends now makes it absolutely clear that it means *mailbox*. Consequently
4788     we must always qualify this address, regardless. */
4789
4790     if (!recipient_domain)
4791       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4792                                   US"recipient")))
4793         {
4794         rcpt_fail_count++;
4795         break;
4796         }
4797
4798     /* Check maximum allowed */
4799
4800     if (rcpt_count > recipients_max && recipients_max > 0)
4801       {
4802       if (recipients_max_reject)
4803         {
4804         rcpt_fail_count++;
4805         smtp_printf("552 too many recipients\r\n");
4806         if (!toomany)
4807           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4808             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4809         }
4810       else
4811         {
4812         rcpt_defer_count++;
4813         smtp_printf("452 too many recipients\r\n");
4814         if (!toomany)
4815           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4816             "temporarily rejected: sender=<%s> %s", sender_address,
4817             host_and_ident(TRUE));
4818         }
4819
4820       toomany = TRUE;
4821       break;
4822       }
4823
4824     /* If we have passed the threshold for rate limiting, apply the current
4825     delay, and update it for next time, provided this is a limited host. */
4826
4827     if (rcpt_count > smtp_rlr_threshold &&
4828         verify_check_host(&smtp_ratelimit_hosts) == OK)
4829       {
4830       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4831         smtp_delay_rcpt/1000.0);
4832       millisleep((int)smtp_delay_rcpt);
4833       smtp_delay_rcpt *= smtp_rlr_factor;
4834       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4835         smtp_delay_rcpt = (double)smtp_rlr_limit;
4836       }
4837
4838     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4839     for them. Otherwise, check the access control list for this recipient. As
4840     there may be a delay in this, re-check for a synchronization error
4841     afterwards, unless pipelining was advertised. */
4842
4843     if (recipients_discarded)
4844       rc = DISCARD;
4845     else
4846       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4847                     &log_msg)) == OK
4848          && !pipelining_advertised && !check_sync())
4849         goto SYNC_FAILURE;
4850
4851     /* The ACL was happy */
4852
4853     if (rc == OK)
4854       {
4855       if (user_msg)
4856         smtp_user_msg(US"250", user_msg);
4857       else
4858         smtp_printf("250 Accepted\r\n");
4859       receive_add_recipient(recipient, -1);
4860
4861       /* Set the dsn flags in the recipients_list */
4862       recipients_list[recipients_count-1].orcpt = orcpt;
4863       recipients_list[recipients_count-1].dsn_flags = flags;
4864
4865       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4866         recipients_list[recipients_count-1].orcpt,
4867         recipients_list[recipients_count-1].dsn_flags);
4868       }
4869
4870     /* The recipient was discarded */
4871
4872     else if (rc == DISCARD)
4873       {
4874       if (user_msg)
4875         smtp_user_msg(US"250", user_msg);
4876       else
4877         smtp_printf("250 Accepted\r\n");
4878       rcpt_fail_count++;
4879       discarded = TRUE;
4880       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4881         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4882         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4883         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4884         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4885       }
4886
4887     /* Either the ACL failed the address, or it was deferred. */
4888
4889     else
4890       {
4891       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4892       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4893       }
4894     break;
4895
4896
4897     /* The DATA command is legal only if it follows successful MAIL FROM
4898     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4899     not counted as a protocol error if it follows RCPT (which must have been
4900     rejected if there are no recipients.) This function is complete when a
4901     valid DATA command is encountered.
4902
4903     Note concerning the code used: RFC 2821 says this:
4904
4905      -  If there was no MAIL, or no RCPT, command, or all such commands
4906         were rejected, the server MAY return a "command out of sequence"
4907         (503) or "no valid recipients" (554) reply in response to the
4908         DATA command.
4909
4910     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4911     because it is the same whether pipelining is in use or not.
4912
4913     If all the RCPT commands that precede DATA provoked the same error message
4914     (often indicating some kind of system error), it is helpful to include it
4915     with the DATA rejection (an idea suggested by Tony Finch). */
4916
4917     case BDAT_CMD:
4918     HAD(SCH_BDAT);
4919       {
4920       int n;
4921
4922       if (chunking_state != CHUNKING_OFFERED)
4923         {
4924         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4925           US"BDAT command used when CHUNKING not advertised");
4926         break;
4927         }
4928
4929       /* grab size, endmarker */
4930
4931       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4932         {
4933         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4934           US"missing size for BDAT command");
4935         break;
4936         }
4937       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4938         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4939       chunking_data_left = chunking_datasize;
4940       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
4941                                     (int)chunking_state, chunking_data_left);
4942
4943       lwr_receive_getc = receive_getc;
4944       lwr_receive_ungetc = receive_ungetc;
4945       receive_getc = bdat_getc;
4946       receive_ungetc = bdat_ungetc;
4947
4948       goto DATA_BDAT;
4949       }
4950
4951     case DATA_CMD:
4952     HAD(SCH_DATA);
4953
4954     DATA_BDAT:          /* Common code for DATA and BDAT */
4955     if (!discarded && recipients_count <= 0)
4956       {
4957       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4958         {
4959         uschar *code = US"503";
4960         int len = Ustrlen(rcpt_smtp_response);
4961         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4962           "this error:");
4963         /* Responses from smtp_printf() will have \r\n on the end */
4964         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4965           rcpt_smtp_response[len-2] = 0;
4966         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4967         }
4968       if (pipelining_advertised && last_was_rcpt)
4969         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4970           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4971       else
4972         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4973           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4974           ? US"valid RCPT command must precede DATA"
4975           : US"valid RCPT command must precede BDAT");
4976
4977       if (chunking_state > CHUNKING_OFFERED)
4978         bdat_flush_data();
4979       break;
4980       }
4981
4982     if (toomany && recipients_max_reject)
4983       {
4984       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4985       sender_address_unrewritten = NULL;
4986       smtp_printf("554 Too many recipients\r\n");
4987       break;
4988       }
4989
4990     if (chunking_state > CHUNKING_OFFERED)
4991       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
4992     else
4993       {
4994       /* If there is an ACL, re-check the synchronization afterwards, since the
4995       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4996       to get the DATA command sent. */
4997
4998       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4999         rc = OK;
5000       else
5001         {
5002         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5003         enable_dollar_recipients = TRUE;
5004         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5005           &log_msg);
5006         enable_dollar_recipients = FALSE;
5007         if (rc == OK && !check_sync())
5008           goto SYNC_FAILURE;
5009
5010         if (rc != OK)
5011           {     /* Either the ACL failed the address, or it was deferred. */
5012           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5013           break;
5014           }
5015         }
5016
5017       if (user_msg)
5018         smtp_user_msg(US"354", user_msg);
5019       else
5020         smtp_printf(
5021           "354 Enter message, ending with \".\" on a line by itself\r\n");
5022       }
5023
5024 #ifdef TCP_QUICKACK
5025     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
5026       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5027               US &on, sizeof(on));
5028 #endif
5029     done = 3;
5030     message_ended = END_NOTENDED;   /* Indicate in middle of data */
5031
5032     break;
5033
5034
5035     case VRFY_CMD:
5036       {
5037       uschar * address;
5038
5039       HAD(SCH_VRFY);
5040
5041       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5042             &start, &end, &recipient_domain, FALSE)))
5043         {
5044         smtp_printf("501 %s\r\n", errmess);
5045         break;
5046         }
5047
5048       if (!recipient_domain)
5049         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5050                                     US"verify")))
5051           break;
5052
5053       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5054                     &user_msg, &log_msg)) != OK)
5055         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5056       else
5057         {
5058         uschar * s = NULL;
5059         address_item * addr = deliver_make_addr(address, FALSE);
5060
5061         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5062                -1, -1, NULL, NULL, NULL))
5063           {
5064           case OK:
5065             s = string_sprintf("250 <%s> is deliverable", address);
5066             break;
5067
5068           case DEFER:
5069             s = (addr->user_message != NULL)?
5070               string_sprintf("451 <%s> %s", address, addr->user_message) :
5071               string_sprintf("451 Cannot resolve <%s> at this time", address);
5072             break;
5073
5074           case FAIL:
5075             s = (addr->user_message != NULL)?
5076               string_sprintf("550 <%s> %s", address, addr->user_message) :
5077               string_sprintf("550 <%s> is not deliverable", address);
5078             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5079               smtp_cmd_argument, host_and_ident(TRUE));
5080             break;
5081           }
5082
5083         smtp_printf("%s\r\n", s);
5084         }
5085       break;
5086       }
5087
5088
5089     case EXPN_CMD:
5090     HAD(SCH_EXPN);
5091     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5092     if (rc != OK)
5093       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5094     else
5095       {
5096       BOOL save_log_testing_mode = log_testing_mode;
5097       address_test_mode = log_testing_mode = TRUE;
5098       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5099         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5100         NULL, NULL, NULL);
5101       address_test_mode = FALSE;
5102       log_testing_mode = save_log_testing_mode;    /* true for -bh */
5103       }
5104     break;
5105
5106
5107     #ifdef SUPPORT_TLS
5108
5109     case STARTTLS_CMD:
5110     HAD(SCH_STARTTLS);
5111     if (!tls_advertised)
5112       {
5113       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5114         US"STARTTLS command used when not advertised");
5115       break;
5116       }
5117
5118     /* Apply an ACL check if one is defined */
5119
5120     if (  acl_smtp_starttls
5121        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5122                   &user_msg, &log_msg)) != OK
5123        )
5124       {
5125       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5126       break;
5127       }
5128
5129     /* RFC 2487 is not clear on when this command may be sent, though it
5130     does state that all information previously obtained from the client
5131     must be discarded if a TLS session is started. It seems reasonable to
5132     do an implied RSET when STARTTLS is received. */
5133
5134     incomplete_transaction_log(US"STARTTLS");
5135     smtp_reset(reset_point);
5136     toomany = FALSE;
5137     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5138
5139     /* There's an attack where more data is read in past the STARTTLS command
5140     before TLS is negotiated, then assumed to be part of the secure session
5141     when used afterwards; we use segregated input buffers, so are not
5142     vulnerable, but we want to note when it happens and, for sheer paranoia,
5143     ensure that the buffer is "wiped".
5144     Pipelining sync checks will normally have protected us too, unless disabled
5145     by configuration. */
5146
5147     if (receive_smtp_buffered())
5148       {
5149       DEBUG(D_any)
5150         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5151       if (tls_in.active < 0)
5152         smtp_inend = smtp_inptr = smtp_inbuffer;
5153       /* and if TLS is already active, tls_server_start() should fail */
5154       }
5155
5156     /* There is nothing we value in the input buffer and if TLS is successfully
5157     negotiated, we won't use this buffer again; if TLS fails, we'll just read
5158     fresh content into it.  The buffer contains arbitrary content from an
5159     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5160     It seems safest to just wipe away the content rather than leave it as a
5161     target to jump to. */
5162
5163     memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5164
5165     /* Attempt to start up a TLS session, and if successful, discard all
5166     knowledge that was obtained previously. At least, that's what the RFC says,
5167     and that's what happens by default. However, in order to work round YAEB,
5168     there is an option to remember the esmtp state. Sigh.
5169
5170     We must allow for an extra EHLO command and an extra AUTH command after
5171     STARTTLS that don't add to the nonmail command count. */
5172
5173     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
5174       {
5175       if (!tls_remember_esmtp)
5176         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
5177       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5178       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5179       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5180       if (sender_helo_name != NULL)
5181         {
5182         store_free(sender_helo_name);
5183         sender_helo_name = NULL;
5184         host_build_sender_fullhost();  /* Rebuild */
5185         set_process_info("handling incoming TLS connection from %s",
5186           host_and_ident(FALSE));
5187         }
5188       received_protocol =
5189         (sender_host_address ? protocols : protocols_local)
5190           [ (esmtp
5191             ? pextend + (sender_host_authenticated ? pauthed : 0)
5192             : pnormal)
5193           + (tls_in.active >= 0 ? pcrpted : 0)
5194           ];
5195
5196       sender_host_authenticated = NULL;
5197       authenticated_id = NULL;
5198       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5199       DEBUG(D_tls) debug_printf("TLS active\n");
5200       break;     /* Successful STARTTLS */
5201       }
5202
5203     /* Some local configuration problem was discovered before actually trying
5204     to do a TLS handshake; give a temporary error. */
5205
5206     else if (rc == DEFER)
5207       {
5208       smtp_printf("454 TLS currently unavailable\r\n");
5209       break;
5210       }
5211
5212     /* Hard failure. Reject everything except QUIT or closed connection. One
5213     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5214     set, but we must still reject all incoming commands. */
5215
5216     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5217     while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5218       {
5219       case EOF_CMD:
5220         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5221           smtp_get_connection_info());
5222         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5223         done = 2;
5224         break;
5225
5226       /* It is perhaps arguable as to which exit ACL should be called here,
5227       but as it is probably a situation that almost never arises, it
5228       probably doesn't matter. We choose to call the real QUIT ACL, which in
5229       some sense is perhaps "right". */
5230
5231       case QUIT_CMD:
5232         user_msg = NULL;
5233         if (  acl_smtp_quit
5234            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5235                               &log_msg)) == ERROR))
5236             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5237               log_msg);
5238         if (user_msg)
5239           smtp_respond(US"221", 3, TRUE, user_msg);
5240         else
5241           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5242         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5243           smtp_get_connection_info());
5244         done = 2;
5245         break;
5246
5247       default:
5248         smtp_printf("554 Security failure\r\n");
5249         break;
5250       }
5251     tls_close(TRUE, TRUE);
5252     break;
5253     #endif
5254
5255
5256     /* The ACL for QUIT is provided for gathering statistical information or
5257     similar; it does not affect the response code, but it can supply a custom
5258     message. */
5259
5260     case QUIT_CMD:
5261     smtp_quit_handler(&user_msg, &log_msg);
5262     done = 2;
5263     break;
5264
5265
5266     case RSET_CMD:
5267     smtp_rset_handler();
5268     smtp_reset(reset_point);
5269     toomany = FALSE;
5270     break;
5271
5272
5273     case NOOP_CMD:
5274     HAD(SCH_NOOP);
5275     smtp_printf("250 OK\r\n");
5276     break;
5277
5278
5279     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5280     used, a check will be done for permitted hosts. Show STARTTLS only if not
5281     already in a TLS session and if it would be advertised in the EHLO
5282     response. */
5283
5284     case HELP_CMD:
5285     HAD(SCH_HELP);
5286     smtp_printf("214-Commands supported:\r\n");
5287       {
5288       uschar buffer[256];
5289       buffer[0] = 0;
5290       Ustrcat(buffer, " AUTH");
5291       #ifdef SUPPORT_TLS
5292       if (tls_in.active < 0 &&
5293           verify_check_host(&tls_advertise_hosts) != FAIL)
5294         Ustrcat(buffer, " STARTTLS");
5295       #endif
5296       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5297       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5298       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5299       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5300       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5301       smtp_printf("214%s\r\n", buffer);
5302       }
5303     break;
5304
5305
5306     case EOF_CMD:
5307     incomplete_transaction_log(US"connection lost");
5308     smtp_notquit_exit(US"connection-lost", US"421",
5309       US"%s lost input connection", smtp_active_hostname);
5310
5311     /* Don't log by default unless in the middle of a message, as some mailers
5312     just drop the call rather than sending QUIT, and it clutters up the logs.
5313     */
5314
5315     if (sender_address != NULL || recipients_count > 0)
5316       log_write(L_lost_incoming_connection,
5317           LOG_MAIN,
5318           "unexpected %s while reading SMTP command from %s%s",
5319           sender_host_unknown? "EOF" : "disconnection",
5320           host_and_ident(FALSE), smtp_read_error);
5321
5322     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5323       smtp_get_connection_info(), smtp_read_error);
5324
5325     done = 1;
5326     break;
5327
5328
5329     case ETRN_CMD:
5330     HAD(SCH_ETRN);
5331     if (sender_address != NULL)
5332       {
5333       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5334         US"ETRN is not permitted inside a transaction");
5335       break;
5336       }
5337
5338     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5339       host_and_ident(FALSE));
5340
5341     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5342                 &user_msg, &log_msg)) != OK)
5343       {
5344       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5345       break;
5346       }
5347
5348     /* Compute the serialization key for this command. */
5349
5350     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5351
5352     /* If a command has been specified for running as a result of ETRN, we
5353     permit any argument to ETRN. If not, only the # standard form is permitted,
5354     since that is strictly the only kind of ETRN that can be implemented
5355     according to the RFC. */
5356
5357     if (smtp_etrn_command != NULL)
5358       {
5359       uschar *error;
5360       BOOL rc;
5361       etrn_command = smtp_etrn_command;
5362       deliver_domain = smtp_cmd_data;
5363       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5364         US"ETRN processing", &error);
5365       deliver_domain = NULL;
5366       if (!rc)
5367         {
5368         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5369           error);
5370         smtp_printf("458 Internal failure\r\n");
5371         break;
5372         }
5373       }
5374
5375     /* Else set up to call Exim with the -R option. */
5376
5377     else
5378       {
5379       if (*smtp_cmd_data++ != '#')
5380         {
5381         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5382           US"argument must begin with #");
5383         break;
5384         }
5385       etrn_command = US"exim -R";
5386       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5387         *queue_name ? 4 : 2,
5388         US"-R", smtp_cmd_data,
5389         US"-MCG", queue_name);
5390       }
5391
5392     /* If we are host-testing, don't actually do anything. */
5393
5394     if (host_checking)
5395       {
5396       HDEBUG(D_any)
5397         {
5398         debug_printf("ETRN command is: %s\n", etrn_command);
5399         debug_printf("ETRN command execution skipped\n");
5400         }
5401       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5402         else smtp_user_msg(US"250", user_msg);
5403       break;
5404       }
5405
5406
5407     /* If ETRN queue runs are to be serialized, check the database to
5408     ensure one isn't already running. */
5409
5410     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5411       {
5412       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5413       break;
5414       }
5415
5416     /* Fork a child process and run the command. We don't want to have to
5417     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5418     forking. It should be set that way anyway for external incoming SMTP,
5419     but we save and restore to be tidy. If serialization is required, we
5420     actually run the command in yet another process, so we can wait for it
5421     to complete and then remove the serialization lock. */
5422
5423     oldsignal = signal(SIGCHLD, SIG_IGN);
5424
5425     if ((pid = fork()) == 0)
5426       {
5427       smtp_input = FALSE;       /* This process is not associated with the */
5428       (void)fclose(smtp_in);    /* SMTP call any more. */
5429       (void)fclose(smtp_out);
5430
5431       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5432
5433       /* If not serializing, do the exec right away. Otherwise, fork down
5434       into another process. */
5435
5436       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5437         {
5438         DEBUG(D_exec) debug_print_argv(argv);
5439         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5440         execv(CS argv[0], (char *const *)argv);
5441         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5442           etrn_command, strerror(errno));
5443         _exit(EXIT_FAILURE);         /* paranoia */
5444         }
5445
5446       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5447       is, we are in the first subprocess, after forking again. All we can do
5448       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5449       complete, before removing the serialization. */
5450
5451       if (pid < 0)
5452         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5453           "failed: %s", strerror(errno));
5454       else
5455         {
5456         int status;
5457         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5458           (int)pid);
5459         (void)wait(&status);
5460         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5461           (int)pid);
5462         }
5463
5464       enq_end(etrn_serialize_key);
5465       _exit(EXIT_SUCCESS);
5466       }
5467
5468     /* Back in the top level SMTP process. Check that we started a subprocess
5469     and restore the signal state. */
5470
5471     if (pid < 0)
5472       {
5473       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5474         strerror(errno));
5475       smtp_printf("458 Unable to fork process\r\n");
5476       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5477       }
5478     else
5479       {
5480       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5481         else smtp_user_msg(US"250", user_msg);
5482       }
5483
5484     signal(SIGCHLD, oldsignal);
5485     break;
5486
5487
5488     case BADARG_CMD:
5489     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5490       US"unexpected argument data");
5491     break;
5492
5493
5494     /* This currently happens only for NULLs, but could be extended. */
5495
5496     case BADCHAR_CMD:
5497     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5498       US"NULL character(s) present (shown as '?')");
5499     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5500     break;
5501
5502
5503     case BADSYN_CMD:
5504     SYNC_FAILURE:
5505     if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5506       smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5507     c = smtp_inend - smtp_inptr;
5508     if (c > 150) c = 150;
5509     smtp_inptr[c] = 0;
5510     incomplete_transaction_log(US"sync failure");
5511     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5512       "(next input sent too soon: pipelining was%s advertised): "
5513       "rejected \"%s\" %s next input=\"%s\"",
5514       pipelining_advertised? "" : " not",
5515       smtp_cmd_buffer, host_and_ident(TRUE),
5516       string_printing(smtp_inptr));
5517     smtp_notquit_exit(US"synchronization-error", US"554",
5518       US"SMTP synchronization error");
5519     done = 1;   /* Pretend eof - drops connection */
5520     break;
5521
5522
5523     case TOO_MANY_NONMAIL_CMD:
5524     s = smtp_cmd_buffer;
5525     while (*s != 0 && !isspace(*s)) s++;
5526     incomplete_transaction_log(US"too many non-mail commands");
5527     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5528       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5529       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5530     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5531     done = 1;   /* Pretend eof - drops connection */
5532     break;
5533
5534 #ifdef SUPPORT_PROXY
5535     case PROXY_FAIL_IGNORE_CMD:
5536     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5537     break;
5538 #endif
5539
5540     default:
5541     if (unknown_command_count++ >= smtp_max_unknown_commands)
5542       {
5543       log_write(L_smtp_syntax_error, LOG_MAIN,
5544         "SMTP syntax error in \"%s\" %s %s",
5545         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5546         US"unrecognized command");
5547       incomplete_transaction_log(US"unrecognized command");
5548       smtp_notquit_exit(US"bad-commands", US"500",
5549         US"Too many unrecognized commands");
5550       done = 2;
5551       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5552         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5553         string_printing(smtp_cmd_buffer));
5554       }
5555     else
5556       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5557         US"unrecognized command");
5558     break;
5559     }
5560
5561   /* This label is used by goto's inside loops that want to break out to
5562   the end of the command-processing loop. */
5563
5564   COMMAND_LOOP:
5565   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5566   last_was_rcpt = was_rcpt;             /* protocol error handling */
5567   continue;
5568   }
5569
5570 return done - 2;  /* Convert yield values */
5571 }
5572
5573 /* vi: aw ai sw=2
5574 */
5575 /* End of smtp_in.c */