b882c1e2abf78e58554ead1c57f7401d61df9723
[users/jgh/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static auth_instance *authenticated_by;
135 static BOOL auth_advertised;
136 #ifdef SUPPORT_TLS
137 static BOOL tls_advertised;
138 #endif
139 static BOOL dsn_advertised;
140 static BOOL esmtp;
141 static BOOL helo_required = FALSE;
142 static BOOL helo_verify = FALSE;
143 static BOOL helo_seen;
144 static BOOL helo_accept_junk;
145 static BOOL count_nonmail;
146 static BOOL pipelining_advertised;
147 static BOOL rcpt_smtp_response_same;
148 static BOOL rcpt_in_progress;
149 static int  nonmail_command_count;
150 static BOOL smtp_exit_function_called = 0;
151 #ifdef SUPPORT_I18N
152 static BOOL smtputf8_advertised;
153 #endif
154 static int  synprot_error_count;
155 static int  unknown_command_count;
156 static int  sync_cmd_limit;
157 static int  smtp_write_error = 0;
158
159 static uschar *rcpt_smtp_response;
160 static uschar *smtp_data_buffer;
161 static uschar *smtp_cmd_data;
162
163 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
164 final fields of all except AUTH are forced TRUE at the start of a new message
165 setup, to allow one of each between messages that is not counted as a nonmail
166 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
167 allow a new EHLO after starting up TLS.
168
169 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
170 counted. However, the flag is changed when AUTH is received, so that multiple
171 failing AUTHs will eventually hit the limit. After a successful AUTH, another
172 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
173 forced TRUE, to allow for the re-authentication that can happen at that point.
174
175 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
176 count of non-mail commands and possibly provoke an error.
177
178 tls_auth is a pseudo-command, never expected in input.  It is activated
179 on TLS startup and looks for a tls authenticator. */
180
181 static smtp_cmd_list cmd_list[] = {
182   /* name         len                     cmd     has_arg is_mail_cmd */
183
184   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
185   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
186   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
187   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
188   #ifdef SUPPORT_TLS
189   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
190   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
191   #endif
192
193 /* If you change anything above here, also fix the definitions below. */
194
195   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
196   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
197   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
198   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
199   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
200   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
201   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
202   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
203   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
204   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
205 };
206
207 static smtp_cmd_list *cmd_list_end =
208   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
209
210 #define CMD_LIST_RSET      0
211 #define CMD_LIST_HELO      1
212 #define CMD_LIST_EHLO      2
213 #define CMD_LIST_AUTH      3
214 #define CMD_LIST_STARTTLS  4
215 #define CMD_LIST_TLS_AUTH  5
216
217 /* This list of names is used for performing the smtp_no_mail logging action.
218 It must be kept in step with the SCH_xxx enumerations. */
219
220 static uschar *smtp_names[] =
221   {
222   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
223   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
224   US"STARTTLS", US"VRFY" };
225
226 static uschar *protocols_local[] = {
227   US"local-smtp",        /* HELO */
228   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
229   US"local-esmtp",       /* EHLO */
230   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
231   US"local-esmtpa",      /* EHLO->AUTH */
232   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
233   };
234 static uschar *protocols[] = {
235   US"smtp",              /* HELO */
236   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
237   US"esmtp",             /* EHLO */
238   US"esmtps",            /* EHLO->STARTTLS->EHLO */
239   US"esmtpa",            /* EHLO->AUTH */
240   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
241   };
242
243 #define pnormal  0
244 #define pextend  2
245 #define pcrpted  1  /* added to pextend or pnormal */
246 #define pauthed  2  /* added to pextend */
247
248 /* Sanity check and validate optional args to MAIL FROM: envelope */
249 enum {
250   ENV_MAIL_OPT_NULL,
251   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
252 #ifndef DISABLE_PRDR
253   ENV_MAIL_OPT_PRDR,
254 #endif
255   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
256 #ifdef SUPPORT_I18N
257   ENV_MAIL_OPT_UTF8,
258 #endif
259   };
260 typedef struct {
261   uschar *   name;  /* option requested during MAIL cmd */
262   int       value;  /* enum type */
263   BOOL need_value;  /* TRUE requires value (name=value pair format)
264                        FALSE is a singleton */
265   } env_mail_type_t;
266 static env_mail_type_t env_mail_type_list[] = {
267     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
268     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
269     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
270 #ifndef DISABLE_PRDR
271     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
272 #endif
273     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
274     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
275 #ifdef SUPPORT_I18N
276     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
277 #endif
278     /* keep this the last entry */
279     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
280   };
281
282 /* When reading SMTP from a remote host, we have to use our own versions of the
283 C input-reading functions, in order to be able to flush the SMTP output only
284 when about to read more data from the socket. This is the only way to get
285 optimal performance when the client is using pipelining. Flushing for every
286 command causes a separate packet and reply packet each time; saving all the
287 responses up (when pipelining) combines them into one packet and one response.
288
289 For simplicity, these functions are used for *all* SMTP input, not only when
290 receiving over a socket. However, after setting up a secure socket (SSL), input
291 is read via the OpenSSL library, and another set of functions is used instead
292 (see tls.c).
293
294 These functions are set in the receive_getc etc. variables and called with the
295 same interface as the C functions. However, since there can only ever be
296 one incoming SMTP call, we just use a single buffer and flags. There is no need
297 to implement a complicated private FILE-like structure.*/
298
299 static uschar *smtp_inbuffer;
300 static uschar *smtp_inptr;
301 static uschar *smtp_inend;
302 static int     smtp_had_eof;
303 static int     smtp_had_error;
304
305
306 /* forward declarations */
307 int bdat_ungetc(int ch);
308 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
309 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
310 static void smtp_quit_handler(uschar **, uschar **);
311 static void smtp_rset_handler(void);
312
313 /*************************************************
314 *          Recheck synchronization               *
315 *************************************************/
316
317 /* Synchronization checks can never be perfect because a packet may be on its
318 way but not arrived when the check is done. Such checks can in any case only be
319 done when TLS is not in use. Normally, the checks happen when commands are
320 read: Exim ensures that there is no more input in the input buffer. In normal
321 cases, the response to the command will be fast, and there is no further check.
322
323 However, for some commands an ACL is run, and that can include delays. In those
324 cases, it is useful to do another check on the input just before sending the
325 response. This also applies at the start of a connection. This function does
326 that check by means of the select() function, as long as the facility is not
327 disabled or inappropriate. A failure of select() is ignored.
328
329 When there is unwanted input, we read it so that it appears in the log of the
330 error.
331
332 Arguments: none
333 Returns:   TRUE if all is well; FALSE if there is input pending
334 */
335
336 static BOOL
337 check_sync(void)
338 {
339 int fd, rc;
340 fd_set fds;
341 struct timeval tzero;
342
343 if (!smtp_enforce_sync || sender_host_address == NULL ||
344     sender_host_notsocket || tls_in.active >= 0)
345   return TRUE;
346
347 fd = fileno(smtp_in);
348 FD_ZERO(&fds);
349 FD_SET(fd, &fds);
350 tzero.tv_sec = 0;
351 tzero.tv_usec = 0;
352 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
353
354 if (rc <= 0) return TRUE;     /* Not ready to read */
355 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
356 if (rc < 0) return TRUE;      /* End of file or error */
357
358 smtp_ungetc(rc);
359 rc = smtp_inend - smtp_inptr;
360 if (rc > 150) rc = 150;
361 smtp_inptr[rc] = 0;
362 return FALSE;
363 }
364
365
366
367 /*************************************************
368 *          Log incomplete transactions           *
369 *************************************************/
370
371 /* This function is called after a transaction has been aborted by RSET, QUIT,
372 connection drops or other errors. It logs the envelope information received
373 so far in order to preserve address verification attempts.
374
375 Argument:   string to indicate what aborted the transaction
376 Returns:    nothing
377 */
378
379 static void
380 incomplete_transaction_log(uschar *what)
381 {
382 if (sender_address == NULL ||                 /* No transaction in progress */
383     !LOGGING(smtp_incomplete_transaction))
384   return;
385
386 /* Build list of recipients for logging */
387
388 if (recipients_count > 0)
389   {
390   int i;
391   raw_recipients = store_get(recipients_count * sizeof(uschar *));
392   for (i = 0; i < recipients_count; i++)
393     raw_recipients[i] = recipients_list[i].address;
394   raw_recipients_count = recipients_count;
395   }
396
397 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
398   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
399 }
400
401
402
403
404 /*************************************************
405 *          SMTP version of getc()                *
406 *************************************************/
407
408 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
409 it flushes the output, and refills the buffer, with a timeout. The signal
410 handler is set appropriately by the calling function. This function is not used
411 after a connection has negotiated itself into an TLS/SSL state.
412
413 Arguments:  lim         Maximum amount to read/buffer
414 Returns:    the next character or EOF
415 */
416
417 int
418 smtp_getc(unsigned lim)
419 {
420 if (smtp_inptr >= smtp_inend)
421   {
422   int rc, save_errno;
423   if (!smtp_out) return EOF;
424   fflush(smtp_out);
425   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
426
427   /* Limit amount read, so non-message data is not fed to DKIM */
428
429   rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE, lim));
430   save_errno = errno;
431   alarm(0);
432   if (rc <= 0)
433     {
434     /* Must put the error text in fixed store, because this might be during
435     header reading, where it releases unused store above the header. */
436     if (rc < 0)
437       {
438       smtp_had_error = save_errno;
439       smtp_read_error = string_copy_malloc(
440         string_sprintf(" (error: %s)", strerror(save_errno)));
441       }
442     else smtp_had_eof = 1;
443     return EOF;
444     }
445 #ifndef DISABLE_DKIM
446   dkim_exim_verify_feed(smtp_inbuffer, rc);
447 #endif
448   smtp_inend = smtp_inbuffer + rc;
449   smtp_inptr = smtp_inbuffer;
450   }
451 return *smtp_inptr++;
452 }
453
454 void
455 smtp_get_cache(void)
456 {
457 #ifndef DISABLE_DKIM
458 int n = smtp_inend - smtp_inptr;
459 if (n > 0)
460   dkim_exim_verify_feed(smtp_inptr, n);
461 #endif
462 }
463
464
465 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
466 previous BDAT chunk and getting new ones when we run out.  Uses the
467 underlying smtp_getc or tls_getc both for that and for getting the
468 (buffered) data byte.  EOD signals (an expected) no further data.
469 ERR signals a protocol error, and EOF a closed input stream.
470
471 Called from read_bdat_smtp() in receive.c for the message body, but also
472 by the headers read loop in receive_msg(); manipulates chunking_state
473 to handle the BDAT command/response.
474 Placed here due to the correlation with the above smtp_getc(), which it wraps,
475 and also by the need to do smtp command/response handling.
476
477 Arguments:  lim         (ignored)
478 Returns:    the next character or ERR, EOD or EOF
479 */
480
481 int
482 bdat_getc(unsigned lim)
483 {
484 uschar * user_msg = NULL;
485 uschar * log_msg;
486
487 for(;;)
488   {
489   if (chunking_data_left > 0)
490     return lwr_receive_getc(chunking_data_left--);
491
492   receive_getc = lwr_receive_getc;
493   receive_ungetc = lwr_receive_ungetc;
494 #ifndef DISABLE_DKIM
495   dkim_collect_input = FALSE;
496 #endif
497
498   /* Unless PIPELINING was offered, there should be no next command
499   until after we ack that chunk */
500
501   if (!pipelining_advertised && !check_sync())
502     {
503     incomplete_transaction_log(US"sync failure");
504     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
505       "(next input sent too soon: pipelining was not advertised): "
506       "rejected \"%s\" %s next input=\"%s\"",
507       smtp_cmd_buffer, host_and_ident(TRUE),
508       string_printing(smtp_inptr));
509       (void) synprot_error(L_smtp_protocol_error, 554, NULL,
510         US"SMTP synchronization error");
511     goto repeat_until_rset;
512     }
513
514   /* If not the last, ack the received chunk.  The last response is delayed
515   until after the data ACL decides on it */
516
517   if (chunking_state == CHUNKING_LAST)
518     {
519 #ifndef DISABLE_DKIM
520     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
521 #endif
522     return EOD;
523     }
524
525   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
526   chunking_state = CHUNKING_OFFERED;
527   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
528
529   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
530   QUIT, RSET or NOOP but handling them seems obvious */
531
532 next_cmd:
533   switch(smtp_read_command(TRUE, 1))
534     {
535     default:
536       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
537         US"only BDAT permissible after non-LAST BDAT");
538
539   repeat_until_rset:
540       switch(smtp_read_command(TRUE, 1))
541         {
542         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
543         case EOF_CMD:   return EOF;
544         case RSET_CMD:  smtp_rset_handler(); return ERR;
545         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
546                                           US"only RSET accepted now") > 0)
547                           return EOF;
548                         goto repeat_until_rset;
549         }
550
551     case QUIT_CMD:
552       smtp_quit_handler(&user_msg, &log_msg);
553       /*FALLTHROUGH*/
554     case EOF_CMD:
555       return EOF;
556
557     case RSET_CMD:
558       smtp_rset_handler();
559       return ERR;
560
561     case NOOP_CMD:
562       HAD(SCH_NOOP);
563       smtp_printf("250 OK\r\n");
564       goto next_cmd;
565
566     case BDAT_CMD:
567       {
568       int n;
569
570       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
571         {
572         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
573           US"missing size for BDAT command");
574         return ERR;
575         }
576       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
577         ? CHUNKING_LAST : CHUNKING_ACTIVE;
578       chunking_data_left = chunking_datasize;
579       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
580                                     (int)chunking_state, chunking_data_left);
581
582       if (chunking_datasize == 0)
583         if (chunking_state == CHUNKING_LAST)
584           return EOD;
585         else
586           {
587           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
588             US"zero size for BDAT command");
589           goto repeat_until_rset;
590           }
591
592       receive_getc = bdat_getc;
593       receive_ungetc = bdat_ungetc;
594 #ifndef DISABLE_DKIM
595       dkim_collect_input = TRUE;
596 #endif
597       break;    /* to top of main loop */
598       }
599     }
600   }
601 }
602
603 void
604 bdat_flush_data(void)
605 {
606 while (chunking_data_left > 0)
607   if (lwr_receive_getc(chunking_data_left--) < 0)
608     break;
609
610 receive_getc = lwr_receive_getc;
611 receive_ungetc = lwr_receive_ungetc;
612
613 if (chunking_state != CHUNKING_LAST)
614   {
615   chunking_state = CHUNKING_OFFERED;
616   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
617   }
618 }
619
620
621
622
623 /*************************************************
624 *          SMTP version of ungetc()              *
625 *************************************************/
626
627 /* Puts a character back in the input buffer. Only ever
628 called once.
629
630 Arguments:
631   ch           the character
632
633 Returns:       the character
634 */
635
636 int
637 smtp_ungetc(int ch)
638 {
639 *--smtp_inptr = ch;
640 return ch;
641 }
642
643
644 int
645 bdat_ungetc(int ch)
646 {
647 chunking_data_left++;
648 return lwr_receive_ungetc(ch);
649 }
650
651
652
653 /*************************************************
654 *          SMTP version of feof()                *
655 *************************************************/
656
657 /* Tests for a previous EOF
658
659 Arguments:     none
660 Returns:       non-zero if the eof flag is set
661 */
662
663 int
664 smtp_feof(void)
665 {
666 return smtp_had_eof;
667 }
668
669
670
671
672 /*************************************************
673 *          SMTP version of ferror()              *
674 *************************************************/
675
676 /* Tests for a previous read error, and returns with errno
677 restored to what it was when the error was detected.
678
679 Arguments:     none
680 Returns:       non-zero if the error flag is set
681 */
682
683 int
684 smtp_ferror(void)
685 {
686 errno = smtp_had_error;
687 return smtp_had_error;
688 }
689
690
691
692 /*************************************************
693 *      Test for characters in the SMTP buffer    *
694 *************************************************/
695
696 /* Used at the end of a message
697
698 Arguments:     none
699 Returns:       TRUE/FALSE
700 */
701
702 BOOL
703 smtp_buffered(void)
704 {
705 return smtp_inptr < smtp_inend;
706 }
707
708
709
710 /*************************************************
711 *     Write formatted string to SMTP channel     *
712 *************************************************/
713
714 /* This is a separate function so that we don't have to repeat everything for
715 TLS support or debugging. It is global so that the daemon and the
716 authentication functions can use it. It does not return any error indication,
717 because major problems such as dropped connections won't show up till an output
718 flush for non-TLS connections. The smtp_fflush() function is available for
719 checking that: for convenience, TLS output errors are remembered here so that
720 they are also picked up later by smtp_fflush().
721
722 Arguments:
723   format      format string
724   ...         optional arguments
725
726 Returns:      nothing
727 */
728
729 void
730 smtp_printf(const char *format, ...)
731 {
732 va_list ap;
733
734 va_start(ap, format);
735 smtp_vprintf(format, ap);
736 va_end(ap);
737 }
738
739 /* This is split off so that verify.c:respond_printf() can, in effect, call
740 smtp_printf(), bearing in mind that in C a vararg function can't directly
741 call another vararg function, only a function which accepts a va_list. */
742
743 void
744 smtp_vprintf(const char *format, va_list ap)
745 {
746 BOOL yield;
747
748 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
749
750 DEBUG(D_receive)
751   {
752   void *reset_point = store_get(0);
753   uschar *msg_copy, *cr, *end;
754   msg_copy = string_copy(big_buffer);
755   end = msg_copy + Ustrlen(msg_copy);
756   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
757   memmove(cr, cr + 1, (end--) - cr);
758   debug_printf("SMTP>> %s", msg_copy);
759   store_reset(reset_point);
760   }
761
762 if (!yield)
763   {
764   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
765   smtp_closedown(US"Unexpected error");
766   exim_exit(EXIT_FAILURE);
767   }
768
769 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
770 have had the same. Note: this code is also present in smtp_respond(). It would
771 be tidier to have it only in one place, but when it was added, it was easier to
772 do it that way, so as not to have to mess with the code for the RCPT command,
773 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
774
775 if (rcpt_in_progress)
776   {
777   if (rcpt_smtp_response == NULL)
778     rcpt_smtp_response = string_copy(big_buffer);
779   else if (rcpt_smtp_response_same &&
780            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
781     rcpt_smtp_response_same = FALSE;
782   rcpt_in_progress = FALSE;
783   }
784
785 /* Now write the string */
786
787 #ifdef SUPPORT_TLS
788 if (tls_in.active >= 0)
789   {
790   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
791     smtp_write_error = -1;
792   }
793 else
794 #endif
795
796 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
797 }
798
799
800
801 /*************************************************
802 *        Flush SMTP out and check for error      *
803 *************************************************/
804
805 /* This function isn't currently used within Exim (it detects errors when it
806 tries to read the next SMTP input), but is available for use in local_scan().
807 For non-TLS connections, it flushes the output and checks for errors. For
808 TLS-connections, it checks for a previously-detected TLS write error.
809
810 Arguments:  none
811 Returns:    0 for no error; -1 after an error
812 */
813
814 int
815 smtp_fflush(void)
816 {
817 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
818 return smtp_write_error;
819 }
820
821
822
823 /*************************************************
824 *          SMTP command read timeout             *
825 *************************************************/
826
827 /* Signal handler for timing out incoming SMTP commands. This attempts to
828 finish off tidily.
829
830 Argument: signal number (SIGALRM)
831 Returns:  nothing
832 */
833
834 static void
835 command_timeout_handler(int sig)
836 {
837 sig = sig;    /* Keep picky compilers happy */
838 log_write(L_lost_incoming_connection,
839           LOG_MAIN, "SMTP command timeout on%s connection from %s",
840           (tls_in.active >= 0)? " TLS" : "",
841           host_and_ident(FALSE));
842 if (smtp_batched_input)
843   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
844 smtp_notquit_exit(US"command-timeout", US"421",
845   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
846 exim_exit(EXIT_FAILURE);
847 }
848
849
850
851 /*************************************************
852 *               SIGTERM received                 *
853 *************************************************/
854
855 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
856
857 Argument: signal number (SIGTERM)
858 Returns:  nothing
859 */
860
861 static void
862 command_sigterm_handler(int sig)
863 {
864 sig = sig;    /* Keep picky compilers happy */
865 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
866 if (smtp_batched_input)
867   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
868 smtp_notquit_exit(US"signal-exit", US"421",
869   US"%s: Service not available - closing connection", smtp_active_hostname);
870 exim_exit(EXIT_FAILURE);
871 }
872
873
874
875
876 #ifdef SUPPORT_PROXY
877 /*************************************************
878 *     Restore socket timeout to previous value   *
879 *************************************************/
880 /* If the previous value was successfully retrieved, restore
881 it before returning control to the non-proxy routines
882
883 Arguments: fd     - File descriptor for input
884            get_ok - Successfully retrieved previous values
885            tvtmp  - Time struct with previous values
886            vslen  - Length of time struct
887 Returns:   none
888 */
889 static void
890 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
891 {
892 if (get_ok == 0)
893   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
894 }
895
896 /*************************************************
897 *       Check if host is required proxy host     *
898 *************************************************/
899 /* The function determines if inbound host will be a regular smtp host
900 or if it is configured that it must use Proxy Protocol.  A local
901 connection cannot.
902
903 Arguments: none
904 Returns:   bool
905 */
906
907 static BOOL
908 check_proxy_protocol_host()
909 {
910 int rc;
911
912 if (  sender_host_address
913    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
914                            sender_host_address, NULL)) == OK)
915   {
916   DEBUG(D_receive)
917     debug_printf("Detected proxy protocol configured host\n");
918   proxy_session = TRUE;
919   }
920 return proxy_session;
921 }
922
923
924 /*************************************************
925 *    Read data until newline or end of buffer    *
926 *************************************************/
927 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
928 read an entire buffer and assume there will be nothing past a proxy protocol
929 header.  Our approach normally is to use stdio, but again that relies upon
930 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
931 reading _nothing_ before client TLS handshake.  So we don't want to use the
932 usual buffering reads which may read enough to block TLS starting.
933
934 So unfortunately we're down to "read one byte at a time, with a syscall each,
935 and expect a little overhead", for all proxy-opened connections which are v1,
936 just to handle the TLS-on-connect case.  Since SSL functions wrap the
937 underlying fd, we can't assume that we can feed them any already-read content.
938
939 We need to know where to read to, the max capacity, and we'll read until we
940 get a CR and one more character.  Let the caller scream if it's CR+!LF.
941
942 Return the amount read.
943 */
944
945 static int
946 swallow_until_crlf(int fd, void *vto, int capacity)
947 {
948   uschar *to = (uschar *)vto;
949   int have = 0;
950   int ret;
951   int last = 0;
952
953   while (capacity > 0) {
954     do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
955     if (ret == -1)
956       return -1;
957     have++;
958     if (last)
959       return have;
960     if (*to == '\r')
961       last = 1;
962     capacity--;
963     to++;
964   }
965   // reached end without having room for a final newline, abort
966   errno = EOVERFLOW;
967   return -1;
968 }
969
970 /*************************************************
971 *         Setup host for proxy protocol          *
972 *************************************************/
973 /* The function configures the connection based on a header from the
974 inbound host to use Proxy Protocol. The specification is very exact
975 so exit with an error if do not find the exact required pieces. This
976 includes an incorrect number of spaces separating args.
977
978 Arguments: none
979 Returns:   Boolean success
980 */
981
982 static void
983 setup_proxy_protocol_host()
984 {
985 union {
986   struct {
987     uschar line[108];
988   } v1;
989   struct {
990     uschar sig[12];
991     uint8_t ver_cmd;
992     uint8_t fam;
993     uint16_t len;
994     union {
995       struct { /* TCP/UDP over IPv4, len = 12 */
996         uint32_t src_addr;
997         uint32_t dst_addr;
998         uint16_t src_port;
999         uint16_t dst_port;
1000       } ip4;
1001       struct { /* TCP/UDP over IPv6, len = 36 */
1002         uint8_t  src_addr[16];
1003         uint8_t  dst_addr[16];
1004         uint16_t src_port;
1005         uint16_t dst_port;
1006       } ip6;
1007       struct { /* AF_UNIX sockets, len = 216 */
1008         uschar   src_addr[108];
1009         uschar   dst_addr[108];
1010       } unx;
1011     } addr;
1012   } v2;
1013 } hdr;
1014
1015 /* Temp variables used in PPv2 address:port parsing */
1016 uint16_t tmpport;
1017 char tmpip[INET_ADDRSTRLEN];
1018 struct sockaddr_in tmpaddr;
1019 char tmpip6[INET6_ADDRSTRLEN];
1020 struct sockaddr_in6 tmpaddr6;
1021
1022 int get_ok = 0;
1023 int size, ret;
1024 int fd = fileno(smtp_in);
1025 #define PROXY_INITIAL_READ 12
1026 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1027 uschar * iptype;  /* To display debug info */
1028 struct timeval tv;
1029 struct timeval tvtmp;
1030 socklen_t vslen = sizeof(struct timeval);
1031 BOOL yield = FALSE;
1032
1033 /* Save current socket timeout values */
1034 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1035
1036 /* Proxy Protocol host must send header within a short time
1037 (default 3 seconds) or it's considered invalid */
1038 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1039 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1040 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1041   goto bad;
1042
1043 do
1044   {
1045   /* The inbound host was declared to be a Proxy Protocol host, so
1046      don't do a PEEK into the data, actually slurp it up. */
1047   /* We assume that the zie of a v2sig is less than the size of a complete
1048      PROXYv1 line, so that we will _have_ to read more data; "PROXY TCPn\r\n"
1049      is 12, so an IP address pushes it over, so we're good. */
1050   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1051   }
1052   while (ret == -1 && errno == EINTR);
1053
1054 if (ret == -1)
1055   goto proxyfail;
1056
1057 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1058   {
1059   uint8_t ver, cmd;
1060   int ret2nd;
1061
1062   /* It's now safe to read the rest. */
1063   do {
1064     ret2nd = recv(fd, (uschar*)&hdr + ret, sizeof(hdr)-ret, 0);
1065   } while (ret2nd == -1 && errno == EINTR);
1066   if (ret2nd == -1)
1067     goto proxyfail;
1068   ret += ret2nd;
1069
1070   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1071   cmd = (hdr.v2.ver_cmd & 0x0f);
1072
1073   /* May 2014: haproxy combined the version and command into one byte to
1074      allow two full bytes for the length field in order to proxy SSL
1075      connections.  SSL Proxy is not supported in this version of Exim, but
1076      must still separate values here. */
1077
1078   if (ver != 0x02)
1079     {
1080     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1081     goto proxyfail;
1082     }
1083   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
1084   /* The v2 header will always be 16 bytes per the spec. */
1085   size = 16 + ntohs(hdr.v2.len);
1086   if (ret < size)
1087     {
1088     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
1089                                   ret, size);
1090     goto proxyfail;
1091     }
1092   switch (cmd)
1093     {
1094     case 0x01: /* PROXY command */
1095       switch (hdr.v2.fam)
1096         {
1097         case 0x11:  /* TCPv4 address type */
1098           iptype = US"IPv4";
1099           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1100           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1101           if (!string_is_ip_address(US tmpip, NULL))
1102             {
1103             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1104             goto proxyfail;
1105             }
1106           proxy_local_address = sender_host_address;
1107           sender_host_address = string_copy(US tmpip);
1108           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1109           proxy_local_port    = sender_host_port;
1110           sender_host_port    = tmpport;
1111           /* Save dest ip/port */
1112           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1113           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1114           if (!string_is_ip_address(US tmpip, NULL))
1115             {
1116             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1117             goto proxyfail;
1118             }
1119           proxy_external_address = string_copy(US tmpip);
1120           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1121           proxy_external_port  = tmpport;
1122           goto done;
1123         case 0x21:  /* TCPv6 address type */
1124           iptype = US"IPv6";
1125           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1126           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1127           if (!string_is_ip_address(US tmpip6, NULL))
1128             {
1129             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1130             goto proxyfail;
1131             }
1132           proxy_local_address = sender_host_address;
1133           sender_host_address = string_copy(US tmpip6);
1134           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1135           proxy_local_port    = sender_host_port;
1136           sender_host_port    = tmpport;
1137           /* Save dest ip/port */
1138           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1139           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1140           if (!string_is_ip_address(US tmpip6, NULL))
1141             {
1142             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1143             goto proxyfail;
1144             }
1145           proxy_external_address = string_copy(US tmpip6);
1146           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1147           proxy_external_port  = tmpport;
1148           goto done;
1149         default:
1150           DEBUG(D_receive)
1151             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1152                          hdr.v2.fam);
1153           goto proxyfail;
1154         }
1155       /* Unsupported protocol, keep local connection address */
1156       break;
1157     case 0x00: /* LOCAL command */
1158       /* Keep local connection address for LOCAL */
1159       iptype = US"local";
1160       break;
1161     default:
1162       DEBUG(D_receive)
1163         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1164       goto proxyfail;
1165     }
1166   }
1167 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1168   {
1169   uschar *p;
1170   uschar *end;
1171   uschar *sp;     /* Utility variables follow */
1172   int     tmp_port;
1173   int     r2;
1174   char   *endc;
1175
1176   /* get the rest of the line */
1177   r2 = swallow_until_crlf(fd, (uschar*)&hdr + ret, sizeof(hdr)-ret);
1178   if (r2 == -1)
1179     goto proxyfail;
1180   ret += r2;
1181
1182   p = string_copy(hdr.v1.line);
1183   end = memchr(p, '\r', ret - 1);
1184
1185   if (!end || end[1] != '\n')
1186     {
1187     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1188     goto proxyfail;
1189     }
1190   *end = '\0'; /* Terminate the string */
1191   size = end + 2 - p; /* Skip header + CRLF */
1192   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1193   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1194   /* Step through the string looking for the required fields. Ensure
1195      strict adherence to required formatting, exit for any error. */
1196   p += 5;
1197   if (!isspace(*(p++)))
1198     {
1199     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1200     goto proxyfail;
1201     }
1202   if (!Ustrncmp(p, CCS"TCP4", 4))
1203     iptype = US"IPv4";
1204   else if (!Ustrncmp(p,CCS"TCP6", 4))
1205     iptype = US"IPv6";
1206   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1207     {
1208     iptype = US"Unknown";
1209     goto done;
1210     }
1211   else
1212     {
1213     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1214     goto proxyfail;
1215     }
1216
1217   p += Ustrlen(iptype);
1218   if (!isspace(*(p++)))
1219     {
1220     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1221     goto proxyfail;
1222     }
1223   /* Find the end of the arg */
1224   if ((sp = Ustrchr(p, ' ')) == NULL)
1225     {
1226     DEBUG(D_receive)
1227       debug_printf("Did not find proxied src %s\n", iptype);
1228     goto proxyfail;
1229     }
1230   *sp = '\0';
1231   if(!string_is_ip_address(p, NULL))
1232     {
1233     DEBUG(D_receive)
1234       debug_printf("Proxied src arg is not an %s address\n", iptype);
1235     goto proxyfail;
1236     }
1237   proxy_local_address = sender_host_address;
1238   sender_host_address = p;
1239   p = sp + 1;
1240   if ((sp = Ustrchr(p, ' ')) == NULL)
1241     {
1242     DEBUG(D_receive)
1243       debug_printf("Did not find proxy dest %s\n", iptype);
1244     goto proxyfail;
1245     }
1246   *sp = '\0';
1247   if(!string_is_ip_address(p, NULL))
1248     {
1249     DEBUG(D_receive)
1250       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1251     goto proxyfail;
1252     }
1253   proxy_external_address = p;
1254   p = sp + 1;
1255   if ((sp = Ustrchr(p, ' ')) == NULL)
1256     {
1257     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1258     goto proxyfail;
1259     }
1260   *sp = '\0';
1261   tmp_port = strtol(CCS p, &endc, 10);
1262   if (*endc || tmp_port == 0)
1263     {
1264     DEBUG(D_receive)
1265       debug_printf("Proxied src port '%s' not an integer\n", p);
1266     goto proxyfail;
1267     }
1268   proxy_local_port = sender_host_port;
1269   sender_host_port = tmp_port;
1270   p = sp + 1;
1271   if ((sp = Ustrchr(p, '\0')) == NULL)
1272     {
1273     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1274     goto proxyfail;
1275     }
1276   tmp_port = strtol(CCS p, &endc, 10);
1277   if (*endc || tmp_port == 0)
1278     {
1279     DEBUG(D_receive)
1280       debug_printf("Proxy dest port '%s' not an integer\n", p);
1281     goto proxyfail;
1282     }
1283   proxy_external_port = tmp_port;
1284   /* Already checked for /r /n above. Good V1 header received. */
1285   }
1286 else
1287   {
1288   /* Wrong protocol */
1289   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1290   (void) swallow_until_crlf(fd, (uschar*)&hdr + ret, sizeof(hdr)-ret);
1291   goto proxyfail;
1292   }
1293
1294 done:
1295   DEBUG(D_receive)
1296     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1297   yield = proxy_session;
1298
1299 /* Don't flush any potential buffer contents. Any input on proxyfail
1300 should cause a synchronization failure */
1301
1302 proxyfail:
1303   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1304
1305 bad:
1306   if (yield)
1307     {
1308     sender_host_name = NULL;
1309     (void) host_name_lookup();
1310     host_build_sender_fullhost();
1311     }
1312   else
1313     {
1314     proxy_session_failed = TRUE;
1315     DEBUG(D_receive)
1316       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1317     }
1318
1319 return;
1320 }
1321 #endif
1322
1323 /*************************************************
1324 *           Read one command line                *
1325 *************************************************/
1326
1327 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1328 There are sites that don't do this, and in any case internal SMTP probably
1329 should check only for LF. Consequently, we check here for LF only. The line
1330 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1331 an unknown command. The command is read into the global smtp_cmd_buffer so that
1332 it is available via $smtp_command.
1333
1334 The character reading routine sets up a timeout for each block actually read
1335 from the input (which may contain more than one command). We set up a special
1336 signal handler that closes down the session on a timeout. Control does not
1337 return when it runs.
1338
1339 Arguments:
1340   check_sync    if TRUE, check synchronization rules if global option is TRUE
1341   buffer_lim    maximum to buffer in lower layer
1342
1343 Returns:       a code identifying the command (enumerated above)
1344 */
1345
1346 static int
1347 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1348 {
1349 int c;
1350 int ptr = 0;
1351 smtp_cmd_list *p;
1352 BOOL hadnull = FALSE;
1353
1354 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1355
1356 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1357   {
1358   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1359     {
1360     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1361     return OTHER_CMD;
1362     }
1363   if (c == 0)
1364     {
1365     hadnull = TRUE;
1366     c = '?';
1367     }
1368   smtp_cmd_buffer[ptr++] = c;
1369   }
1370
1371 receive_linecount++;    /* For BSMTP errors */
1372 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1373
1374 /* If hit end of file, return pseudo EOF command. Whether we have a
1375 part-line already read doesn't matter, since this is an error state. */
1376
1377 if (c == EOF) return EOF_CMD;
1378
1379 /* Remove any CR and white space at the end of the line, and terminate the
1380 string. */
1381
1382 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1383 smtp_cmd_buffer[ptr] = 0;
1384
1385 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1386
1387 /* NULLs are not allowed in SMTP commands */
1388
1389 if (hadnull) return BADCHAR_CMD;
1390
1391 /* Scan command list and return identity, having set the data pointer
1392 to the start of the actual data characters. Check for SMTP synchronization
1393 if required. */
1394
1395 for (p = cmd_list; p < cmd_list_end; p++)
1396   {
1397 #ifdef SUPPORT_PROXY
1398   /* Only allow QUIT command if Proxy Protocol parsing failed */
1399   if (proxy_session && proxy_session_failed && p->cmd != QUIT_CMD)
1400     continue;
1401 #endif
1402   if (  p->len
1403      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1404      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1405         || smtp_cmd_buffer[p->len] == 0
1406         || smtp_cmd_buffer[p->len] == ' '
1407      )  )
1408     {
1409     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1410         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1411         check_sync &&                                  /* Local flag set */
1412         smtp_enforce_sync &&                           /* Global flag set */
1413         sender_host_address != NULL &&                 /* Not local input */
1414         !sender_host_notsocket)                        /* Really is a socket */
1415       return BADSYN_CMD;
1416
1417     /* The variables $smtp_command and $smtp_command_argument point into the
1418     unmodified input buffer. A copy of the latter is taken for actual
1419     processing, so that it can be chopped up into separate parts if necessary,
1420     for example, when processing a MAIL command options such as SIZE that can
1421     follow the sender address. */
1422
1423     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1424     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1425     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1426     smtp_cmd_data = smtp_data_buffer;
1427
1428     /* Count non-mail commands from those hosts that are controlled in this
1429     way. The default is all hosts. We don't waste effort checking the list
1430     until we get a non-mail command, but then cache the result to save checking
1431     again. If there's a DEFER while checking the host, assume it's in the list.
1432
1433     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1434     start of each incoming message by fiddling with the value in the table. */
1435
1436     if (!p->is_mail_cmd)
1437       {
1438       if (count_nonmail == TRUE_UNSET) count_nonmail =
1439         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1440       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1441         return TOO_MANY_NONMAIL_CMD;
1442       }
1443
1444     /* If there is data for a command that does not expect it, generate the
1445     error here. */
1446
1447     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1448     }
1449   }
1450
1451 #ifdef SUPPORT_PROXY
1452 /* Only allow QUIT command if Proxy Protocol parsing failed */
1453 if (proxy_session && proxy_session_failed)
1454   return PROXY_FAIL_IGNORE_CMD;
1455 #endif
1456
1457 /* Enforce synchronization for unknown commands */
1458
1459 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1460     check_sync &&                                  /* Local flag set */
1461     smtp_enforce_sync &&                           /* Global flag set */
1462     sender_host_address != NULL &&                 /* Not local input */
1463     !sender_host_notsocket)                        /* Really is a socket */
1464   return BADSYN_CMD;
1465
1466 return OTHER_CMD;
1467 }
1468
1469
1470
1471 /*************************************************
1472 *          Forced closedown of call              *
1473 *************************************************/
1474
1475 /* This function is called from log.c when Exim is dying because of a serious
1476 disaster, and also from some other places. If an incoming non-batched SMTP
1477 channel is open, it swallows the rest of the incoming message if in the DATA
1478 phase, sends the reply string, and gives an error to all subsequent commands
1479 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1480 smtp_in.
1481
1482 Arguments:
1483   message   SMTP reply string to send, excluding the code
1484
1485 Returns:    nothing
1486 */
1487
1488 void
1489 smtp_closedown(uschar *message)
1490 {
1491 if (smtp_in == NULL || smtp_batched_input) return;
1492 receive_swallow_smtp();
1493 smtp_printf("421 %s\r\n", message);
1494
1495 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1496   {
1497   case EOF_CMD:
1498   return;
1499
1500   case QUIT_CMD:
1501   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1502   mac_smtp_fflush();
1503   return;
1504
1505   case RSET_CMD:
1506   smtp_printf("250 Reset OK\r\n");
1507   break;
1508
1509   default:
1510   smtp_printf("421 %s\r\n", message);
1511   break;
1512   }
1513 }
1514
1515
1516
1517
1518 /*************************************************
1519 *        Set up connection info for logging      *
1520 *************************************************/
1521
1522 /* This function is called when logging information about an SMTP connection.
1523 It sets up appropriate source information, depending on the type of connection.
1524 If sender_fullhost is NULL, we are at a very early stage of the connection;
1525 just use the IP address.
1526
1527 Argument:    none
1528 Returns:     a string describing the connection
1529 */
1530
1531 uschar *
1532 smtp_get_connection_info(void)
1533 {
1534 const uschar * hostname = sender_fullhost
1535   ? sender_fullhost : sender_host_address;
1536
1537 if (host_checking)
1538   return string_sprintf("SMTP connection from %s", hostname);
1539
1540 if (sender_host_unknown || sender_host_notsocket)
1541   return string_sprintf("SMTP connection from %s", sender_ident);
1542
1543 if (is_inetd)
1544   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1545
1546 if (LOGGING(incoming_interface) && interface_address != NULL)
1547   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1548     interface_address, interface_port);
1549
1550 return string_sprintf("SMTP connection from %s", hostname);
1551 }
1552
1553
1554
1555 #ifdef SUPPORT_TLS
1556 /* Append TLS-related information to a log line
1557
1558 Arguments:
1559   s             String under construction: allocated string to extend, or NULL
1560   sizep         Pointer to current allocation size (update on return), or NULL
1561   ptrp          Pointer to index for new entries in string (update on return), or NULL
1562
1563 Returns:        Allocated string or NULL
1564 */
1565 static uschar *
1566 s_tlslog(uschar * s, int * sizep, int * ptrp)
1567 {
1568   int size = sizep ? *sizep : 0;
1569   int ptr = ptrp ? *ptrp : 0;
1570
1571   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1572     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1573   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1574     s = string_append(s, &size, &ptr, 2, US" CV=",
1575       tls_in.certificate_verified? "yes":"no");
1576   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1577     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1578       string_printing(tls_in.peerdn), US"\"");
1579   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1580     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1581       string_printing(tls_in.sni), US"\"");
1582
1583   if (s)
1584     {
1585     s[ptr] = '\0';
1586     if (sizep) *sizep = size;
1587     if (ptrp) *ptrp = ptr;
1588     }
1589   return s;
1590 }
1591 #endif
1592
1593 /*************************************************
1594 *      Log lack of MAIL if so configured         *
1595 *************************************************/
1596
1597 /* This function is called when an SMTP session ends. If the log selector
1598 smtp_no_mail is set, write a log line giving some details of what has happened
1599 in the SMTP session.
1600
1601 Arguments:   none
1602 Returns:     nothing
1603 */
1604
1605 void
1606 smtp_log_no_mail(void)
1607 {
1608 int size, ptr, i;
1609 uschar *s, *sep;
1610
1611 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1612   return;
1613
1614 s = NULL;
1615 size = ptr = 0;
1616
1617 if (sender_host_authenticated != NULL)
1618   {
1619   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1620   if (authenticated_id != NULL)
1621     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1622   }
1623
1624 #ifdef SUPPORT_TLS
1625 s = s_tlslog(s, &size, &ptr);
1626 #endif
1627
1628 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1629   US" C=..." : US" C=";
1630 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1631   {
1632   if (smtp_connection_had[i] != SCH_NONE)
1633     {
1634     s = string_append(s, &size, &ptr, 2, sep,
1635       smtp_names[smtp_connection_had[i]]);
1636     sep = US",";
1637     }
1638   }
1639
1640 for (i = 0; i < smtp_ch_index; i++)
1641   {
1642   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1643   sep = US",";
1644   }
1645
1646 if (s != NULL) s[ptr] = 0; else s = US"";
1647 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1648   host_and_ident(FALSE),
1649   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1650   s);
1651 }
1652
1653
1654
1655 /*************************************************
1656 *   Check HELO line and set sender_helo_name     *
1657 *************************************************/
1658
1659 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1660 the domain name of the sending host, or an ip literal in square brackets. The
1661 argument is placed in sender_helo_name, which is in malloc store, because it
1662 must persist over multiple incoming messages. If helo_accept_junk is set, this
1663 host is permitted to send any old junk (needed for some broken hosts).
1664 Otherwise, helo_allow_chars can be used for rogue characters in general
1665 (typically people want to let in underscores).
1666
1667 Argument:
1668   s       the data portion of the line (already past any white space)
1669
1670 Returns:  TRUE or FALSE
1671 */
1672
1673 static BOOL
1674 check_helo(uschar *s)
1675 {
1676 uschar *start = s;
1677 uschar *end = s + Ustrlen(s);
1678 BOOL yield = helo_accept_junk;
1679
1680 /* Discard any previous helo name */
1681
1682 if (sender_helo_name != NULL)
1683   {
1684   store_free(sender_helo_name);
1685   sender_helo_name = NULL;
1686   }
1687
1688 /* Skip tests if junk is permitted. */
1689
1690 if (!yield)
1691   {
1692   /* Allow the new standard form for IPv6 address literals, namely,
1693   [IPv6:....], and because someone is bound to use it, allow an equivalent
1694   IPv4 form. Allow plain addresses as well. */
1695
1696   if (*s == '[')
1697     {
1698     if (end[-1] == ']')
1699       {
1700       end[-1] = 0;
1701       if (strncmpic(s, US"[IPv6:", 6) == 0)
1702         yield = (string_is_ip_address(s+6, NULL) == 6);
1703       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1704         yield = (string_is_ip_address(s+6, NULL) == 4);
1705       else
1706         yield = (string_is_ip_address(s+1, NULL) != 0);
1707       end[-1] = ']';
1708       }
1709     }
1710
1711   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1712   that have been configured (usually underscore - sigh). */
1713
1714   else if (*s != 0)
1715     {
1716     yield = TRUE;
1717     while (*s != 0)
1718       {
1719       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1720           Ustrchr(helo_allow_chars, *s) == NULL)
1721         {
1722         yield = FALSE;
1723         break;
1724         }
1725       s++;
1726       }
1727     }
1728   }
1729
1730 /* Save argument if OK */
1731
1732 if (yield) sender_helo_name = string_copy_malloc(start);
1733 return yield;
1734 }
1735
1736
1737
1738
1739
1740 /*************************************************
1741 *         Extract SMTP command option            *
1742 *************************************************/
1743
1744 /* This function picks the next option setting off the end of smtp_cmd_data. It
1745 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1746 things that can appear there.
1747
1748 Arguments:
1749    name           point this at the name
1750    value          point this at the data string
1751
1752 Returns:          TRUE if found an option
1753 */
1754
1755 static BOOL
1756 extract_option(uschar **name, uschar **value)
1757 {
1758 uschar *n;
1759 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1760 while (isspace(*v)) v--;
1761 v[1] = 0;
1762 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1763   {
1764   /* Take care to not stop at a space embedded in a quoted local-part */
1765
1766   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1767   v--;
1768   }
1769
1770 n = v;
1771 if (*v == '=')
1772 {
1773   while(isalpha(n[-1])) n--;
1774   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1775   if (!isspace(n[-1])) return FALSE;
1776   n[-1] = 0;
1777 }
1778 else
1779 {
1780   n++;
1781   if (v == smtp_cmd_data) return FALSE;
1782 }
1783 *v++ = 0;
1784 *name = n;
1785 *value = v;
1786 return TRUE;
1787 }
1788
1789
1790
1791
1792
1793 /*************************************************
1794 *         Reset for new message                  *
1795 *************************************************/
1796
1797 /* This function is called whenever the SMTP session is reset from
1798 within either of the setup functions.
1799
1800 Argument:   the stacking pool storage reset point
1801 Returns:    nothing
1802 */
1803
1804 static void
1805 smtp_reset(void *reset_point)
1806 {
1807 store_reset(reset_point);
1808 recipients_list = NULL;
1809 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1810   raw_recipients_count = recipients_count = recipients_list_max = 0;
1811 cancel_cutthrough_connection("smtp reset");
1812 message_linecount = 0;
1813 message_size = -1;
1814 acl_added_headers = NULL;
1815 acl_removed_headers = NULL;
1816 queue_only_policy = FALSE;
1817 rcpt_smtp_response = NULL;
1818 rcpt_smtp_response_same = TRUE;
1819 rcpt_in_progress = FALSE;
1820 deliver_freeze = FALSE;                              /* Can be set by ACL */
1821 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1822 fake_response = OK;                                  /* Can be set by ACL */
1823 #ifdef WITH_CONTENT_SCAN
1824 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1825 #endif
1826 submission_mode = FALSE;                             /* Can be set by ACL */
1827 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1828 active_local_from_check = local_from_check;          /* Can be set by ACL */
1829 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1830 sender_address = NULL;
1831 submission_name = NULL;                              /* Can be set by ACL */
1832 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1833 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1834 sender_verified_list = NULL;        /* No senders verified */
1835 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1836 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1837
1838 authenticated_sender = NULL;
1839 #ifdef EXPERIMENTAL_BRIGHTMAIL
1840 bmi_run = 0;
1841 bmi_verdicts = NULL;
1842 #endif
1843 #ifndef DISABLE_DKIM
1844 dkim_signers = NULL;
1845 dkim_disable_verify = FALSE;
1846 dkim_collect_input = FALSE;
1847 #endif
1848 dsn_ret = 0;
1849 dsn_envid = NULL;
1850 #ifndef DISABLE_PRDR
1851 prdr_requested = FALSE;
1852 #endif
1853 #ifdef EXPERIMENTAL_SPF
1854 spf_header_comment = NULL;
1855 spf_received = NULL;
1856 spf_result = NULL;
1857 spf_smtp_comment = NULL;
1858 #endif
1859 #ifdef SUPPORT_I18N
1860 message_smtputf8 = FALSE;
1861 #endif
1862 body_linecount = body_zerocount = 0;
1863
1864 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1865 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1866                    /* Note that ratelimiters_conn persists across resets. */
1867
1868 /* Reset message ACL variables */
1869
1870 acl_var_m = NULL;
1871
1872 /* The message body variables use malloc store. They may be set if this is
1873 not the first message in an SMTP session and the previous message caused them
1874 to be referenced in an ACL. */
1875
1876 if (message_body != NULL)
1877   {
1878   store_free(message_body);
1879   message_body = NULL;
1880   }
1881
1882 if (message_body_end != NULL)
1883   {
1884   store_free(message_body_end);
1885   message_body_end = NULL;
1886   }
1887
1888 /* Warning log messages are also saved in malloc store. They are saved to avoid
1889 repetition in the same message, but it seems right to repeat them for different
1890 messages. */
1891
1892 while (acl_warn_logged != NULL)
1893   {
1894   string_item *this = acl_warn_logged;
1895   acl_warn_logged = acl_warn_logged->next;
1896   store_free(this);
1897   }
1898 }
1899
1900
1901
1902
1903
1904 /*************************************************
1905 *  Initialize for incoming batched SMTP message  *
1906 *************************************************/
1907
1908 /* This function is called from smtp_setup_msg() in the case when
1909 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1910 of messages in one file with SMTP commands between them. All errors must be
1911 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1912 relevant. After an error on a sender, or an invalid recipient, the remainder
1913 of the message is skipped. The value of received_protocol is already set.
1914
1915 Argument: none
1916 Returns:  > 0 message successfully started (reached DATA)
1917           = 0 QUIT read or end of file reached
1918           < 0 should not occur
1919 */
1920
1921 static int
1922 smtp_setup_batch_msg(void)
1923 {
1924 int done = 0;
1925 void *reset_point = store_get(0);
1926
1927 /* Save the line count at the start of each transaction - single commands
1928 like HELO and RSET count as whole transactions. */
1929
1930 bsmtp_transaction_linecount = receive_linecount;
1931
1932 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1933
1934 smtp_reset(reset_point);                /* Reset for start of message */
1935
1936 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1937 value. The values are 2 larger than the required yield of the function. */
1938
1939 while (done <= 0)
1940   {
1941   uschar *errmess;
1942   uschar *recipient = NULL;
1943   int start, end, sender_domain, recipient_domain;
1944
1945   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1946     {
1947     /* The HELO/EHLO commands set sender_address_helo if they have
1948     valid data; otherwise they are ignored, except that they do
1949     a reset of the state. */
1950
1951     case HELO_CMD:
1952     case EHLO_CMD:
1953
1954     check_helo(smtp_cmd_data);
1955     /* Fall through */
1956
1957     case RSET_CMD:
1958     smtp_reset(reset_point);
1959     bsmtp_transaction_linecount = receive_linecount;
1960     break;
1961
1962
1963     /* The MAIL FROM command requires an address as an operand. All we
1964     do here is to parse it for syntactic correctness. The form "<>" is
1965     a special case which converts into an empty string. The start/end
1966     pointers in the original are not used further for this address, as
1967     it is the canonical extracted address which is all that is kept. */
1968
1969     case MAIL_CMD:
1970     smtp_mailcmd_count++;              /* Count for no-mail log */
1971     if (sender_address != NULL)
1972       /* The function moan_smtp_batch() does not return. */
1973       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1974
1975     if (smtp_cmd_data[0] == 0)
1976       /* The function moan_smtp_batch() does not return. */
1977       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1978
1979     /* Reset to start of message */
1980
1981     smtp_reset(reset_point);
1982
1983     /* Apply SMTP rewrite */
1984
1985     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1986       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1987         US"", global_rewrite_rules) : smtp_cmd_data;
1988
1989     /* Extract the address; the TRUE flag allows <> as valid */
1990
1991     raw_sender =
1992       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1993         TRUE);
1994
1995     if (raw_sender == NULL)
1996       /* The function moan_smtp_batch() does not return. */
1997       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1998
1999     sender_address = string_copy(raw_sender);
2000
2001     /* Qualify unqualified sender addresses if permitted to do so. */
2002
2003     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
2004       {
2005       if (allow_unqualified_sender)
2006         {
2007         sender_address = rewrite_address_qualify(sender_address, FALSE);
2008         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2009           "and rewritten\n", raw_sender);
2010         }
2011       /* The function moan_smtp_batch() does not return. */
2012       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2013         "a domain");
2014       }
2015     break;
2016
2017
2018     /* The RCPT TO command requires an address as an operand. All we do
2019     here is to parse it for syntactic correctness. There may be any number
2020     of RCPT TO commands, specifying multiple senders. We build them all into
2021     a data structure that is in argc/argv format. The start/end values
2022     given by parse_extract_address are not used, as we keep only the
2023     extracted address. */
2024
2025     case RCPT_CMD:
2026     if (sender_address == NULL)
2027       /* The function moan_smtp_batch() does not return. */
2028       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2029
2030     if (smtp_cmd_data[0] == 0)
2031       /* The function moan_smtp_batch() does not return. */
2032       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
2033
2034     /* Check maximum number allowed */
2035
2036     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2037       /* The function moan_smtp_batch() does not return. */
2038       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2039         recipients_max_reject? "552": "452");
2040
2041     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2042     recipient address */
2043
2044     recipient = rewrite_existflags & rewrite_smtp
2045       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2046                     global_rewrite_rules)
2047       : smtp_cmd_data;
2048
2049     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2050       &recipient_domain, FALSE);
2051
2052     if (!recipient)
2053       /* The function moan_smtp_batch() does not return. */
2054       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2055
2056     /* If the recipient address is unqualified, qualify it if permitted. Then
2057     add it to the list of recipients. */
2058
2059     if (recipient_domain == 0)
2060       {
2061       if (allow_unqualified_recipient)
2062         {
2063         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2064           recipient);
2065         recipient = rewrite_address_qualify(recipient, TRUE);
2066         }
2067       /* The function moan_smtp_batch() does not return. */
2068       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
2069         "a domain");
2070       }
2071     receive_add_recipient(recipient, -1);
2072     break;
2073
2074
2075     /* The DATA command is legal only if it follows successful MAIL FROM
2076     and RCPT TO commands. This function is complete when a valid DATA
2077     command is encountered. */
2078
2079     case DATA_CMD:
2080     if (sender_address == NULL || recipients_count <= 0)
2081       {
2082       /* The function moan_smtp_batch() does not return. */
2083       if (sender_address == NULL)
2084         moan_smtp_batch(smtp_cmd_buffer,
2085           "503 MAIL FROM:<sender> command must precede DATA");
2086       else
2087         moan_smtp_batch(smtp_cmd_buffer,
2088           "503 RCPT TO:<recipient> must precede DATA");
2089       }
2090     else
2091       {
2092       done = 3;                      /* DATA successfully achieved */
2093       message_ended = END_NOTENDED;  /* Indicate in middle of message */
2094       }
2095     break;
2096
2097
2098     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2099
2100     case VRFY_CMD:
2101     case EXPN_CMD:
2102     case HELP_CMD:
2103     case NOOP_CMD:
2104     case ETRN_CMD:
2105     bsmtp_transaction_linecount = receive_linecount;
2106     break;
2107
2108
2109     case EOF_CMD:
2110     case QUIT_CMD:
2111     done = 2;
2112     break;
2113
2114
2115     case BADARG_CMD:
2116     /* The function moan_smtp_batch() does not return. */
2117     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2118     break;
2119
2120
2121     case BADCHAR_CMD:
2122     /* The function moan_smtp_batch() does not return. */
2123     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2124     break;
2125
2126
2127     default:
2128     /* The function moan_smtp_batch() does not return. */
2129     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2130     break;
2131     }
2132   }
2133
2134 return done - 2;  /* Convert yield values */
2135 }
2136
2137
2138
2139
2140 /*************************************************
2141 *          Start an SMTP session                 *
2142 *************************************************/
2143
2144 /* This function is called at the start of an SMTP session. Thereafter,
2145 smtp_setup_msg() is called to initiate each separate message. This
2146 function does host-specific testing, and outputs the banner line.
2147
2148 Arguments:     none
2149 Returns:       FALSE if the session can not continue; something has
2150                gone wrong, or the connection to the host is blocked
2151 */
2152
2153 BOOL
2154 smtp_start_session(void)
2155 {
2156 int size = 256;
2157 int ptr, esclen;
2158 uschar *user_msg, *log_msg;
2159 uschar *code, *esc;
2160 uschar *p, *s, *ss;
2161
2162 smtp_connection_start = time(NULL);
2163 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2164   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2165 smtp_ch_index = 0;
2166
2167 /* Default values for certain variables */
2168
2169 helo_seen = esmtp = helo_accept_junk = FALSE;
2170 smtp_mailcmd_count = 0;
2171 count_nonmail = TRUE_UNSET;
2172 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2173 smtp_delay_mail = smtp_rlm_base;
2174 auth_advertised = FALSE;
2175 pipelining_advertised = FALSE;
2176 pipelining_enable = TRUE;
2177 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2178 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2179
2180 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2181 authentication settings from -oMaa to remain in force. */
2182
2183 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2184 authenticated_by = NULL;
2185
2186 #ifdef SUPPORT_TLS
2187 tls_in.cipher = tls_in.peerdn = NULL;
2188 tls_in.ourcert = tls_in.peercert = NULL;
2189 tls_in.sni = NULL;
2190 tls_in.ocsp = OCSP_NOT_REQ;
2191 tls_advertised = FALSE;
2192 #endif
2193 dsn_advertised = FALSE;
2194 #ifdef SUPPORT_I18N
2195 smtputf8_advertised = FALSE;
2196 #endif
2197
2198 /* Reset ACL connection variables */
2199
2200 acl_var_c = NULL;
2201
2202 /* Allow for trailing 0 in the command and data buffers. */
2203
2204 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2205   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2206     "malloc() failed for SMTP command buffer");
2207
2208 smtp_cmd_buffer[0] = 0;
2209 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2210
2211 /* For batched input, the protocol setting can be overridden from the
2212 command line by a trusted caller. */
2213
2214 if (smtp_batched_input)
2215   {
2216   if (!received_protocol) received_protocol = US"local-bsmtp";
2217   }
2218
2219 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2220 reset later if any of EHLO/AUTH/STARTTLS are received. */
2221
2222 else
2223   received_protocol =
2224     (sender_host_address ? protocols : protocols_local) [pnormal];
2225
2226 /* Set up the buffer for inputting using direct read() calls, and arrange to
2227 call the local functions instead of the standard C ones. */
2228
2229 if (!(smtp_inbuffer = (uschar *)malloc(IN_BUFFER_SIZE)))
2230   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2231
2232 receive_getc = smtp_getc;
2233 receive_get_cache = smtp_get_cache;
2234 receive_ungetc = smtp_ungetc;
2235 receive_feof = smtp_feof;
2236 receive_ferror = smtp_ferror;
2237 receive_smtp_buffered = smtp_buffered;
2238 smtp_inptr = smtp_inend = smtp_inbuffer;
2239 smtp_had_eof = smtp_had_error = 0;
2240
2241 /* Set up the message size limit; this may be host-specific */
2242
2243 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2244 if (expand_string_message != NULL)
2245   {
2246   if (thismessage_size_limit == -1)
2247     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2248       "%s", expand_string_message);
2249   else
2250     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2251       "%s", expand_string_message);
2252   smtp_closedown(US"Temporary local problem - please try later");
2253   return FALSE;
2254   }
2255
2256 /* When a message is input locally via the -bs or -bS options, sender_host_
2257 unknown is set unless -oMa was used to force an IP address, in which case it
2258 is checked like a real remote connection. When -bs is used from inetd, this
2259 flag is not set, causing the sending host to be checked. The code that deals
2260 with IP source routing (if configured) is never required for -bs or -bS and
2261 the flag sender_host_notsocket is used to suppress it.
2262
2263 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2264 reserve for certain hosts and/or networks. */
2265
2266 if (!sender_host_unknown)
2267   {
2268   int rc;
2269   BOOL reserved_host = FALSE;
2270
2271   /* Look up IP options (source routing info) on the socket if this is not an
2272   -oMa "host", and if any are found, log them and drop the connection.
2273
2274   Linux (and others now, see below) is different to everyone else, so there
2275   has to be some conditional compilation here. Versions of Linux before 2.1.15
2276   used a structure whose name was "options". Somebody finally realized that
2277   this name was silly, and it got changed to "ip_options". I use the
2278   newer name here, but there is a fudge in the script that sets up os.h
2279   to define a macro in older Linux systems.
2280
2281   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2282   glibc 2, which has chosen ip_opts for the structure name. This is now
2283   really a glibc thing rather than a Linux thing, so the condition name
2284   has been changed to reflect this. It is relevant also to GNU/Hurd.
2285
2286   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2287   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2288   a special macro defined in the os.h file.
2289
2290   Some DGUX versions on older hardware appear not to support IP options at
2291   all, so there is now a general macro which can be set to cut out this
2292   support altogether.
2293
2294   How to do this properly in IPv6 is not yet known. */
2295
2296   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2297
2298   #ifdef GLIBC_IP_OPTIONS
2299     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2300     #define OPTSTYLE 1
2301     #else
2302     #define OPTSTYLE 2
2303     #endif
2304   #elif defined DARWIN_IP_OPTIONS
2305     #define OPTSTYLE 2
2306   #else
2307     #define OPTSTYLE 3
2308   #endif
2309
2310   if (!host_checking && !sender_host_notsocket)
2311     {
2312     #if OPTSTYLE == 1
2313     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2314     struct ip_options *ipopt = store_get(optlen);
2315     #elif OPTSTYLE == 2
2316     struct ip_opts ipoptblock;
2317     struct ip_opts *ipopt = &ipoptblock;
2318     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2319     #else
2320     struct ipoption ipoptblock;
2321     struct ipoption *ipopt = &ipoptblock;
2322     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2323     #endif
2324
2325     /* Occasional genuine failures of getsockopt() have been seen - for
2326     example, "reset by peer". Therefore, just log and give up on this
2327     call, unless the error is ENOPROTOOPT. This error is given by systems
2328     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2329     of writing. So for that error, carry on - we just can't do an IP options
2330     check. */
2331
2332     DEBUG(D_receive) debug_printf("checking for IP options\n");
2333
2334     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2335           &optlen) < 0)
2336       {
2337       if (errno != ENOPROTOOPT)
2338         {
2339         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2340           host_and_ident(FALSE), strerror(errno));
2341         smtp_printf("451 SMTP service not available\r\n");
2342         return FALSE;
2343         }
2344       }
2345
2346     /* Deal with any IP options that are set. On the systems I have looked at,
2347     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2348     more logging data than will fit in big_buffer. Nevertheless, after somebody
2349     questioned this code, I've added in some paranoid checking. */
2350
2351     else if (optlen > 0)
2352       {
2353       uschar *p = big_buffer;
2354       uschar *pend = big_buffer + big_buffer_size;
2355       uschar *opt, *adptr;
2356       int optcount;
2357       struct in_addr addr;
2358
2359       #if OPTSTYLE == 1
2360       uschar *optstart = (uschar *)(ipopt->__data);
2361       #elif OPTSTYLE == 2
2362       uschar *optstart = (uschar *)(ipopt->ip_opts);
2363       #else
2364       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2365       #endif
2366
2367       DEBUG(D_receive) debug_printf("IP options exist\n");
2368
2369       Ustrcpy(p, "IP options on incoming call:");
2370       p += Ustrlen(p);
2371
2372       for (opt = optstart; opt != NULL &&
2373            opt < (uschar *)(ipopt) + optlen;)
2374         {
2375         switch (*opt)
2376           {
2377           case IPOPT_EOL:
2378           opt = NULL;
2379           break;
2380
2381           case IPOPT_NOP:
2382           opt++;
2383           break;
2384
2385           case IPOPT_SSRR:
2386           case IPOPT_LSRR:
2387           if (!string_format(p, pend-p, " %s [@%s",
2388                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2389                #if OPTSTYLE == 1
2390                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2391                #elif OPTSTYLE == 2
2392                inet_ntoa(ipopt->ip_dst)))
2393                #else
2394                inet_ntoa(ipopt->ipopt_dst)))
2395                #endif
2396             {
2397             opt = NULL;
2398             break;
2399             }
2400
2401           p += Ustrlen(p);
2402           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2403           adptr = opt + 3;
2404           while (optcount-- > 0)
2405             {
2406             memcpy(&addr, adptr, sizeof(addr));
2407             if (!string_format(p, pend - p - 1, "%s%s",
2408                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2409               {
2410               opt = NULL;
2411               break;
2412               }
2413             p += Ustrlen(p);
2414             adptr += sizeof(struct in_addr);
2415             }
2416           *p++ = ']';
2417           opt += opt[1];
2418           break;
2419
2420           default:
2421             {
2422             int i;
2423             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2424             Ustrcat(p, "[ ");
2425             p += 2;
2426             for (i = 0; i < opt[1]; i++)
2427               {
2428               sprintf(CS p, "%2.2x ", opt[i]);
2429               p += 3;
2430               }
2431             *p++ = ']';
2432             }
2433           opt += opt[1];
2434           break;
2435           }
2436         }
2437
2438       *p = 0;
2439       log_write(0, LOG_MAIN, "%s", big_buffer);
2440
2441       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2442
2443       log_write(0, LOG_MAIN|LOG_REJECT,
2444         "connection from %s refused (IP options)", host_and_ident(FALSE));
2445
2446       smtp_printf("554 SMTP service not available\r\n");
2447       return FALSE;
2448       }
2449
2450     /* Length of options = 0 => there are no options */
2451
2452     else DEBUG(D_receive) debug_printf("no IP options found\n");
2453     }
2454   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2455
2456   /* Set keep-alive in socket options. The option is on by default. This
2457   setting is an attempt to get rid of some hanging connections that stick in
2458   read() when the remote end (usually a dialup) goes away. */
2459
2460   if (smtp_accept_keepalive && !sender_host_notsocket)
2461     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2462
2463   /* If the current host matches host_lookup, set the name by doing a
2464   reverse lookup. On failure, sender_host_name will be NULL and
2465   host_lookup_failed will be TRUE. This may or may not be serious - optional
2466   checks later. */
2467
2468   if (verify_check_host(&host_lookup) == OK)
2469     {
2470     (void)host_name_lookup();
2471     host_build_sender_fullhost();
2472     }
2473
2474   /* Delay this until we have the full name, if it is looked up. */
2475
2476   set_process_info("handling incoming connection from %s",
2477     host_and_ident(FALSE));
2478
2479   /* Expand smtp_receive_timeout, if needed */
2480
2481   if (smtp_receive_timeout_s)
2482     {
2483     uschar * exp;
2484     if (  !(exp = expand_string(smtp_receive_timeout_s))
2485        || !(*exp)
2486        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2487        )
2488       log_write(0, LOG_MAIN|LOG_PANIC,
2489         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2490     }
2491
2492   /* Test for explicit connection rejection */
2493
2494   if (verify_check_host(&host_reject_connection) == OK)
2495     {
2496     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2497       "from %s (host_reject_connection)", host_and_ident(FALSE));
2498     smtp_printf("554 SMTP service not available\r\n");
2499     return FALSE;
2500     }
2501
2502   /* Test with TCP Wrappers if so configured. There is a problem in that
2503   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2504   such as disks dying. In these cases, it is desirable to reject with a 4xx
2505   error instead of a 5xx error. There isn't a "right" way to detect such
2506   problems. The following kludge is used: errno is zeroed before calling
2507   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2508   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2509   not exist). */
2510
2511 #ifdef USE_TCP_WRAPPERS
2512   errno = 0;
2513   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2514     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2515       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2516         expand_string_message);
2517
2518   if (!hosts_ctl(tcp_wrappers_name,
2519          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2520          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2521          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2522     {
2523     if (errno == 0 || errno == ENOENT)
2524       {
2525       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2526       log_write(L_connection_reject,
2527                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2528                 "(tcp wrappers)", host_and_ident(FALSE));
2529       smtp_printf("554 SMTP service not available\r\n");
2530       }
2531     else
2532       {
2533       int save_errno = errno;
2534       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2535         "errno value %d\n", save_errno);
2536       log_write(L_connection_reject,
2537                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2538                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2539       smtp_printf("451 Temporary local problem - please try later\r\n");
2540       }
2541     return FALSE;
2542     }
2543 #endif
2544
2545   /* Check for reserved slots. The value of smtp_accept_count has already been
2546   incremented to include this process. */
2547
2548   if (smtp_accept_max > 0 &&
2549       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2550     {
2551     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2552       {
2553       log_write(L_connection_reject,
2554         LOG_MAIN, "temporarily refused connection from %s: not in "
2555         "reserve list: connected=%d max=%d reserve=%d%s",
2556         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2557         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2558       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2559         "please try again later\r\n", smtp_active_hostname);
2560       return FALSE;
2561       }
2562     reserved_host = TRUE;
2563     }
2564
2565   /* If a load level above which only messages from reserved hosts are
2566   accepted is set, check the load. For incoming calls via the daemon, the
2567   check is done in the superior process if there are no reserved hosts, to
2568   save a fork. In all cases, the load average will already be available
2569   in a global variable at this point. */
2570
2571   if (smtp_load_reserve >= 0 &&
2572        load_average > smtp_load_reserve &&
2573        !reserved_host &&
2574        verify_check_host(&smtp_reserve_hosts) != OK)
2575     {
2576     log_write(L_connection_reject,
2577       LOG_MAIN, "temporarily refused connection from %s: not in "
2578       "reserve list and load average = %.2f", host_and_ident(FALSE),
2579       (double)load_average/1000.0);
2580     smtp_printf("421 %s: Too much load; please try again later\r\n",
2581       smtp_active_hostname);
2582     return FALSE;
2583     }
2584
2585   /* Determine whether unqualified senders or recipients are permitted
2586   for this host. Unfortunately, we have to do this every time, in order to
2587   set the flags so that they can be inspected when considering qualifying
2588   addresses in the headers. For a site that permits no qualification, this
2589   won't take long, however. */
2590
2591   allow_unqualified_sender =
2592     verify_check_host(&sender_unqualified_hosts) == OK;
2593
2594   allow_unqualified_recipient =
2595     verify_check_host(&recipient_unqualified_hosts) == OK;
2596
2597   /* Determine whether HELO/EHLO is required for this host. The requirement
2598   can be hard or soft. */
2599
2600   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2601   if (!helo_required)
2602     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2603
2604   /* Determine whether this hosts is permitted to send syntactic junk
2605   after a HELO or EHLO command. */
2606
2607   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2608   }
2609
2610 /* For batch SMTP input we are now done. */
2611
2612 if (smtp_batched_input) return TRUE;
2613
2614 /* If valid Proxy Protocol source is connecting, set up session.
2615  * Failure will not allow any SMTP function other than QUIT. */
2616
2617 #ifdef SUPPORT_PROXY
2618 proxy_session = FALSE;
2619 proxy_session_failed = FALSE;
2620 if (check_proxy_protocol_host())
2621   setup_proxy_protocol_host();
2622 #endif
2623
2624   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2625   smtps port for use with older style SSL MTAs. */
2626
2627 #ifdef SUPPORT_TLS
2628   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2629     return FALSE;
2630 #endif
2631
2632 /* Run the connect ACL if it exists */
2633
2634 user_msg = NULL;
2635 if (acl_smtp_connect)
2636   {
2637   int rc;
2638   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2639                       &log_msg)) != OK)
2640     {
2641     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2642     return FALSE;
2643     }
2644   }
2645
2646 /* Output the initial message for a two-way SMTP connection. It may contain
2647 newlines, which then cause a multi-line response to be given. */
2648
2649 code = US"220";   /* Default status code */
2650 esc = US"";       /* Default extended status code */
2651 esclen = 0;       /* Length of esc */
2652
2653 if (!user_msg)
2654   {
2655   if (!(s = expand_string(smtp_banner)))
2656     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2657       "failed: %s", smtp_banner, expand_string_message);
2658   }
2659 else
2660   {
2661   int codelen = 3;
2662   s = user_msg;
2663   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2664   if (codelen > 4)
2665     {
2666     esc = code + 4;
2667     esclen = codelen - 4;
2668     }
2669   }
2670
2671 /* Remove any terminating newlines; might as well remove trailing space too */
2672
2673 p = s + Ustrlen(s);
2674 while (p > s && isspace(p[-1])) p--;
2675 *p = 0;
2676
2677 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2678 is all contained in a single IP packet. The original code wrote out the
2679 greeting using several calls to fprint/fputc, and on busy servers this could
2680 cause it to be split over more than one packet - which caused CC:Mail to fall
2681 over when it got the second part of the greeting after sending its first
2682 command. Sigh. To try to avoid this, build the complete greeting message
2683 first, and output it in one fell swoop. This gives a better chance of it
2684 ending up as a single packet. */
2685
2686 ss = store_get(size);
2687 ptr = 0;
2688
2689 p = s;
2690 do       /* At least once, in case we have an empty string */
2691   {
2692   int len;
2693   uschar *linebreak = Ustrchr(p, '\n');
2694   ss = string_catn(ss, &size, &ptr, code, 3);
2695   if (linebreak == NULL)
2696     {
2697     len = Ustrlen(p);
2698     ss = string_catn(ss, &size, &ptr, US" ", 1);
2699     }
2700   else
2701     {
2702     len = linebreak - p;
2703     ss = string_catn(ss, &size, &ptr, US"-", 1);
2704     }
2705   ss = string_catn(ss, &size, &ptr, esc, esclen);
2706   ss = string_catn(ss, &size, &ptr, p, len);
2707   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2708   p += len;
2709   if (linebreak != NULL) p++;
2710   }
2711 while (*p != 0);
2712
2713 ss[ptr] = 0;  /* string_cat leaves room for this */
2714
2715 /* Before we write the banner, check that there is no input pending, unless
2716 this synchronisation check is disabled. */
2717
2718 if (!check_sync())
2719   {
2720   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2721     "synchronization error (input sent without waiting for greeting): "
2722     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2723     string_printing(smtp_inptr));
2724   smtp_printf("554 SMTP synchronization error\r\n");
2725   return FALSE;
2726   }
2727
2728 /* Now output the banner */
2729
2730 smtp_printf("%s", ss);
2731 return TRUE;
2732 }
2733
2734
2735
2736
2737
2738 /*************************************************
2739 *     Handle SMTP syntax and protocol errors     *
2740 *************************************************/
2741
2742 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2743 to do so. Then transmit the error response. The return value depends on the
2744 number of syntax and protocol errors in this SMTP session.
2745
2746 Arguments:
2747   type      error type, given as a log flag bit
2748   code      response code; <= 0 means don't send a response
2749   data      data to reflect in the response (can be NULL)
2750   errmess   the error message
2751
2752 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2753             +1   limit of syntax/protocol errors IS exceeded
2754
2755 These values fit in with the values of the "done" variable in the main
2756 processing loop in smtp_setup_msg(). */
2757
2758 static int
2759 synprot_error(int type, int code, uschar *data, uschar *errmess)
2760 {
2761 int yield = -1;
2762
2763 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2764   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2765   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2766
2767 if (++synprot_error_count > smtp_max_synprot_errors)
2768   {
2769   yield = 1;
2770   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2771     "syntax or protocol errors (last command was \"%s\")",
2772     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2773   }
2774
2775 if (code > 0)
2776   {
2777   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2778     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2779   if (yield == 1)
2780     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2781   }
2782
2783 return yield;
2784 }
2785
2786
2787
2788
2789 /*************************************************
2790 *    Send SMTP response, possibly multiline      *
2791 *************************************************/
2792
2793 /* There are, it seems, broken clients out there that cannot handle multiline
2794 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2795 output nothing for non-final calls, and only the first line for anything else.
2796
2797 Arguments:
2798   code          SMTP code, may involve extended status codes
2799   codelen       length of smtp code; if > 4 there's an ESC
2800   final         FALSE if the last line isn't the final line
2801   msg           message text, possibly containing newlines
2802
2803 Returns:        nothing
2804 */
2805
2806 void
2807 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2808 {
2809 int esclen = 0;
2810 uschar *esc = US"";
2811
2812 if (!final && no_multiline_responses) return;
2813
2814 if (codelen > 4)
2815   {
2816   esc = code + 4;
2817   esclen = codelen - 4;
2818   }
2819
2820 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2821 have had the same. Note: this code is also present in smtp_printf(). It would
2822 be tidier to have it only in one place, but when it was added, it was easier to
2823 do it that way, so as not to have to mess with the code for the RCPT command,
2824 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2825
2826 if (rcpt_in_progress)
2827   {
2828   if (rcpt_smtp_response == NULL)
2829     rcpt_smtp_response = string_copy(msg);
2830   else if (rcpt_smtp_response_same &&
2831            Ustrcmp(rcpt_smtp_response, msg) != 0)
2832     rcpt_smtp_response_same = FALSE;
2833   rcpt_in_progress = FALSE;
2834   }
2835
2836 /* Not output the message, splitting it up into multiple lines if necessary. */
2837
2838 for (;;)
2839   {
2840   uschar *nl = Ustrchr(msg, '\n');
2841   if (nl == NULL)
2842     {
2843     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2844     return;
2845     }
2846   else if (nl[1] == 0 || no_multiline_responses)
2847     {
2848     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2849       (int)(nl - msg), msg);
2850     return;
2851     }
2852   else
2853     {
2854     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2855     msg = nl + 1;
2856     while (isspace(*msg)) msg++;
2857     }
2858   }
2859 }
2860
2861
2862
2863
2864 /*************************************************
2865 *            Parse user SMTP message             *
2866 *************************************************/
2867
2868 /* This function allows for user messages overriding the response code details
2869 by providing a suitable response code string at the start of the message
2870 user_msg. Check the message for starting with a response code and optionally an
2871 extended status code. If found, check that the first digit is valid, and if so,
2872 change the code pointer and length to use the replacement. An invalid code
2873 causes a panic log; in this case, if the log messages is the same as the user
2874 message, we must also adjust the value of the log message to show the code that
2875 is actually going to be used (the original one).
2876
2877 This function is global because it is called from receive.c as well as within
2878 this module.
2879
2880 Note that the code length returned includes the terminating whitespace
2881 character, which is always included in the regex match.
2882
2883 Arguments:
2884   code          SMTP code, may involve extended status codes
2885   codelen       length of smtp code; if > 4 there's an ESC
2886   msg           message text
2887   log_msg       optional log message, to be adjusted with the new SMTP code
2888   check_valid   if true, verify the response code
2889
2890 Returns:        nothing
2891 */
2892
2893 void
2894 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2895   BOOL check_valid)
2896 {
2897 int n;
2898 int ovector[3];
2899
2900 if (!msg || !*msg) return;
2901
2902 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2903   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2904
2905 if (check_valid && (*msg)[0] != (*code)[0])
2906   {
2907   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2908     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2909   if (log_msg != NULL && *log_msg == *msg)
2910     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2911   }
2912 else
2913   {
2914   *code = *msg;
2915   *codelen = ovector[1];    /* Includes final space */
2916   }
2917 *msg += ovector[1];         /* Chop the code off the message */
2918 return;
2919 }
2920
2921
2922
2923
2924 /*************************************************
2925 *           Handle an ACL failure                *
2926 *************************************************/
2927
2928 /* This function is called when acl_check() fails. As well as calls from within
2929 this module, it is called from receive.c for an ACL after DATA. It sorts out
2930 logging the incident, and sets up the error response. A message containing
2931 newlines is turned into a multiline SMTP response, but for logging, only the
2932 first line is used.
2933
2934 There's a table of default permanent failure response codes to use in
2935 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2936 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2937 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2938 state, because there are broken clients that try VRFY before RCPT. A 5xx
2939 response should be given only when the address is positively known to be
2940 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2941 no explicit code, but if there is one we let it know best.
2942 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2943
2944 From Exim 4.63, it is possible to override the response code details by
2945 providing a suitable response code string at the start of the message provided
2946 in user_msg. The code's first digit is checked for validity.
2947
2948 Arguments:
2949   where        where the ACL was called from
2950   rc           the failure code
2951   user_msg     a message that can be included in an SMTP response
2952   log_msg      a message for logging
2953
2954 Returns:     0 in most cases
2955              2 if the failure code was FAIL_DROP, in which case the
2956                SMTP connection should be dropped (this value fits with the
2957                "done" variable in smtp_setup_msg() below)
2958 */
2959
2960 int
2961 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2962 {
2963 BOOL drop = rc == FAIL_DROP;
2964 int codelen = 3;
2965 uschar *smtp_code;
2966 uschar *lognl;
2967 uschar *sender_info = US"";
2968 uschar *what =
2969 #ifdef WITH_CONTENT_SCAN
2970   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
2971 #endif
2972   where == ACL_WHERE_PREDATA ? US"DATA" :
2973   where == ACL_WHERE_DATA ? US"after DATA" :
2974 #ifndef DISABLE_PRDR
2975   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
2976 #endif
2977   smtp_cmd_data ?
2978     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
2979     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
2980
2981 if (drop) rc = FAIL;
2982
2983 /* Set the default SMTP code, and allow a user message to change it. */
2984
2985 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2986 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2987   where != ACL_WHERE_VRFY);
2988
2989 /* We used to have sender_address here; however, there was a bug that was not
2990 updating sender_address after a rewrite during a verify. When this bug was
2991 fixed, sender_address at this point became the rewritten address. I'm not sure
2992 this is what should be logged, so I've changed to logging the unrewritten
2993 address to retain backward compatibility. */
2994
2995 #ifndef WITH_CONTENT_SCAN
2996 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2997 #else
2998 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2999 #endif
3000   {
3001   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3002     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3003     sender_host_authenticated ? US" A="                                    : US"",
3004     sender_host_authenticated ? sender_host_authenticated                  : US"",
3005     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3006     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3007     );
3008   }
3009
3010 /* If there's been a sender verification failure with a specific message, and
3011 we have not sent a response about it yet, do so now, as a preliminary line for
3012 failures, but not defers. However, always log it for defer, and log it for fail
3013 unless the sender_verify_fail log selector has been turned off. */
3014
3015 if (sender_verified_failed &&
3016     !testflag(sender_verified_failed, af_sverify_told))
3017   {
3018   BOOL save_rcpt_in_progress = rcpt_in_progress;
3019   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3020
3021   setflag(sender_verified_failed, af_sverify_told);
3022
3023   if (rc != FAIL || LOGGING(sender_verify_fail))
3024     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3025       host_and_ident(TRUE),
3026       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3027       sender_verified_failed->address,
3028       (sender_verified_failed->message == NULL)? US"" :
3029       string_sprintf(": %s", sender_verified_failed->message));
3030
3031   if (rc == FAIL && sender_verified_failed->user_message)
3032     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3033         testflag(sender_verified_failed, af_verify_pmfail)?
3034           "Postmaster verification failed while checking <%s>\n%s\n"
3035           "Several RFCs state that you are required to have a postmaster\n"
3036           "mailbox for each mail domain. This host does not accept mail\n"
3037           "from domains whose servers reject the postmaster address."
3038           :
3039         testflag(sender_verified_failed, af_verify_nsfail)?
3040           "Callback setup failed while verifying <%s>\n%s\n"
3041           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3042           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3043           "RFC requirements, and stops you from receiving standard bounce\n"
3044           "messages. This host does not accept mail from domains whose servers\n"
3045           "refuse bounces."
3046           :
3047           "Verification failed for <%s>\n%s",
3048         sender_verified_failed->address,
3049         sender_verified_failed->user_message));
3050
3051   rcpt_in_progress = save_rcpt_in_progress;
3052   }
3053
3054 /* Sort out text for logging */
3055
3056 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3057 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3058
3059 /* Send permanent failure response to the command, but the code used isn't
3060 always a 5xx one - see comments at the start of this function. If the original
3061 rc was FAIL_DROP we drop the connection and yield 2. */
3062
3063 if (rc == FAIL)
3064   smtp_respond(smtp_code, codelen, TRUE,
3065     user_msg ? user_msg : US"Administrative prohibition");
3066
3067 /* Send temporary failure response to the command. Don't give any details,
3068 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3069 verb, and for a header verify when smtp_return_error_details is set.
3070
3071 This conditional logic is all somewhat of a mess because of the odd
3072 interactions between temp_details and return_error_details. One day it should
3073 be re-implemented in a tidier fashion. */
3074
3075 else
3076   if (acl_temp_details && user_msg)
3077     {
3078     if (  smtp_return_error_details
3079        && sender_verified_failed
3080        && sender_verified_failed->message
3081        )
3082       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3083
3084     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3085     }
3086   else
3087     smtp_respond(smtp_code, codelen, TRUE,
3088       US"Temporary local problem - please try later");
3089
3090 /* Log the incident to the logs that are specified by log_reject_target
3091 (default main, reject). This can be empty to suppress logging of rejections. If
3092 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3093 is closing if required and return 2.  */
3094
3095 if (log_reject_target != 0)
3096   {
3097 #ifdef SUPPORT_TLS
3098   uschar * tls = s_tlslog(NULL, NULL, NULL);
3099   if (!tls) tls = US"";
3100 #else
3101   uschar * tls = US"";
3102 #endif
3103   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3104     log_reject_target, "%s%s%s %s%srejected %s%s",
3105     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3106     host_and_ident(TRUE),
3107     tls,
3108     sender_info,
3109     rc == FAIL ? US"" : US"temporarily ",
3110     what, log_msg);
3111   }
3112
3113 if (!drop) return 0;
3114
3115 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3116   smtp_get_connection_info());
3117
3118 /* Run the not-quit ACL, but without any custom messages. This should not be a
3119 problem, because we get here only if some other ACL has issued "drop", and
3120 in that case, *its* custom messages will have been used above. */
3121
3122 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3123 return 2;
3124 }
3125
3126
3127
3128
3129 /*************************************************
3130 *     Handle SMTP exit when QUIT is not given    *
3131 *************************************************/
3132
3133 /* This function provides a logging/statistics hook for when an SMTP connection
3134 is dropped on the floor or the other end goes away. It's a global function
3135 because it's called from receive.c as well as this module. As well as running
3136 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3137 response, either with a custom message from the ACL, or using a default. There
3138 is one case, however, when no message is output - after "drop". In that case,
3139 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3140 passed to this function.
3141
3142 In case things go wrong while processing this function, causing an error that
3143 may re-enter this function, there is a recursion check.
3144
3145 Arguments:
3146   reason          What $smtp_notquit_reason will be set to in the ACL;
3147                     if NULL, the ACL is not run
3148   code            The error code to return as part of the response
3149   defaultrespond  The default message if there's no user_msg
3150
3151 Returns:          Nothing
3152 */
3153
3154 void
3155 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3156 {
3157 int rc;
3158 uschar *user_msg = NULL;
3159 uschar *log_msg = NULL;
3160
3161 /* Check for recursive acll */
3162
3163 if (smtp_exit_function_called)
3164   {
3165   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3166     reason);
3167   return;
3168   }
3169 smtp_exit_function_called = TRUE;
3170
3171 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3172
3173 if (acl_smtp_notquit && reason)
3174   {
3175   smtp_notquit_reason = reason;
3176   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3177                       &log_msg)) == ERROR)
3178     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3179       log_msg);
3180   }
3181
3182 /* Write an SMTP response if we are expected to give one. As the default
3183 responses are all internal, they should always fit in the buffer, but code a
3184 warning, just in case. Note that string_vformat() still leaves a complete
3185 string, even if it is incomplete. */
3186
3187 if (code && defaultrespond)
3188   {
3189   if (user_msg)
3190     smtp_respond(code, 3, TRUE, user_msg);
3191   else
3192     {
3193     uschar buffer[128];
3194     va_list ap;
3195     va_start(ap, defaultrespond);
3196     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3197       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3198     smtp_printf("%s %s\r\n", code, buffer);
3199     va_end(ap);
3200     }
3201   mac_smtp_fflush();
3202   }
3203 }
3204
3205
3206
3207
3208 /*************************************************
3209 *             Verify HELO argument               *
3210 *************************************************/
3211
3212 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3213 matched. It is also called from ACL processing if verify = helo is used and
3214 verification was not previously tried (i.e. helo_try_verify_hosts was not
3215 matched). The result of its processing is to set helo_verified and
3216 helo_verify_failed. These variables should both be FALSE for this function to
3217 be called.
3218
3219 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3220 for IPv6 ::ffff: literals.
3221
3222 Argument:   none
3223 Returns:    TRUE if testing was completed;
3224             FALSE on a temporary failure
3225 */
3226
3227 BOOL
3228 smtp_verify_helo(void)
3229 {
3230 BOOL yield = TRUE;
3231
3232 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3233   sender_helo_name);
3234
3235 if (sender_helo_name == NULL)
3236   {
3237   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3238   }
3239
3240 /* Deal with the case of -bs without an IP address */
3241
3242 else if (sender_host_address == NULL)
3243   {
3244   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3245   helo_verified = TRUE;
3246   }
3247
3248 /* Deal with the more common case when there is a sending IP address */
3249
3250 else if (sender_helo_name[0] == '[')
3251   {
3252   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3253     Ustrlen(sender_host_address)) == 0;
3254
3255   #if HAVE_IPV6
3256   if (!helo_verified)
3257     {
3258     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3259       helo_verified = Ustrncmp(sender_helo_name + 1,
3260         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3261     }
3262   #endif
3263
3264   HDEBUG(D_receive)
3265     { if (helo_verified) debug_printf("matched host address\n"); }
3266   }
3267
3268 /* Do a reverse lookup if one hasn't already given a positive or negative
3269 response. If that fails, or the name doesn't match, try checking with a forward
3270 lookup. */
3271
3272 else
3273   {
3274   if (sender_host_name == NULL && !host_lookup_failed)
3275     yield = host_name_lookup() != DEFER;
3276
3277   /* If a host name is known, check it and all its aliases. */
3278
3279   if (sender_host_name)
3280     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3281       {
3282       sender_helo_dnssec = sender_host_dnssec;
3283       HDEBUG(D_receive) debug_printf("matched host name\n");
3284       }
3285     else
3286       {
3287       uschar **aliases = sender_host_aliases;
3288       while (*aliases)
3289         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3290           {
3291           sender_helo_dnssec = sender_host_dnssec;
3292           break;
3293           }
3294
3295       HDEBUG(D_receive) if (helo_verified)
3296           debug_printf("matched alias %s\n", *(--aliases));
3297       }
3298
3299   /* Final attempt: try a forward lookup of the helo name */
3300
3301   if (!helo_verified)
3302     {
3303     int rc;
3304     host_item h;
3305     dnssec_domains d;
3306     host_item *hh;
3307
3308     h.name = sender_helo_name;
3309     h.address = NULL;
3310     h.mx = MX_NONE;
3311     h.next = NULL;
3312     d.request = US"*";
3313     d.require = US"";
3314
3315     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3316       sender_helo_name);
3317     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3318                           NULL, NULL, NULL, &d, NULL, NULL);
3319     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3320       for (hh = &h; hh; hh = hh->next)
3321         if (Ustrcmp(hh->address, sender_host_address) == 0)
3322           {
3323           helo_verified = TRUE;
3324           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3325           HDEBUG(D_receive)
3326             {
3327             debug_printf("IP address for %s matches calling address\n"
3328               "Forward DNS security status: %sverified\n",
3329               sender_helo_name, sender_helo_dnssec ? "" : "un");
3330             }
3331           break;
3332           }
3333     }
3334   }
3335
3336 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3337 return yield;
3338 }
3339
3340
3341
3342
3343 /*************************************************
3344 *        Send user response message              *
3345 *************************************************/
3346
3347 /* This function is passed a default response code and a user message. It calls
3348 smtp_message_code() to check and possibly modify the response code, and then
3349 calls smtp_respond() to transmit the response. I put this into a function
3350 just to avoid a lot of repetition.
3351
3352 Arguments:
3353   code         the response code
3354   user_msg     the user message
3355
3356 Returns:       nothing
3357 */
3358
3359 static void
3360 smtp_user_msg(uschar *code, uschar *user_msg)
3361 {
3362 int len = 3;
3363 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3364 smtp_respond(code, len, TRUE, user_msg);
3365 }
3366
3367
3368
3369 static int
3370 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3371 {
3372 const uschar *set_id = NULL;
3373 int rc, i;
3374
3375 /* Run the checking code, passing the remainder of the command line as
3376 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3377 it as the only set numerical variable. The authenticator may set $auth<n>
3378 and also set other numeric variables. The $auth<n> variables are preferred
3379 nowadays; the numerical variables remain for backwards compatibility.
3380
3381 Afterwards, have a go at expanding the set_id string, even if
3382 authentication failed - for bad passwords it can be useful to log the
3383 userid. On success, require set_id to expand and exist, and put it in
3384 authenticated_id. Save this in permanent store, as the working store gets
3385 reset at HELO, RSET, etc. */
3386
3387 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3388 expand_nmax = 0;
3389 expand_nlength[0] = 0;   /* $0 contains nothing */
3390
3391 rc = (au->info->servercode)(au, smtp_cmd_data);
3392 if (au->set_id) set_id = expand_string(au->set_id);
3393 expand_nmax = -1;        /* Reset numeric variables */
3394 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3395
3396 /* The value of authenticated_id is stored in the spool file and printed in
3397 log lines. It must not contain binary zeros or newline characters. In
3398 normal use, it never will, but when playing around or testing, this error
3399 can (did) happen. To guard against this, ensure that the id contains only
3400 printing characters. */
3401
3402 if (set_id) set_id = string_printing(set_id);
3403
3404 /* For the non-OK cases, set up additional logging data if set_id
3405 is not empty. */
3406
3407 if (rc != OK)
3408   set_id = set_id && *set_id
3409     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3410
3411 /* Switch on the result */
3412
3413 switch(rc)
3414   {
3415   case OK:
3416   if (!au->set_id || set_id)    /* Complete success */
3417     {
3418     if (set_id) authenticated_id = string_copy_malloc(set_id);
3419     sender_host_authenticated = au->name;
3420     authentication_failed = FALSE;
3421     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3422
3423     received_protocol =
3424       (sender_host_address ? protocols : protocols_local)
3425         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3426     *s = *ss = US"235 Authentication succeeded";
3427     authenticated_by = au;
3428     break;
3429     }
3430
3431   /* Authentication succeeded, but we failed to expand the set_id string.
3432   Treat this as a temporary error. */
3433
3434   auth_defer_msg = expand_string_message;
3435   /* Fall through */
3436
3437   case DEFER:
3438   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3439   *s = string_sprintf("435 Unable to authenticate at present%s",
3440     auth_defer_user_msg);
3441   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3442     set_id, auth_defer_msg);
3443   break;
3444
3445   case BAD64:
3446   *s = *ss = US"501 Invalid base64 data";
3447   break;
3448
3449   case CANCELLED:
3450   *s = *ss = US"501 Authentication cancelled";
3451   break;
3452
3453   case UNEXPECTED:
3454   *s = *ss = US"553 Initial data not expected";
3455   break;
3456
3457   case FAIL:
3458   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3459   *s = US"535 Incorrect authentication data";
3460   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3461   break;
3462
3463   default:
3464   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3465   *s = US"435 Internal error";
3466   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3467     "check", set_id, rc);
3468   break;
3469   }
3470
3471 return rc;
3472 }
3473
3474
3475
3476
3477
3478 static int
3479 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3480 {
3481 int rd;
3482 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3483   {
3484   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3485     *recipient);
3486   rd = Ustrlen(recipient) + 1;
3487   *recipient = rewrite_address_qualify(*recipient, TRUE);
3488   return rd;
3489   }
3490 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3491   smtp_cmd_data);
3492 log_write(L_smtp_syntax_error,
3493   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3494   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3495 return 0;
3496 }
3497
3498
3499
3500
3501 static void
3502 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3503 {
3504 HAD(SCH_QUIT);
3505 incomplete_transaction_log(US"QUIT");
3506 if (acl_smtp_quit)
3507   {
3508   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3509   if (rc == ERROR)
3510     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3511       *log_msgp);
3512   }
3513 if (*user_msgp)
3514   smtp_respond(US"221", 3, TRUE, *user_msgp);
3515 else
3516   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3517
3518 #ifdef SUPPORT_TLS
3519 tls_close(TRUE, TRUE);
3520 #endif
3521
3522 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3523   smtp_get_connection_info());
3524 }
3525
3526
3527 static void
3528 smtp_rset_handler(void)
3529 {
3530 HAD(SCH_RSET);
3531 incomplete_transaction_log(US"RSET");
3532 smtp_printf("250 Reset OK\r\n");
3533 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3534 }
3535
3536
3537
3538 /*************************************************
3539 *       Initialize for SMTP incoming message     *
3540 *************************************************/
3541
3542 /* This function conducts the initial dialogue at the start of an incoming SMTP
3543 message, and builds a list of recipients. However, if the incoming message
3544 is part of a batch (-bS option) a separate function is called since it would
3545 be messy having tests splattered about all over this function. This function
3546 therefore handles the case where interaction is occurring. The input and output
3547 files are set up in smtp_in and smtp_out.
3548
3549 The global recipients_list is set to point to a vector of recipient_item
3550 blocks, whose number is given by recipients_count. This is extended by the
3551 receive_add_recipient() function. The global variable sender_address is set to
3552 the sender's address. The yield is +1 if a message has been successfully
3553 started, 0 if a QUIT command was encountered or the connection was refused from
3554 the particular host, or -1 if the connection was lost.
3555
3556 Argument: none
3557
3558 Returns:  > 0 message successfully started (reached DATA)
3559           = 0 QUIT read or end of file reached or call refused
3560           < 0 lost connection
3561 */
3562
3563 int
3564 smtp_setup_msg(void)
3565 {
3566 int done = 0;
3567 BOOL toomany = FALSE;
3568 BOOL discarded = FALSE;
3569 BOOL last_was_rej_mail = FALSE;
3570 BOOL last_was_rcpt = FALSE;
3571 void *reset_point = store_get(0);
3572
3573 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3574
3575 /* Reset for start of new message. We allow one RSET not to be counted as a
3576 nonmail command, for those MTAs that insist on sending it between every
3577 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3578 TLS between messages (an Exim client may do this if it has messages queued up
3579 for the host). Note: we do NOT reset AUTH at this point. */
3580
3581 smtp_reset(reset_point);
3582 message_ended = END_NOTSTARTED;
3583
3584 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3585
3586 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3587 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3588 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3589 #ifdef SUPPORT_TLS
3590 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3591 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3592 #endif
3593
3594 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3595
3596 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3597
3598 /* Batched SMTP is handled in a different function. */
3599
3600 if (smtp_batched_input) return smtp_setup_batch_msg();
3601
3602 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3603 value. The values are 2 larger than the required yield of the function. */
3604
3605 while (done <= 0)
3606   {
3607   const uschar **argv;
3608   uschar *etrn_command;
3609   uschar *etrn_serialize_key;
3610   uschar *errmess;
3611   uschar *log_msg, *smtp_code;
3612   uschar *user_msg = NULL;
3613   uschar *recipient = NULL;
3614   uschar *hello = NULL;
3615   uschar *s, *ss;
3616   BOOL was_rej_mail = FALSE;
3617   BOOL was_rcpt = FALSE;
3618   void (*oldsignal)(int);
3619   pid_t pid;
3620   int start, end, sender_domain, recipient_domain;
3621   int ptr, size, rc;
3622   int c;
3623   auth_instance *au;
3624   uschar *orcpt = NULL;
3625   int flags;
3626
3627 #ifdef AUTH_TLS
3628   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3629   if (  tls_in.active >= 0
3630      && tls_in.peercert
3631      && tls_in.certificate_verified
3632      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3633      )
3634     {
3635     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3636     if (  acl_smtp_auth
3637        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3638                   &user_msg, &log_msg)) != OK
3639        )
3640       {
3641       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3642       continue;
3643       }
3644
3645     for (au = auths; au; au = au->next)
3646       if (strcmpic(US"tls", au->driver_name) == 0)
3647         {
3648         smtp_cmd_data = NULL;
3649
3650         if (smtp_in_auth(au, &s, &ss) == OK)
3651           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3652         else
3653           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3654         break;
3655         }
3656     }
3657 #endif
3658
3659 #ifdef TCP_QUICKACK
3660   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3661     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3662             US &off, sizeof(off));
3663 #endif
3664
3665   switch(smtp_read_command(TRUE, GETC_BUFFER_UNLIMITED))
3666     {
3667     /* The AUTH command is not permitted to occur inside a transaction, and may
3668     occur successfully only once per connection. Actually, that isn't quite
3669     true. When TLS is started, all previous information about a connection must
3670     be discarded, so a new AUTH is permitted at that time.
3671
3672     AUTH may only be used when it has been advertised. However, it seems that
3673     there are clients that send AUTH when it hasn't been advertised, some of
3674     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3675     So there's a get-out that allows this to happen.
3676
3677     AUTH is initially labelled as a "nonmail command" so that one occurrence
3678     doesn't get counted. We change the label here so that multiple failing
3679     AUTHS will eventually hit the nonmail threshold. */
3680
3681     case AUTH_CMD:
3682     HAD(SCH_AUTH);
3683     authentication_failed = TRUE;
3684     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3685
3686     if (!auth_advertised && !allow_auth_unadvertised)
3687       {
3688       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3689         US"AUTH command used when not advertised");
3690       break;
3691       }
3692     if (sender_host_authenticated)
3693       {
3694       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3695         US"already authenticated");
3696       break;
3697       }
3698     if (sender_address)
3699       {
3700       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3701         US"not permitted in mail transaction");
3702       break;
3703       }
3704
3705     /* Check the ACL */
3706
3707     if (  acl_smtp_auth
3708        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3709                   &user_msg, &log_msg)) != OK
3710        )
3711       {
3712       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3713       break;
3714       }
3715
3716     /* Find the name of the requested authentication mechanism. */
3717
3718     s = smtp_cmd_data;
3719     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3720       {
3721       if (!isalnum(c) && c != '-' && c != '_')
3722         {
3723         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3724           US"invalid character in authentication mechanism name");
3725         goto COMMAND_LOOP;
3726         }
3727       smtp_cmd_data++;
3728       }
3729
3730     /* If not at the end of the line, we must be at white space. Terminate the
3731     name and move the pointer on to any data that may be present. */
3732
3733     if (*smtp_cmd_data != 0)
3734       {
3735       *smtp_cmd_data++ = 0;
3736       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3737       }
3738
3739     /* Search for an authentication mechanism which is configured for use
3740     as a server and which has been advertised (unless, sigh, allow_auth_
3741     unadvertised is set). */
3742
3743     for (au = auths; au; au = au->next)
3744       if (strcmpic(s, au->public_name) == 0 && au->server &&
3745           (au->advertised || allow_auth_unadvertised))
3746         break;
3747
3748     if (au)
3749       {
3750       c = smtp_in_auth(au, &s, &ss);
3751
3752       smtp_printf("%s\r\n", s);
3753       if (c != OK)
3754         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3755           au->name, host_and_ident(FALSE), ss);
3756       }
3757     else
3758       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3759         string_sprintf("%s authentication mechanism not supported", s));
3760
3761     break;  /* AUTH_CMD */
3762
3763     /* The HELO/EHLO commands are permitted to appear in the middle of a
3764     session as well as at the beginning. They have the effect of a reset in
3765     addition to their other functions. Their absence at the start cannot be
3766     taken to be an error.
3767
3768     RFC 2821 says:
3769
3770       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3771       or 502 failure replies MUST be returned as appropriate.  The SMTP
3772       server MUST stay in the same state after transmitting these replies
3773       that it was in before the EHLO was received.
3774
3775     Therefore, we do not do the reset until after checking the command for
3776     acceptability. This change was made for Exim release 4.11. Previously
3777     it did the reset first. */
3778
3779     case HELO_CMD:
3780     HAD(SCH_HELO);
3781     hello = US"HELO";
3782     esmtp = FALSE;
3783     goto HELO_EHLO;
3784
3785     case EHLO_CMD:
3786     HAD(SCH_EHLO);
3787     hello = US"EHLO";
3788     esmtp = TRUE;
3789
3790     HELO_EHLO:      /* Common code for HELO and EHLO */
3791     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3792     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3793
3794     /* Reject the HELO if its argument was invalid or non-existent. A
3795     successful check causes the argument to be saved in malloc store. */
3796
3797     if (!check_helo(smtp_cmd_data))
3798       {
3799       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3800
3801       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3802         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3803         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3804                            string_printing(smtp_cmd_argument));
3805
3806       if (++synprot_error_count > smtp_max_synprot_errors)
3807         {
3808         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3809           "syntax or protocol errors (last command was \"%s\")",
3810           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3811         done = 1;
3812         }
3813
3814       break;
3815       }
3816
3817     /* If sender_host_unknown is true, we have got here via the -bs interface,
3818     not called from inetd. Otherwise, we are running an IP connection and the
3819     host address will be set. If the helo name is the primary name of this
3820     host and we haven't done a reverse lookup, force one now. If helo_required
3821     is set, ensure that the HELO name matches the actual host. If helo_verify
3822     is set, do the same check, but softly. */
3823
3824     if (!sender_host_unknown)
3825       {
3826       BOOL old_helo_verified = helo_verified;
3827       uschar *p = smtp_cmd_data;
3828
3829       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3830       *p = 0;
3831
3832       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3833       because otherwise the log can be confusing. */
3834
3835       if (sender_host_name == NULL &&
3836            (deliver_domain = sender_helo_name,  /* set $domain */
3837             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3838               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3839         (void)host_name_lookup();
3840
3841       /* Rebuild the fullhost info to include the HELO name (and the real name
3842       if it was looked up.) */
3843
3844       host_build_sender_fullhost();  /* Rebuild */
3845       set_process_info("handling%s incoming connection from %s",
3846         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3847
3848       /* Verify if configured. This doesn't give much security, but it does
3849       make some people happy to be able to do it. If helo_required is set,
3850       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3851       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3852       now obsolescent, since the verification can now be requested selectively
3853       at ACL time. */
3854
3855       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3856       if (helo_required || helo_verify)
3857         {
3858         BOOL tempfail = !smtp_verify_helo();
3859         if (!helo_verified)
3860           {
3861           if (helo_required)
3862             {
3863             smtp_printf("%d %s argument does not match calling host\r\n",
3864               tempfail? 451 : 550, hello);
3865             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3866               tempfail? "temporarily " : "",
3867               hello, sender_helo_name, host_and_ident(FALSE));
3868             helo_verified = old_helo_verified;
3869             break;                   /* End of HELO/EHLO processing */
3870             }
3871           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3872             "helo_try_verify_hosts\n", hello);
3873           }
3874         }
3875       }
3876
3877 #ifdef EXPERIMENTAL_SPF
3878     /* set up SPF context */
3879     spf_init(sender_helo_name, sender_host_address);
3880 #endif
3881
3882     /* Apply an ACL check if one is defined; afterwards, recheck
3883     synchronization in case the client started sending in a delay. */
3884
3885     if (acl_smtp_helo)
3886       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3887                 &user_msg, &log_msg)) != OK)
3888         {
3889         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3890         sender_helo_name = NULL;
3891         host_build_sender_fullhost();  /* Rebuild */
3892         break;
3893         }
3894       else if (!check_sync()) goto SYNC_FAILURE;
3895
3896     /* Generate an OK reply. The default string includes the ident if present,
3897     and also the IP address if present. Reflecting back the ident is intended
3898     as a deterrent to mail forgers. For maximum efficiency, and also because
3899     some broken systems expect each response to be in a single packet, arrange
3900     that the entire reply is sent in one write(). */
3901
3902     auth_advertised = FALSE;
3903     pipelining_advertised = FALSE;
3904 #ifdef SUPPORT_TLS
3905     tls_advertised = FALSE;
3906 #endif
3907     dsn_advertised = FALSE;
3908 #ifdef SUPPORT_I18N
3909     smtputf8_advertised = FALSE;
3910 #endif
3911
3912     smtp_code = US"250 ";        /* Default response code plus space*/
3913     if (user_msg == NULL)
3914       {
3915       s = string_sprintf("%.3s %s Hello %s%s%s",
3916         smtp_code,
3917         smtp_active_hostname,
3918         (sender_ident == NULL)?  US"" : sender_ident,
3919         (sender_ident == NULL)?  US"" : US" at ",
3920         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3921
3922       ptr = Ustrlen(s);
3923       size = ptr + 1;
3924
3925       if (sender_host_address != NULL)
3926         {
3927         s = string_catn(s, &size, &ptr, US" [", 2);
3928         s = string_cat (s, &size, &ptr, sender_host_address);
3929         s = string_catn(s, &size, &ptr, US"]", 1);
3930         }
3931       }
3932
3933     /* A user-supplied EHLO greeting may not contain more than one line. Note
3934     that the code returned by smtp_message_code() includes the terminating
3935     whitespace character. */
3936
3937     else
3938       {
3939       char *ss;
3940       int codelen = 4;
3941       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3942       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3943       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3944         {
3945         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3946           "newlines: message truncated: %s", string_printing(s));
3947         *ss = 0;
3948         }
3949       ptr = Ustrlen(s);
3950       size = ptr + 1;
3951       }
3952
3953     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3954
3955     /* If we received EHLO, we must create a multiline response which includes
3956     the functions supported. */
3957
3958     if (esmtp)
3959       {
3960       s[3] = '-';
3961
3962       /* I'm not entirely happy with this, as an MTA is supposed to check
3963       that it has enough room to accept a message of maximum size before
3964       it sends this. However, there seems little point in not sending it.
3965       The actual size check happens later at MAIL FROM time. By postponing it
3966       till then, VRFY and EXPN can be used after EHLO when space is short. */
3967
3968       if (thismessage_size_limit > 0)
3969         {
3970         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3971           thismessage_size_limit);
3972         s = string_cat(s, &size, &ptr, big_buffer);
3973         }
3974       else
3975         {
3976         s = string_catn(s, &size, &ptr, smtp_code, 3);
3977         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3978         }
3979
3980       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3981       clean; if it has an 8-bit character in its hand, it just sends it. It
3982       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3983       However, some users want this option simply in order to stop MUAs
3984       mangling messages that contain top-bit-set characters. It is therefore
3985       provided as an option. */
3986
3987       if (accept_8bitmime)
3988         {
3989         s = string_catn(s, &size, &ptr, smtp_code, 3);
3990         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3991         }
3992
3993       /* Advertise DSN support if configured to do so. */
3994       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3995         {
3996         s = string_catn(s, &size, &ptr, smtp_code, 3);
3997         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3998         dsn_advertised = TRUE;
3999         }
4000
4001       /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4002       permitted to issue them; a check is made when any host actually tries. */
4003
4004       if (acl_smtp_etrn)
4005         {
4006         s = string_catn(s, &size, &ptr, smtp_code, 3);
4007         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
4008         }
4009       if (acl_smtp_vrfy)
4010         {
4011         s = string_catn(s, &size, &ptr, smtp_code, 3);
4012         s = string_catn(s, &size, &ptr, US"-VRFY\r\n", 7);
4013         }
4014       if (acl_smtp_expn)
4015         {
4016         s = string_catn(s, &size, &ptr, smtp_code, 3);
4017         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
4018         }
4019
4020       /* Exim is quite happy with pipelining, so let the other end know that
4021       it is safe to use it, unless advertising is disabled. */
4022
4023       if (pipelining_enable &&
4024           verify_check_host(&pipelining_advertise_hosts) == OK)
4025         {
4026         s = string_catn(s, &size, &ptr, smtp_code, 3);
4027         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
4028         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4029         pipelining_advertised = TRUE;
4030         }
4031
4032
4033       /* If any server authentication mechanisms are configured, advertise
4034       them if the current host is in auth_advertise_hosts. The problem with
4035       advertising always is that some clients then require users to
4036       authenticate (and aren't configurable otherwise) even though it may not
4037       be necessary (e.g. if the host is in host_accept_relay).
4038
4039       RFC 2222 states that SASL mechanism names contain only upper case
4040       letters, so output the names in upper case, though we actually recognize
4041       them in either case in the AUTH command. */
4042
4043       if (  auths
4044 #ifdef AUTH_TLS
4045          && !sender_host_authenticated
4046 #endif
4047          && verify_check_host(&auth_advertise_hosts) == OK
4048          )
4049         {
4050         auth_instance *au;
4051         BOOL first = TRUE;
4052         for (au = auths; au; au = au->next)
4053           if (au->server && (au->advertise_condition == NULL ||
4054               expand_check_condition(au->advertise_condition, au->name,
4055               US"authenticator")))
4056             {
4057             int saveptr;
4058             if (first)
4059               {
4060               s = string_catn(s, &size, &ptr, smtp_code, 3);
4061               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
4062               first = FALSE;
4063               auth_advertised = TRUE;
4064               }
4065             saveptr = ptr;
4066             s = string_catn(s, &size, &ptr, US" ", 1);
4067             s = string_cat (s, &size, &ptr, au->public_name);
4068             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
4069             au->advertised = TRUE;
4070             }
4071           else
4072             au->advertised = FALSE;
4073
4074         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
4075         }
4076
4077       /* RFC 3030 CHUNKING */
4078
4079       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4080         {
4081         s = string_catn(s, &size, &ptr, smtp_code, 3);
4082         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
4083         chunking_offered = TRUE;
4084         chunking_state = CHUNKING_OFFERED;
4085         }
4086
4087       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4088       if it has been included in the binary, and the host matches
4089       tls_advertise_hosts. We must *not* advertise if we are already in a
4090       secure connection. */
4091
4092 #ifdef SUPPORT_TLS
4093       if (tls_in.active < 0 &&
4094           verify_check_host(&tls_advertise_hosts) != FAIL)
4095         {
4096         s = string_catn(s, &size, &ptr, smtp_code, 3);
4097         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
4098         tls_advertised = TRUE;
4099         }
4100 #endif
4101
4102 #ifndef DISABLE_PRDR
4103       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4104       if (prdr_enable)
4105         {
4106         s = string_catn(s, &size, &ptr, smtp_code, 3);
4107         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
4108         }
4109 #endif
4110
4111 #ifdef SUPPORT_I18N
4112       if (  accept_8bitmime
4113          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4114         {
4115         s = string_catn(s, &size, &ptr, smtp_code, 3);
4116         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4117         smtputf8_advertised = TRUE;
4118         }
4119 #endif
4120
4121       /* Finish off the multiline reply with one that is always available. */
4122
4123       s = string_catn(s, &size, &ptr, smtp_code, 3);
4124       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4125       }
4126
4127     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4128     has been seen. */
4129
4130     s[ptr] = 0;
4131
4132 #ifdef SUPPORT_TLS
4133     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4134 #endif
4135
4136       {
4137       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4138       }
4139     DEBUG(D_receive)
4140       {
4141       uschar *cr;
4142       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4143         memmove(cr, cr + 1, (ptr--) - (cr - s));
4144       debug_printf("SMTP>> %s", s);
4145       }
4146     helo_seen = TRUE;
4147
4148     /* Reset the protocol and the state, abandoning any previous message. */
4149     received_protocol =
4150       (sender_host_address ? protocols : protocols_local)
4151         [ (esmtp
4152           ? pextend + (sender_host_authenticated ? pauthed : 0)
4153           : pnormal)
4154         + (tls_in.active >= 0 ? pcrpted : 0)
4155         ];
4156     smtp_reset(reset_point);
4157     toomany = FALSE;
4158     break;   /* HELO/EHLO */
4159
4160
4161     /* The MAIL command requires an address as an operand. All we do
4162     here is to parse it for syntactic correctness. The form "<>" is
4163     a special case which converts into an empty string. The start/end
4164     pointers in the original are not used further for this address, as
4165     it is the canonical extracted address which is all that is kept. */
4166
4167     case MAIL_CMD:
4168     HAD(SCH_MAIL);
4169     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4170     was_rej_mail = TRUE;               /* Reset if accepted */
4171     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4172
4173     if (helo_required && !helo_seen)
4174       {
4175       smtp_printf("503 HELO or EHLO required\r\n");
4176       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4177         "HELO/EHLO given", host_and_ident(FALSE));
4178       break;
4179       }
4180
4181     if (sender_address != NULL)
4182       {
4183       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4184         US"sender already given");
4185       break;
4186       }
4187
4188     if (smtp_cmd_data[0] == 0)
4189       {
4190       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4191         US"MAIL must have an address operand");
4192       break;
4193       }
4194
4195     /* Check to see if the limit for messages per connection would be
4196     exceeded by accepting further messages. */
4197
4198     if (smtp_accept_max_per_connection > 0 &&
4199         smtp_mailcmd_count > smtp_accept_max_per_connection)
4200       {
4201       smtp_printf("421 too many messages in this connection\r\n");
4202       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4203         "messages in one connection", host_and_ident(TRUE));
4204       break;
4205       }
4206
4207     /* Reset for start of message - even if this is going to fail, we
4208     obviously need to throw away any previous data. */
4209
4210     smtp_reset(reset_point);
4211     toomany = FALSE;
4212     sender_data = recipient_data = NULL;
4213
4214     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4215
4216     if (esmtp) for(;;)
4217       {
4218       uschar *name, *value, *end;
4219       unsigned long int size;
4220       BOOL arg_error = FALSE;
4221
4222       if (!extract_option(&name, &value)) break;
4223
4224       for (mail_args = env_mail_type_list;
4225            mail_args->value != ENV_MAIL_OPT_NULL;
4226            mail_args++
4227           )
4228         if (strcmpic(name, mail_args->name) == 0)
4229           break;
4230       if (mail_args->need_value && strcmpic(value, US"") == 0)
4231         break;
4232
4233       switch(mail_args->value)
4234         {
4235         /* Handle SIZE= by reading the value. We don't do the check till later,
4236         in order to be able to log the sender address on failure. */
4237         case ENV_MAIL_OPT_SIZE:
4238           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4239             {
4240             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4241               size = INT_MAX;
4242             message_size = (int)size;
4243             }
4244           else
4245             arg_error = TRUE;
4246           break;
4247
4248         /* If this session was initiated with EHLO and accept_8bitmime is set,
4249         Exim will have indicated that it supports the BODY=8BITMIME option. In
4250         fact, it does not support this according to the RFCs, in that it does not
4251         take any special action for forwarding messages containing 8-bit
4252         characters. That is why accept_8bitmime is not the default setting, but
4253         some sites want the action that is provided. We recognize both "8BITMIME"
4254         and "7BIT" as body types, but take no action. */
4255         case ENV_MAIL_OPT_BODY:
4256           if (accept_8bitmime) {
4257             if (strcmpic(value, US"8BITMIME") == 0)
4258               body_8bitmime = 8;
4259             else if (strcmpic(value, US"7BIT") == 0)
4260               body_8bitmime = 7;
4261             else
4262               {
4263               body_8bitmime = 0;
4264               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4265                 US"invalid data for BODY");
4266               goto COMMAND_LOOP;
4267               }
4268             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4269             break;
4270           }
4271           arg_error = TRUE;
4272           break;
4273
4274         /* Handle the two DSN options, but only if configured to do so (which
4275         will have caused "DSN" to be given in the EHLO response). The code itself
4276         is included only if configured in at build time. */
4277
4278         case ENV_MAIL_OPT_RET:
4279           if (dsn_advertised)
4280             {
4281             /* Check if RET has already been set */
4282             if (dsn_ret > 0)
4283               {
4284               synprot_error(L_smtp_syntax_error, 501, NULL,
4285                 US"RET can be specified once only");
4286               goto COMMAND_LOOP;
4287               }
4288             dsn_ret = strcmpic(value, US"HDRS") == 0
4289               ? dsn_ret_hdrs
4290               : strcmpic(value, US"FULL") == 0
4291               ? dsn_ret_full
4292               : 0;
4293             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4294             /* Check for invalid invalid value, and exit with error */
4295             if (dsn_ret == 0)
4296               {
4297               synprot_error(L_smtp_syntax_error, 501, NULL,
4298                 US"Value for RET is invalid");
4299               goto COMMAND_LOOP;
4300               }
4301             }
4302           break;
4303         case ENV_MAIL_OPT_ENVID:
4304           if (dsn_advertised)
4305             {
4306             /* Check if the dsn envid has been already set */
4307             if (dsn_envid != NULL)
4308               {
4309               synprot_error(L_smtp_syntax_error, 501, NULL,
4310                 US"ENVID can be specified once only");
4311               goto COMMAND_LOOP;
4312               }
4313             dsn_envid = string_copy(value);
4314             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4315             }
4316           break;
4317
4318         /* Handle the AUTH extension. If the value given is not "<>" and either
4319         the ACL says "yes" or there is no ACL but the sending host is
4320         authenticated, we set it up as the authenticated sender. However, if the
4321         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4322         the condition is met. The value of AUTH is an xtext, which means that +,
4323         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4324         coding. */
4325         case ENV_MAIL_OPT_AUTH:
4326           if (Ustrcmp(value, "<>") != 0)
4327             {
4328             int rc;
4329             uschar *ignore_msg;
4330
4331             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4332               {
4333               /* Put back terminator overrides for error message */
4334               value[-1] = '=';
4335               name[-1] = ' ';
4336               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4337                 US"invalid data for AUTH");
4338               goto COMMAND_LOOP;
4339               }
4340             if (acl_smtp_mailauth == NULL)
4341               {
4342               ignore_msg = US"client not authenticated";
4343               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4344               }
4345             else
4346               {
4347               ignore_msg = US"rejected by ACL";
4348               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4349                 &user_msg, &log_msg);
4350               }
4351
4352             switch (rc)
4353               {
4354               case OK:
4355                 if (authenticated_by == NULL ||
4356                     authenticated_by->mail_auth_condition == NULL ||
4357                     expand_check_condition(authenticated_by->mail_auth_condition,
4358                         authenticated_by->name, US"authenticator"))
4359                   break;     /* Accept the AUTH */
4360
4361                 ignore_msg = US"server_mail_auth_condition failed";
4362                 if (authenticated_id != NULL)
4363                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4364                     ignore_msg, authenticated_id);
4365
4366               /* Fall through */
4367
4368               case FAIL:
4369                 authenticated_sender = NULL;
4370                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4371                   value, host_and_ident(TRUE), ignore_msg);
4372                 break;
4373
4374               /* Should only get DEFER or ERROR here. Put back terminator
4375               overrides for error message */
4376
4377               default:
4378                 value[-1] = '=';
4379                 name[-1] = ' ';
4380                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4381                   log_msg);
4382                 goto COMMAND_LOOP;
4383               }
4384             }
4385             break;
4386
4387 #ifndef DISABLE_PRDR
4388         case ENV_MAIL_OPT_PRDR:
4389           if (prdr_enable)
4390             prdr_requested = TRUE;
4391           break;
4392 #endif
4393
4394 #ifdef SUPPORT_I18N
4395         case ENV_MAIL_OPT_UTF8:
4396           if (smtputf8_advertised)
4397             {
4398             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4399             message_smtputf8 = allow_utf8_domains = TRUE;
4400             received_protocol = string_sprintf("utf8%s", received_protocol);
4401             }
4402           break;
4403 #endif
4404         /* No valid option. Stick back the terminator characters and break
4405         the loop.  Do the name-terminator second as extract_option sets
4406         value==name when it found no equal-sign.
4407         An error for a malformed address will occur. */
4408         case ENV_MAIL_OPT_NULL:
4409           value[-1] = '=';
4410           name[-1] = ' ';
4411           arg_error = TRUE;
4412           break;
4413
4414         default:  assert(0);
4415         }
4416       /* Break out of for loop if switch() had bad argument or
4417          when start of the email address is reached */
4418       if (arg_error) break;
4419       }
4420
4421     /* If we have passed the threshold for rate limiting, apply the current
4422     delay, and update it for next time, provided this is a limited host. */
4423
4424     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4425         verify_check_host(&smtp_ratelimit_hosts) == OK)
4426       {
4427       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4428         smtp_delay_mail/1000.0);
4429       millisleep((int)smtp_delay_mail);
4430       smtp_delay_mail *= smtp_rlm_factor;
4431       if (smtp_delay_mail > (double)smtp_rlm_limit)
4432         smtp_delay_mail = (double)smtp_rlm_limit;
4433       }
4434
4435     /* Now extract the address, first applying any SMTP-time rewriting. The
4436     TRUE flag allows "<>" as a sender address. */
4437
4438     raw_sender = rewrite_existflags & rewrite_smtp
4439       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4440                     global_rewrite_rules)
4441       : smtp_cmd_data;
4442
4443     raw_sender =
4444       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4445         TRUE);
4446
4447     if (!raw_sender)
4448       {
4449       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4450       break;
4451       }
4452
4453     sender_address = raw_sender;
4454
4455     /* If there is a configured size limit for mail, check that this message
4456     doesn't exceed it. The check is postponed to this point so that the sender
4457     can be logged. */
4458
4459     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4460       {
4461       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4462       log_write(L_size_reject,
4463           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4464           "message too big: size%s=%d max=%d",
4465           sender_address,
4466           host_and_ident(TRUE),
4467           (message_size == INT_MAX)? ">" : "",
4468           message_size,
4469           thismessage_size_limit);
4470       sender_address = NULL;
4471       break;
4472       }
4473
4474     /* Check there is enough space on the disk unless configured not to.
4475     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4476     plus the current message - i.e. we accept the message only if it won't
4477     reduce the space below the threshold. Add 5000 to the size to allow for
4478     overheads such as the Received: line and storing of recipients, etc.
4479     By putting the check here, even when SIZE is not given, it allow VRFY
4480     and EXPN etc. to be used when space is short. */
4481
4482     if (!receive_check_fs(
4483          (smtp_check_spool_space && message_size >= 0)?
4484             message_size + 5000 : 0))
4485       {
4486       smtp_printf("452 Space shortage, please try later\r\n");
4487       sender_address = NULL;
4488       break;
4489       }
4490
4491     /* If sender_address is unqualified, reject it, unless this is a locally
4492     generated message, or the sending host or net is permitted to send
4493     unqualified addresses - typically local machines behaving as MUAs -
4494     in which case just qualify the address. The flag is set above at the start
4495     of the SMTP connection. */
4496
4497     if (sender_domain == 0 && sender_address[0] != 0)
4498       {
4499       if (allow_unqualified_sender)
4500         {
4501         sender_domain = Ustrlen(sender_address) + 1;
4502         sender_address = rewrite_address_qualify(sender_address, FALSE);
4503         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4504           raw_sender);
4505         }
4506       else
4507         {
4508         smtp_printf("501 %s: sender address must contain a domain\r\n",
4509           smtp_cmd_data);
4510         log_write(L_smtp_syntax_error,
4511           LOG_MAIN|LOG_REJECT,
4512           "unqualified sender rejected: <%s> %s%s",
4513           raw_sender,
4514           host_and_ident(TRUE),
4515           host_lookup_msg);
4516         sender_address = NULL;
4517         break;
4518         }
4519       }
4520
4521     /* Apply an ACL check if one is defined, before responding. Afterwards,
4522     when pipelining is not advertised, do another sync check in case the ACL
4523     delayed and the client started sending in the meantime. */
4524
4525     if (acl_smtp_mail)
4526       {
4527       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4528       if (rc == OK && !pipelining_advertised && !check_sync())
4529         goto SYNC_FAILURE;
4530       }
4531     else
4532       rc = OK;
4533
4534     if (rc == OK || rc == DISCARD)
4535       {
4536       if (!user_msg)
4537         smtp_printf("%s%s%s", US"250 OK",
4538                   #ifndef DISABLE_PRDR
4539                     prdr_requested ? US", PRDR Requested" : US"",
4540                   #else
4541                     US"",
4542                   #endif
4543                     US"\r\n");
4544       else
4545         {
4546       #ifndef DISABLE_PRDR
4547         if (prdr_requested)
4548            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4549       #endif
4550         smtp_user_msg(US"250", user_msg);
4551         }
4552       smtp_delay_rcpt = smtp_rlr_base;
4553       recipients_discarded = (rc == DISCARD);
4554       was_rej_mail = FALSE;
4555       }
4556     else
4557       {
4558       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4559       sender_address = NULL;
4560       }
4561     break;
4562
4563
4564     /* The RCPT command requires an address as an operand. There may be any
4565     number of RCPT commands, specifying multiple recipients. We build them all
4566     into a data structure. The start/end values given by parse_extract_address
4567     are not used, as we keep only the extracted address. */
4568
4569     case RCPT_CMD:
4570     HAD(SCH_RCPT);
4571     rcpt_count++;
4572     was_rcpt = rcpt_in_progress = TRUE;
4573
4574     /* There must be a sender address; if the sender was rejected and
4575     pipelining was advertised, we assume the client was pipelining, and do not
4576     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4577     get the same treatment. */
4578
4579     if (sender_address == NULL)
4580       {
4581       if (pipelining_advertised && last_was_rej_mail)
4582         {
4583         smtp_printf("503 sender not yet given\r\n");
4584         was_rej_mail = TRUE;
4585         }
4586       else
4587         {
4588         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4589           US"sender not yet given");
4590         was_rcpt = FALSE;             /* Not a valid RCPT */
4591         }
4592       rcpt_fail_count++;
4593       break;
4594       }
4595
4596     /* Check for an operand */
4597
4598     if (smtp_cmd_data[0] == 0)
4599       {
4600       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4601         US"RCPT must have an address operand");
4602       rcpt_fail_count++;
4603       break;
4604       }
4605
4606     /* Set the DSN flags orcpt and dsn_flags from the session*/
4607     orcpt = NULL;
4608     flags = 0;
4609
4610     if (esmtp) for(;;)
4611       {
4612       uschar *name, *value;
4613
4614       if (!extract_option(&name, &value))
4615         break;
4616
4617       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4618         {
4619         /* Check whether orcpt has been already set */
4620         if (orcpt)
4621           {
4622           synprot_error(L_smtp_syntax_error, 501, NULL,
4623             US"ORCPT can be specified once only");
4624           goto COMMAND_LOOP;
4625           }
4626         orcpt = string_copy(value);
4627         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4628         }
4629
4630       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4631         {
4632         /* Check if the notify flags have been already set */
4633         if (flags > 0)
4634           {
4635           synprot_error(L_smtp_syntax_error, 501, NULL,
4636               US"NOTIFY can be specified once only");
4637           goto COMMAND_LOOP;
4638           }
4639         if (strcmpic(value, US"NEVER") == 0)
4640           flags |= rf_notify_never;
4641         else
4642           {
4643           uschar *p = value;
4644           while (*p != 0)
4645             {
4646             uschar *pp = p;
4647             while (*pp != 0 && *pp != ',') pp++;
4648             if (*pp == ',') *pp++ = 0;
4649             if (strcmpic(p, US"SUCCESS") == 0)
4650               {
4651               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4652               flags |= rf_notify_success;
4653               }
4654             else if (strcmpic(p, US"FAILURE") == 0)
4655               {
4656               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4657               flags |= rf_notify_failure;
4658               }
4659             else if (strcmpic(p, US"DELAY") == 0)
4660               {
4661               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4662               flags |= rf_notify_delay;
4663               }
4664             else
4665               {
4666               /* Catch any strange values */
4667               synprot_error(L_smtp_syntax_error, 501, NULL,
4668                 US"Invalid value for NOTIFY parameter");
4669               goto COMMAND_LOOP;
4670               }
4671             p = pp;
4672             }
4673             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4674           }
4675         }
4676
4677       /* Unknown option. Stick back the terminator characters and break
4678       the loop. An error for a malformed address will occur. */
4679
4680       else
4681         {
4682         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4683         name[-1] = ' ';
4684         value[-1] = '=';
4685         break;
4686         }
4687       }
4688
4689     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4690     as a recipient address */
4691
4692     recipient = rewrite_existflags & rewrite_smtp
4693       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4694           global_rewrite_rules)
4695       : smtp_cmd_data;
4696
4697     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4698       &recipient_domain, FALSE)))
4699       {
4700       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4701       rcpt_fail_count++;
4702       break;
4703       }
4704
4705     /* If the recipient address is unqualified, reject it, unless this is a
4706     locally generated message. However, unqualified addresses are permitted
4707     from a configured list of hosts and nets - typically when behaving as
4708     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4709     really. The flag is set at the start of the SMTP connection.
4710
4711     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4712     assumed this meant "reserved local part", but the revision of RFC 821 and
4713     friends now makes it absolutely clear that it means *mailbox*. Consequently
4714     we must always qualify this address, regardless. */
4715
4716     if (!recipient_domain)
4717       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4718                                   US"recipient")))
4719         {
4720         rcpt_fail_count++;
4721         break;
4722         }
4723
4724     /* Check maximum allowed */
4725
4726     if (rcpt_count > recipients_max && recipients_max > 0)
4727       {
4728       if (recipients_max_reject)
4729         {
4730         rcpt_fail_count++;
4731         smtp_printf("552 too many recipients\r\n");
4732         if (!toomany)
4733           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4734             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4735         }
4736       else
4737         {
4738         rcpt_defer_count++;
4739         smtp_printf("452 too many recipients\r\n");
4740         if (!toomany)
4741           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4742             "temporarily rejected: sender=<%s> %s", sender_address,
4743             host_and_ident(TRUE));
4744         }
4745
4746       toomany = TRUE;
4747       break;
4748       }
4749
4750     /* If we have passed the threshold for rate limiting, apply the current
4751     delay, and update it for next time, provided this is a limited host. */
4752
4753     if (rcpt_count > smtp_rlr_threshold &&
4754         verify_check_host(&smtp_ratelimit_hosts) == OK)
4755       {
4756       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4757         smtp_delay_rcpt/1000.0);
4758       millisleep((int)smtp_delay_rcpt);
4759       smtp_delay_rcpt *= smtp_rlr_factor;
4760       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4761         smtp_delay_rcpt = (double)smtp_rlr_limit;
4762       }
4763
4764     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4765     for them. Otherwise, check the access control list for this recipient. As
4766     there may be a delay in this, re-check for a synchronization error
4767     afterwards, unless pipelining was advertised. */
4768
4769     if (recipients_discarded)
4770       rc = DISCARD;
4771     else
4772       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4773                     &log_msg)) == OK
4774          && !pipelining_advertised && !check_sync())
4775         goto SYNC_FAILURE;
4776
4777     /* The ACL was happy */
4778
4779     if (rc == OK)
4780       {
4781       if (user_msg)
4782         smtp_user_msg(US"250", user_msg);
4783       else
4784         smtp_printf("250 Accepted\r\n");
4785       receive_add_recipient(recipient, -1);
4786
4787       /* Set the dsn flags in the recipients_list */
4788       recipients_list[recipients_count-1].orcpt = orcpt;
4789       recipients_list[recipients_count-1].dsn_flags = flags;
4790
4791       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4792         recipients_list[recipients_count-1].orcpt,
4793         recipients_list[recipients_count-1].dsn_flags);
4794       }
4795
4796     /* The recipient was discarded */
4797
4798     else if (rc == DISCARD)
4799       {
4800       if (user_msg)
4801         smtp_user_msg(US"250", user_msg);
4802       else
4803         smtp_printf("250 Accepted\r\n");
4804       rcpt_fail_count++;
4805       discarded = TRUE;
4806       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4807         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4808         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4809         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4810         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4811       }
4812
4813     /* Either the ACL failed the address, or it was deferred. */
4814
4815     else
4816       {
4817       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4818       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4819       }
4820     break;
4821
4822
4823     /* The DATA command is legal only if it follows successful MAIL FROM
4824     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4825     not counted as a protocol error if it follows RCPT (which must have been
4826     rejected if there are no recipients.) This function is complete when a
4827     valid DATA command is encountered.
4828
4829     Note concerning the code used: RFC 2821 says this:
4830
4831      -  If there was no MAIL, or no RCPT, command, or all such commands
4832         were rejected, the server MAY return a "command out of sequence"
4833         (503) or "no valid recipients" (554) reply in response to the
4834         DATA command.
4835
4836     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4837     because it is the same whether pipelining is in use or not.
4838
4839     If all the RCPT commands that precede DATA provoked the same error message
4840     (often indicating some kind of system error), it is helpful to include it
4841     with the DATA rejection (an idea suggested by Tony Finch). */
4842
4843     case BDAT_CMD:
4844     HAD(SCH_BDAT);
4845       {
4846       int n;
4847
4848       if (chunking_state != CHUNKING_OFFERED)
4849         {
4850         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4851           US"BDAT command used when CHUNKING not advertised");
4852         break;
4853         }
4854
4855       /* grab size, endmarker */
4856
4857       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4858         {
4859         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4860           US"missing size for BDAT command");
4861         break;
4862         }
4863       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4864         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4865       chunking_data_left = chunking_datasize;
4866       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
4867                                     (int)chunking_state, chunking_data_left);
4868
4869       lwr_receive_getc = receive_getc;
4870       lwr_receive_ungetc = receive_ungetc;
4871       receive_getc = bdat_getc;
4872       receive_ungetc = bdat_ungetc;
4873
4874       goto DATA_BDAT;
4875       }
4876
4877     case DATA_CMD:
4878     HAD(SCH_DATA);
4879
4880     DATA_BDAT:          /* Common code for DATA and BDAT */
4881     if (!discarded && recipients_count <= 0)
4882       {
4883       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4884         {
4885         uschar *code = US"503";
4886         int len = Ustrlen(rcpt_smtp_response);
4887         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4888           "this error:");
4889         /* Responses from smtp_printf() will have \r\n on the end */
4890         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4891           rcpt_smtp_response[len-2] = 0;
4892         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4893         }
4894       if (pipelining_advertised && last_was_rcpt)
4895         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4896           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4897       else
4898         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4899           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4900           ? US"valid RCPT command must precede DATA"
4901           : US"valid RCPT command must precede BDAT");
4902
4903       if (chunking_state > CHUNKING_OFFERED)
4904         bdat_flush_data();
4905       break;
4906       }
4907
4908     if (toomany && recipients_max_reject)
4909       {
4910       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4911       sender_address_unrewritten = NULL;
4912       smtp_printf("554 Too many recipients\r\n");
4913       break;
4914       }
4915
4916     if (chunking_state > CHUNKING_OFFERED)
4917       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
4918     else
4919       {
4920       /* If there is an ACL, re-check the synchronization afterwards, since the
4921       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4922       to get the DATA command sent. */
4923
4924       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4925         rc = OK;
4926       else
4927         {
4928         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4929         enable_dollar_recipients = TRUE;
4930         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4931           &log_msg);
4932         enable_dollar_recipients = FALSE;
4933         if (rc == OK && !check_sync())
4934           goto SYNC_FAILURE;
4935
4936         if (rc != OK)
4937           {     /* Either the ACL failed the address, or it was deferred. */
4938           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4939           break;
4940           }
4941         }
4942
4943       if (user_msg)
4944         smtp_user_msg(US"354", user_msg);
4945       else
4946         smtp_printf(
4947           "354 Enter message, ending with \".\" on a line by itself\r\n");
4948       }
4949
4950 #ifdef TCP_QUICKACK
4951     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
4952       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4953               US &on, sizeof(on));
4954 #endif
4955     done = 3;
4956     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4957
4958     break;
4959
4960
4961     case VRFY_CMD:
4962       {
4963       uschar * address;
4964
4965       HAD(SCH_VRFY);
4966
4967       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4968             &start, &end, &recipient_domain, FALSE)))
4969         {
4970         smtp_printf("501 %s\r\n", errmess);
4971         break;
4972         }
4973
4974       if (!recipient_domain)
4975         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4976                                     US"verify")))
4977           break;
4978
4979       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4980                     &user_msg, &log_msg)) != OK)
4981         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4982       else
4983         {
4984         uschar * s = NULL;
4985         address_item * addr = deliver_make_addr(address, FALSE);
4986
4987         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4988                -1, -1, NULL, NULL, NULL))
4989           {
4990           case OK:
4991             s = string_sprintf("250 <%s> is deliverable", address);
4992             break;
4993
4994           case DEFER:
4995             s = (addr->user_message != NULL)?
4996               string_sprintf("451 <%s> %s", address, addr->user_message) :
4997               string_sprintf("451 Cannot resolve <%s> at this time", address);
4998             break;
4999
5000           case FAIL:
5001             s = (addr->user_message != NULL)?
5002               string_sprintf("550 <%s> %s", address, addr->user_message) :
5003               string_sprintf("550 <%s> is not deliverable", address);
5004             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5005               smtp_cmd_argument, host_and_ident(TRUE));
5006             break;
5007           }
5008
5009         smtp_printf("%s\r\n", s);
5010         }
5011       break;
5012       }
5013
5014
5015     case EXPN_CMD:
5016     HAD(SCH_EXPN);
5017     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5018     if (rc != OK)
5019       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5020     else
5021       {
5022       BOOL save_log_testing_mode = log_testing_mode;
5023       address_test_mode = log_testing_mode = TRUE;
5024       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5025         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5026         NULL, NULL, NULL);
5027       address_test_mode = FALSE;
5028       log_testing_mode = save_log_testing_mode;    /* true for -bh */
5029       }
5030     break;
5031
5032
5033     #ifdef SUPPORT_TLS
5034
5035     case STARTTLS_CMD:
5036     HAD(SCH_STARTTLS);
5037     if (!tls_advertised)
5038       {
5039       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5040         US"STARTTLS command used when not advertised");
5041       break;
5042       }
5043
5044     /* Apply an ACL check if one is defined */
5045
5046     if (  acl_smtp_starttls
5047        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5048                   &user_msg, &log_msg)) != OK
5049        )
5050       {
5051       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5052       break;
5053       }
5054
5055     /* RFC 2487 is not clear on when this command may be sent, though it
5056     does state that all information previously obtained from the client
5057     must be discarded if a TLS session is started. It seems reasonable to
5058     do an implied RSET when STARTTLS is received. */
5059
5060     incomplete_transaction_log(US"STARTTLS");
5061     smtp_reset(reset_point);
5062     toomany = FALSE;
5063     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5064
5065     /* There's an attack where more data is read in past the STARTTLS command
5066     before TLS is negotiated, then assumed to be part of the secure session
5067     when used afterwards; we use segregated input buffers, so are not
5068     vulnerable, but we want to note when it happens and, for sheer paranoia,
5069     ensure that the buffer is "wiped".
5070     Pipelining sync checks will normally have protected us too, unless disabled
5071     by configuration. */
5072
5073     if (receive_smtp_buffered())
5074       {
5075       DEBUG(D_any)
5076         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5077       if (tls_in.active < 0)
5078         smtp_inend = smtp_inptr = smtp_inbuffer;
5079       /* and if TLS is already active, tls_server_start() should fail */
5080       }
5081
5082     /* There is nothing we value in the input buffer and if TLS is successfully
5083     negotiated, we won't use this buffer again; if TLS fails, we'll just read
5084     fresh content into it.  The buffer contains arbitrary content from an
5085     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5086     It seems safest to just wipe away the content rather than leave it as a
5087     target to jump to. */
5088
5089     memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5090
5091     /* Attempt to start up a TLS session, and if successful, discard all
5092     knowledge that was obtained previously. At least, that's what the RFC says,
5093     and that's what happens by default. However, in order to work round YAEB,
5094     there is an option to remember the esmtp state. Sigh.
5095
5096     We must allow for an extra EHLO command and an extra AUTH command after
5097     STARTTLS that don't add to the nonmail command count. */
5098
5099     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
5100       {
5101       if (!tls_remember_esmtp)
5102         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
5103       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5104       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5105       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5106       if (sender_helo_name != NULL)
5107         {
5108         store_free(sender_helo_name);
5109         sender_helo_name = NULL;
5110         host_build_sender_fullhost();  /* Rebuild */
5111         set_process_info("handling incoming TLS connection from %s",
5112           host_and_ident(FALSE));
5113         }
5114       received_protocol =
5115         (sender_host_address ? protocols : protocols_local)
5116           [ (esmtp
5117             ? pextend + (sender_host_authenticated ? pauthed : 0)
5118             : pnormal)
5119           + (tls_in.active >= 0 ? pcrpted : 0)
5120           ];
5121
5122       sender_host_authenticated = NULL;
5123       authenticated_id = NULL;
5124       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5125       DEBUG(D_tls) debug_printf("TLS active\n");
5126       break;     /* Successful STARTTLS */
5127       }
5128
5129     /* Some local configuration problem was discovered before actually trying
5130     to do a TLS handshake; give a temporary error. */
5131
5132     else if (rc == DEFER)
5133       {
5134       smtp_printf("454 TLS currently unavailable\r\n");
5135       break;
5136       }
5137
5138     /* Hard failure. Reject everything except QUIT or closed connection. One
5139     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5140     set, but we must still reject all incoming commands. */
5141
5142     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5143     while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5144       {
5145       case EOF_CMD:
5146         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5147           smtp_get_connection_info());
5148         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5149         done = 2;
5150         break;
5151
5152       /* It is perhaps arguable as to which exit ACL should be called here,
5153       but as it is probably a situation that almost never arises, it
5154       probably doesn't matter. We choose to call the real QUIT ACL, which in
5155       some sense is perhaps "right". */
5156
5157       case QUIT_CMD:
5158         user_msg = NULL;
5159         if (  acl_smtp_quit
5160            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5161                               &log_msg)) == ERROR))
5162             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5163               log_msg);
5164         if (user_msg)
5165           smtp_respond(US"221", 3, TRUE, user_msg);
5166         else
5167           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5168         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5169           smtp_get_connection_info());
5170         done = 2;
5171         break;
5172
5173       default:
5174         smtp_printf("554 Security failure\r\n");
5175         break;
5176       }
5177     tls_close(TRUE, TRUE);
5178     break;
5179     #endif
5180
5181
5182     /* The ACL for QUIT is provided for gathering statistical information or
5183     similar; it does not affect the response code, but it can supply a custom
5184     message. */
5185
5186     case QUIT_CMD:
5187     smtp_quit_handler(&user_msg, &log_msg);
5188     done = 2;
5189     break;
5190
5191
5192     case RSET_CMD:
5193     smtp_rset_handler();
5194     smtp_reset(reset_point);
5195     toomany = FALSE;
5196     break;
5197
5198
5199     case NOOP_CMD:
5200     HAD(SCH_NOOP);
5201     smtp_printf("250 OK\r\n");
5202     break;
5203
5204
5205     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5206     used, a check will be done for permitted hosts. Show STARTTLS only if not
5207     already in a TLS session and if it would be advertised in the EHLO
5208     response. */
5209
5210     case HELP_CMD:
5211     HAD(SCH_HELP);
5212     smtp_printf("214-Commands supported:\r\n");
5213       {
5214       uschar buffer[256];
5215       buffer[0] = 0;
5216       Ustrcat(buffer, " AUTH");
5217       #ifdef SUPPORT_TLS
5218       if (tls_in.active < 0 &&
5219           verify_check_host(&tls_advertise_hosts) != FAIL)
5220         Ustrcat(buffer, " STARTTLS");
5221       #endif
5222       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5223       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5224       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5225       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5226       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5227       smtp_printf("214%s\r\n", buffer);
5228       }
5229     break;
5230
5231
5232     case EOF_CMD:
5233     incomplete_transaction_log(US"connection lost");
5234     smtp_notquit_exit(US"connection-lost", US"421",
5235       US"%s lost input connection", smtp_active_hostname);
5236
5237     /* Don't log by default unless in the middle of a message, as some mailers
5238     just drop the call rather than sending QUIT, and it clutters up the logs.
5239     */
5240
5241     if (sender_address != NULL || recipients_count > 0)
5242       log_write(L_lost_incoming_connection,
5243           LOG_MAIN,
5244           "unexpected %s while reading SMTP command from %s%s",
5245           sender_host_unknown? "EOF" : "disconnection",
5246           host_and_ident(FALSE), smtp_read_error);
5247
5248     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5249       smtp_get_connection_info(), smtp_read_error);
5250
5251     done = 1;
5252     break;
5253
5254
5255     case ETRN_CMD:
5256     HAD(SCH_ETRN);
5257     if (sender_address != NULL)
5258       {
5259       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5260         US"ETRN is not permitted inside a transaction");
5261       break;
5262       }
5263
5264     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5265       host_and_ident(FALSE));
5266
5267     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5268                 &user_msg, &log_msg)) != OK)
5269       {
5270       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5271       break;
5272       }
5273
5274     /* Compute the serialization key for this command. */
5275
5276     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5277
5278     /* If a command has been specified for running as a result of ETRN, we
5279     permit any argument to ETRN. If not, only the # standard form is permitted,
5280     since that is strictly the only kind of ETRN that can be implemented
5281     according to the RFC. */
5282
5283     if (smtp_etrn_command != NULL)
5284       {
5285       uschar *error;
5286       BOOL rc;
5287       etrn_command = smtp_etrn_command;
5288       deliver_domain = smtp_cmd_data;
5289       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5290         US"ETRN processing", &error);
5291       deliver_domain = NULL;
5292       if (!rc)
5293         {
5294         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5295           error);
5296         smtp_printf("458 Internal failure\r\n");
5297         break;
5298         }
5299       }
5300
5301     /* Else set up to call Exim with the -R option. */
5302
5303     else
5304       {
5305       if (*smtp_cmd_data++ != '#')
5306         {
5307         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5308           US"argument must begin with #");
5309         break;
5310         }
5311       etrn_command = US"exim -R";
5312       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5313         *queue_name ? 4 : 2,
5314         US"-R", smtp_cmd_data,
5315         US"-MCG", queue_name);
5316       }
5317
5318     /* If we are host-testing, don't actually do anything. */
5319
5320     if (host_checking)
5321       {
5322       HDEBUG(D_any)
5323         {
5324         debug_printf("ETRN command is: %s\n", etrn_command);
5325         debug_printf("ETRN command execution skipped\n");
5326         }
5327       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5328         else smtp_user_msg(US"250", user_msg);
5329       break;
5330       }
5331
5332
5333     /* If ETRN queue runs are to be serialized, check the database to
5334     ensure one isn't already running. */
5335
5336     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5337       {
5338       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5339       break;
5340       }
5341
5342     /* Fork a child process and run the command. We don't want to have to
5343     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5344     forking. It should be set that way anyway for external incoming SMTP,
5345     but we save and restore to be tidy. If serialization is required, we
5346     actually run the command in yet another process, so we can wait for it
5347     to complete and then remove the serialization lock. */
5348
5349     oldsignal = signal(SIGCHLD, SIG_IGN);
5350
5351     if ((pid = fork()) == 0)
5352       {
5353       smtp_input = FALSE;       /* This process is not associated with the */
5354       (void)fclose(smtp_in);    /* SMTP call any more. */
5355       (void)fclose(smtp_out);
5356
5357       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5358
5359       /* If not serializing, do the exec right away. Otherwise, fork down
5360       into another process. */
5361
5362       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5363         {
5364         DEBUG(D_exec) debug_print_argv(argv);
5365         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5366         execv(CS argv[0], (char *const *)argv);
5367         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5368           etrn_command, strerror(errno));
5369         _exit(EXIT_FAILURE);         /* paranoia */
5370         }
5371
5372       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5373       is, we are in the first subprocess, after forking again. All we can do
5374       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5375       complete, before removing the serialization. */
5376
5377       if (pid < 0)
5378         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5379           "failed: %s", strerror(errno));
5380       else
5381         {
5382         int status;
5383         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5384           (int)pid);
5385         (void)wait(&status);
5386         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5387           (int)pid);
5388         }
5389
5390       enq_end(etrn_serialize_key);
5391       _exit(EXIT_SUCCESS);
5392       }
5393
5394     /* Back in the top level SMTP process. Check that we started a subprocess
5395     and restore the signal state. */
5396
5397     if (pid < 0)
5398       {
5399       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5400         strerror(errno));
5401       smtp_printf("458 Unable to fork process\r\n");
5402       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5403       }
5404     else
5405       {
5406       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5407         else smtp_user_msg(US"250", user_msg);
5408       }
5409
5410     signal(SIGCHLD, oldsignal);
5411     break;
5412
5413
5414     case BADARG_CMD:
5415     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5416       US"unexpected argument data");
5417     break;
5418
5419
5420     /* This currently happens only for NULLs, but could be extended. */
5421
5422     case BADCHAR_CMD:
5423     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5424       US"NULL character(s) present (shown as '?')");
5425     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5426     break;
5427
5428
5429     case BADSYN_CMD:
5430     SYNC_FAILURE:
5431     if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5432       smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5433     c = smtp_inend - smtp_inptr;
5434     if (c > 150) c = 150;
5435     smtp_inptr[c] = 0;
5436     incomplete_transaction_log(US"sync failure");
5437     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5438       "(next input sent too soon: pipelining was%s advertised): "
5439       "rejected \"%s\" %s next input=\"%s\"",
5440       pipelining_advertised? "" : " not",
5441       smtp_cmd_buffer, host_and_ident(TRUE),
5442       string_printing(smtp_inptr));
5443     smtp_notquit_exit(US"synchronization-error", US"554",
5444       US"SMTP synchronization error");
5445     done = 1;   /* Pretend eof - drops connection */
5446     break;
5447
5448
5449     case TOO_MANY_NONMAIL_CMD:
5450     s = smtp_cmd_buffer;
5451     while (*s != 0 && !isspace(*s)) s++;
5452     incomplete_transaction_log(US"too many non-mail commands");
5453     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5454       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5455       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5456     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5457     done = 1;   /* Pretend eof - drops connection */
5458     break;
5459
5460 #ifdef SUPPORT_PROXY
5461     case PROXY_FAIL_IGNORE_CMD:
5462     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5463     break;
5464 #endif
5465
5466     default:
5467     if (unknown_command_count++ >= smtp_max_unknown_commands)
5468       {
5469       log_write(L_smtp_syntax_error, LOG_MAIN,
5470         "SMTP syntax error in \"%s\" %s %s",
5471         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5472         US"unrecognized command");
5473       incomplete_transaction_log(US"unrecognized command");
5474       smtp_notquit_exit(US"bad-commands", US"500",
5475         US"Too many unrecognized commands");
5476       done = 2;
5477       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5478         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5479         string_printing(smtp_cmd_buffer));
5480       }
5481     else
5482       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5483         US"unrecognized command");
5484     break;
5485     }
5486
5487   /* This label is used by goto's inside loops that want to break out to
5488   the end of the command-processing loop. */
5489
5490   COMMAND_LOOP:
5491   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5492   last_was_rcpt = was_rcpt;             /* protocol error handling */
5493   continue;
5494   }
5495
5496 return done - 2;  /* Convert yield values */
5497 }
5498
5499 /* vi: aw ai sw=2
5500 */
5501 /* End of smtp_in.c */