CHUNKING: Reject messages with malformed line ending. Bug 2000
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static auth_instance *authenticated_by;
135 static BOOL auth_advertised;
136 #ifdef SUPPORT_TLS
137 static BOOL tls_advertised;
138 #endif
139 static BOOL dsn_advertised;
140 static BOOL esmtp;
141 static BOOL helo_required = FALSE;
142 static BOOL helo_verify = FALSE;
143 static BOOL helo_seen;
144 static BOOL helo_accept_junk;
145 static BOOL count_nonmail;
146 static BOOL pipelining_advertised;
147 static BOOL rcpt_smtp_response_same;
148 static BOOL rcpt_in_progress;
149 static int  nonmail_command_count;
150 static BOOL smtp_exit_function_called = 0;
151 #ifdef SUPPORT_I18N
152 static BOOL smtputf8_advertised;
153 #endif
154 static int  synprot_error_count;
155 static int  unknown_command_count;
156 static int  sync_cmd_limit;
157 static int  smtp_write_error = 0;
158
159 static uschar *rcpt_smtp_response;
160 static uschar *smtp_data_buffer;
161 static uschar *smtp_cmd_data;
162
163 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
164 final fields of all except AUTH are forced TRUE at the start of a new message
165 setup, to allow one of each between messages that is not counted as a nonmail
166 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
167 allow a new EHLO after starting up TLS.
168
169 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
170 counted. However, the flag is changed when AUTH is received, so that multiple
171 failing AUTHs will eventually hit the limit. After a successful AUTH, another
172 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
173 forced TRUE, to allow for the re-authentication that can happen at that point.
174
175 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
176 count of non-mail commands and possibly provoke an error.
177
178 tls_auth is a pseudo-command, never expected in input.  It is activated
179 on TLS startup and looks for a tls authenticator. */
180
181 static smtp_cmd_list cmd_list[] = {
182   /* name         len                     cmd     has_arg is_mail_cmd */
183
184   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
185   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
186   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
187   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
188   #ifdef SUPPORT_TLS
189   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
190   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
191   #endif
192
193 /* If you change anything above here, also fix the definitions below. */
194
195   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
196   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
197   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
198   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
199   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
200   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
201   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
202   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
203   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
204   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
205 };
206
207 static smtp_cmd_list *cmd_list_end =
208   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
209
210 #define CMD_LIST_RSET      0
211 #define CMD_LIST_HELO      1
212 #define CMD_LIST_EHLO      2
213 #define CMD_LIST_AUTH      3
214 #define CMD_LIST_STARTTLS  4
215 #define CMD_LIST_TLS_AUTH  5
216
217 /* This list of names is used for performing the smtp_no_mail logging action.
218 It must be kept in step with the SCH_xxx enumerations. */
219
220 static uschar *smtp_names[] =
221   {
222   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
223   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
224   US"STARTTLS", US"VRFY" };
225
226 static uschar *protocols_local[] = {
227   US"local-smtp",        /* HELO */
228   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
229   US"local-esmtp",       /* EHLO */
230   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
231   US"local-esmtpa",      /* EHLO->AUTH */
232   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
233   };
234 static uschar *protocols[] = {
235   US"smtp",              /* HELO */
236   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
237   US"esmtp",             /* EHLO */
238   US"esmtps",            /* EHLO->STARTTLS->EHLO */
239   US"esmtpa",            /* EHLO->AUTH */
240   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
241   };
242
243 #define pnormal  0
244 #define pextend  2
245 #define pcrpted  1  /* added to pextend or pnormal */
246 #define pauthed  2  /* added to pextend */
247
248 /* Sanity check and validate optional args to MAIL FROM: envelope */
249 enum {
250   ENV_MAIL_OPT_NULL,
251   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
252 #ifndef DISABLE_PRDR
253   ENV_MAIL_OPT_PRDR,
254 #endif
255   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
256 #ifdef SUPPORT_I18N
257   ENV_MAIL_OPT_UTF8,
258 #endif
259   };
260 typedef struct {
261   uschar *   name;  /* option requested during MAIL cmd */
262   int       value;  /* enum type */
263   BOOL need_value;  /* TRUE requires value (name=value pair format)
264                        FALSE is a singleton */
265   } env_mail_type_t;
266 static env_mail_type_t env_mail_type_list[] = {
267     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
268     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
269     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
270 #ifndef DISABLE_PRDR
271     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
272 #endif
273     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
274     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
275 #ifdef SUPPORT_I18N
276     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
277 #endif
278     /* keep this the last entry */
279     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
280   };
281
282 /* When reading SMTP from a remote host, we have to use our own versions of the
283 C input-reading functions, in order to be able to flush the SMTP output only
284 when about to read more data from the socket. This is the only way to get
285 optimal performance when the client is using pipelining. Flushing for every
286 command causes a separate packet and reply packet each time; saving all the
287 responses up (when pipelining) combines them into one packet and one response.
288
289 For simplicity, these functions are used for *all* SMTP input, not only when
290 receiving over a socket. However, after setting up a secure socket (SSL), input
291 is read via the OpenSSL library, and another set of functions is used instead
292 (see tls.c).
293
294 These functions are set in the receive_getc etc. variables and called with the
295 same interface as the C functions. However, since there can only ever be
296 one incoming SMTP call, we just use a single buffer and flags. There is no need
297 to implement a complicated private FILE-like structure.*/
298
299 static uschar *smtp_inbuffer;
300 static uschar *smtp_inptr;
301 static uschar *smtp_inend;
302 static int     smtp_had_eof;
303 static int     smtp_had_error;
304
305
306 /* forward declarations */
307 int bdat_ungetc(int ch);
308 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
309 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
310 static void smtp_quit_handler(uschar **, uschar **);
311 static void smtp_rset_handler(void);
312
313 /*************************************************
314 *          Recheck synchronization               *
315 *************************************************/
316
317 /* Synchronization checks can never be perfect because a packet may be on its
318 way but not arrived when the check is done. Such checks can in any case only be
319 done when TLS is not in use. Normally, the checks happen when commands are
320 read: Exim ensures that there is no more input in the input buffer. In normal
321 cases, the response to the command will be fast, and there is no further check.
322
323 However, for some commands an ACL is run, and that can include delays. In those
324 cases, it is useful to do another check on the input just before sending the
325 response. This also applies at the start of a connection. This function does
326 that check by means of the select() function, as long as the facility is not
327 disabled or inappropriate. A failure of select() is ignored.
328
329 When there is unwanted input, we read it so that it appears in the log of the
330 error.
331
332 Arguments: none
333 Returns:   TRUE if all is well; FALSE if there is input pending
334 */
335
336 static BOOL
337 check_sync(void)
338 {
339 int fd, rc;
340 fd_set fds;
341 struct timeval tzero;
342
343 if (!smtp_enforce_sync || sender_host_address == NULL ||
344     sender_host_notsocket || tls_in.active >= 0)
345   return TRUE;
346
347 fd = fileno(smtp_in);
348 FD_ZERO(&fds);
349 FD_SET(fd, &fds);
350 tzero.tv_sec = 0;
351 tzero.tv_usec = 0;
352 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
353
354 if (rc <= 0) return TRUE;     /* Not ready to read */
355 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
356 if (rc < 0) return TRUE;      /* End of file or error */
357
358 smtp_ungetc(rc);
359 rc = smtp_inend - smtp_inptr;
360 if (rc > 150) rc = 150;
361 smtp_inptr[rc] = 0;
362 return FALSE;
363 }
364
365
366
367 /*************************************************
368 *          Log incomplete transactions           *
369 *************************************************/
370
371 /* This function is called after a transaction has been aborted by RSET, QUIT,
372 connection drops or other errors. It logs the envelope information received
373 so far in order to preserve address verification attempts.
374
375 Argument:   string to indicate what aborted the transaction
376 Returns:    nothing
377 */
378
379 static void
380 incomplete_transaction_log(uschar *what)
381 {
382 if (sender_address == NULL ||                 /* No transaction in progress */
383     !LOGGING(smtp_incomplete_transaction))
384   return;
385
386 /* Build list of recipients for logging */
387
388 if (recipients_count > 0)
389   {
390   int i;
391   raw_recipients = store_get(recipients_count * sizeof(uschar *));
392   for (i = 0; i < recipients_count; i++)
393     raw_recipients[i] = recipients_list[i].address;
394   raw_recipients_count = recipients_count;
395   }
396
397 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
398   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
399 }
400
401
402
403
404 /*************************************************
405 *          SMTP version of getc()                *
406 *************************************************/
407
408 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
409 it flushes the output, and refills the buffer, with a timeout. The signal
410 handler is set appropriately by the calling function. This function is not used
411 after a connection has negotiated itself into an TLS/SSL state.
412
413 Arguments:  lim         Maximum amount to read/buffer
414 Returns:    the next character or EOF
415 */
416
417 int
418 smtp_getc(unsigned lim)
419 {
420 if (smtp_inptr >= smtp_inend)
421   {
422   int rc, save_errno;
423   if (!smtp_out) return EOF;
424   fflush(smtp_out);
425   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
426
427   /* Limit amount read, so non-message data is not fed to DKIM */
428
429   rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE, lim));
430   save_errno = errno;
431   alarm(0);
432   if (rc <= 0)
433     {
434     /* Must put the error text in fixed store, because this might be during
435     header reading, where it releases unused store above the header. */
436     if (rc < 0)
437       {
438       smtp_had_error = save_errno;
439       smtp_read_error = string_copy_malloc(
440         string_sprintf(" (error: %s)", strerror(save_errno)));
441       }
442     else smtp_had_eof = 1;
443     return EOF;
444     }
445 #ifndef DISABLE_DKIM
446   dkim_exim_verify_feed(smtp_inbuffer, rc);
447 #endif
448   smtp_inend = smtp_inbuffer + rc;
449   smtp_inptr = smtp_inbuffer;
450   }
451 return *smtp_inptr++;
452 }
453
454 void
455 smtp_get_cache(void)
456 {
457 #ifndef DISABLE_DKIM
458 int n = smtp_inend - smtp_inptr;
459 if (n > 0)
460   dkim_exim_verify_feed(smtp_inptr, n);
461 #endif
462 }
463
464
465 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
466 previous BDAT chunk and getting new ones when we run out.  Uses the
467 underlying smtp_getc or tls_getc both for that and for getting the
468 (buffered) data byte.  EOD signals (an expected) no further data.
469 ERR signals a protocol error, and EOF a closed input stream.
470
471 Called from read_bdat_smtp() in receive.c for the message body, but also
472 by the headers read loop in receive_msg(); manipulates chunking_state
473 to handle the BDAT command/response.
474 Placed here due to the correlation with the above smtp_getc(), which it wraps,
475 and also by the need to do smtp command/response handling.
476
477 Arguments:  lim         (ignored)
478 Returns:    the next character or ERR, EOD or EOF
479 */
480
481 int
482 bdat_getc(unsigned lim)
483 {
484 uschar * user_msg = NULL;
485 uschar * log_msg;
486
487 for(;;)
488   {
489   if (chunking_data_left > 0)
490     return lwr_receive_getc(chunking_data_left--);
491
492   receive_getc = lwr_receive_getc;
493   receive_ungetc = lwr_receive_ungetc;
494 #ifndef DISABLE_DKIM
495   dkim_collect_input = FALSE;
496 #endif
497
498   /* Unless PIPELINING was offered, there should be no next command
499   until after we ack that chunk */
500
501   if (!pipelining_advertised && !check_sync())
502     {
503     incomplete_transaction_log(US"sync failure");
504     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
505       "(next input sent too soon: pipelining was not advertised): "
506       "rejected \"%s\" %s next input=\"%s\"",
507       smtp_cmd_buffer, host_and_ident(TRUE),
508       string_printing(smtp_inptr));
509       (void) synprot_error(L_smtp_protocol_error, 554, NULL,
510         US"SMTP synchronization error");
511     goto repeat_until_rset;
512     }
513
514   /* If not the last, ack the received chunk.  The last response is delayed
515   until after the data ACL decides on it */
516
517   if (chunking_state == CHUNKING_LAST)
518     {
519 #ifndef DISABLE_DKIM
520     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
521 #endif
522     return EOD;
523     }
524
525   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
526   chunking_state = CHUNKING_OFFERED;
527   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
528
529   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
530   QUIT, RSET or NOOP but handling them seems obvious */
531
532 next_cmd:
533   switch(smtp_read_command(TRUE, 1))
534     {
535     default:
536       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
537         US"only BDAT permissible after non-LAST BDAT");
538
539   repeat_until_rset:
540       switch(smtp_read_command(TRUE, 1))
541         {
542         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
543         case EOF_CMD:   return EOF;
544         case RSET_CMD:  smtp_rset_handler(); return ERR;
545         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
546                                           US"only RSET accepted now") > 0)
547                           return EOF;
548                         goto repeat_until_rset;
549         }
550
551     case QUIT_CMD:
552       smtp_quit_handler(&user_msg, &log_msg);
553       /*FALLTHROUGH*/
554     case EOF_CMD:
555       return EOF;
556
557     case RSET_CMD:
558       smtp_rset_handler();
559       return ERR;
560
561     case NOOP_CMD:
562       HAD(SCH_NOOP);
563       smtp_printf("250 OK\r\n");
564       goto next_cmd;
565
566     case BDAT_CMD:
567       {
568       int n;
569
570       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
571         {
572         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
573           US"missing size for BDAT command");
574         return ERR;
575         }
576       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
577         ? CHUNKING_LAST : CHUNKING_ACTIVE;
578       chunking_data_left = chunking_datasize;
579       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
580                                     (int)chunking_state, chunking_data_left);
581
582       if (chunking_datasize == 0)
583         if (chunking_state == CHUNKING_LAST)
584           return EOD;
585         else
586           {
587           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
588             US"zero size for BDAT command");
589           goto repeat_until_rset;
590           }
591
592       receive_getc = bdat_getc;
593       receive_ungetc = bdat_ungetc;
594 #ifndef DISABLE_DKIM
595       dkim_collect_input = TRUE;
596 #endif
597       break;    /* to top of main loop */
598       }
599     }
600   }
601 }
602
603 void
604 bdat_flush_data(void)
605 {
606 while (chunking_data_left > 0)
607   if (lwr_receive_getc(chunking_data_left--) < 0)
608     break;
609
610 receive_getc = lwr_receive_getc;
611 receive_ungetc = lwr_receive_ungetc;
612
613 if (chunking_state != CHUNKING_LAST)
614   {
615   chunking_state = CHUNKING_OFFERED;
616   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
617   }
618 }
619
620
621
622
623 /*************************************************
624 *          SMTP version of ungetc()              *
625 *************************************************/
626
627 /* Puts a character back in the input buffer. Only ever
628 called once.
629
630 Arguments:
631   ch           the character
632
633 Returns:       the character
634 */
635
636 int
637 smtp_ungetc(int ch)
638 {
639 *--smtp_inptr = ch;
640 return ch;
641 }
642
643
644 int
645 bdat_ungetc(int ch)
646 {
647 chunking_data_left++;
648 return lwr_receive_ungetc(ch);
649 }
650
651
652
653 /*************************************************
654 *          SMTP version of feof()                *
655 *************************************************/
656
657 /* Tests for a previous EOF
658
659 Arguments:     none
660 Returns:       non-zero if the eof flag is set
661 */
662
663 int
664 smtp_feof(void)
665 {
666 return smtp_had_eof;
667 }
668
669
670
671
672 /*************************************************
673 *          SMTP version of ferror()              *
674 *************************************************/
675
676 /* Tests for a previous read error, and returns with errno
677 restored to what it was when the error was detected.
678
679 Arguments:     none
680 Returns:       non-zero if the error flag is set
681 */
682
683 int
684 smtp_ferror(void)
685 {
686 errno = smtp_had_error;
687 return smtp_had_error;
688 }
689
690
691
692 /*************************************************
693 *      Test for characters in the SMTP buffer    *
694 *************************************************/
695
696 /* Used at the end of a message
697
698 Arguments:     none
699 Returns:       TRUE/FALSE
700 */
701
702 BOOL
703 smtp_buffered(void)
704 {
705 return smtp_inptr < smtp_inend;
706 }
707
708
709
710 /*************************************************
711 *     Write formatted string to SMTP channel     *
712 *************************************************/
713
714 /* This is a separate function so that we don't have to repeat everything for
715 TLS support or debugging. It is global so that the daemon and the
716 authentication functions can use it. It does not return any error indication,
717 because major problems such as dropped connections won't show up till an output
718 flush for non-TLS connections. The smtp_fflush() function is available for
719 checking that: for convenience, TLS output errors are remembered here so that
720 they are also picked up later by smtp_fflush().
721
722 Arguments:
723   format      format string
724   ...         optional arguments
725
726 Returns:      nothing
727 */
728
729 void
730 smtp_printf(const char *format, ...)
731 {
732 va_list ap;
733
734 va_start(ap, format);
735 smtp_vprintf(format, ap);
736 va_end(ap);
737 }
738
739 /* This is split off so that verify.c:respond_printf() can, in effect, call
740 smtp_printf(), bearing in mind that in C a vararg function can't directly
741 call another vararg function, only a function which accepts a va_list. */
742
743 void
744 smtp_vprintf(const char *format, va_list ap)
745 {
746 BOOL yield;
747
748 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
749
750 DEBUG(D_receive)
751   {
752   void *reset_point = store_get(0);
753   uschar *msg_copy, *cr, *end;
754   msg_copy = string_copy(big_buffer);
755   end = msg_copy + Ustrlen(msg_copy);
756   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
757   memmove(cr, cr + 1, (end--) - cr);
758   debug_printf("SMTP>> %s", msg_copy);
759   store_reset(reset_point);
760   }
761
762 if (!yield)
763   {
764   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
765   smtp_closedown(US"Unexpected error");
766   exim_exit(EXIT_FAILURE);
767   }
768
769 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
770 have had the same. Note: this code is also present in smtp_respond(). It would
771 be tidier to have it only in one place, but when it was added, it was easier to
772 do it that way, so as not to have to mess with the code for the RCPT command,
773 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
774
775 if (rcpt_in_progress)
776   {
777   if (rcpt_smtp_response == NULL)
778     rcpt_smtp_response = string_copy(big_buffer);
779   else if (rcpt_smtp_response_same &&
780            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
781     rcpt_smtp_response_same = FALSE;
782   rcpt_in_progress = FALSE;
783   }
784
785 /* Now write the string */
786
787 #ifdef SUPPORT_TLS
788 if (tls_in.active >= 0)
789   {
790   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
791     smtp_write_error = -1;
792   }
793 else
794 #endif
795
796 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
797 }
798
799
800
801 /*************************************************
802 *        Flush SMTP out and check for error      *
803 *************************************************/
804
805 /* This function isn't currently used within Exim (it detects errors when it
806 tries to read the next SMTP input), but is available for use in local_scan().
807 For non-TLS connections, it flushes the output and checks for errors. For
808 TLS-connections, it checks for a previously-detected TLS write error.
809
810 Arguments:  none
811 Returns:    0 for no error; -1 after an error
812 */
813
814 int
815 smtp_fflush(void)
816 {
817 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
818 return smtp_write_error;
819 }
820
821
822
823 /*************************************************
824 *          SMTP command read timeout             *
825 *************************************************/
826
827 /* Signal handler for timing out incoming SMTP commands. This attempts to
828 finish off tidily.
829
830 Argument: signal number (SIGALRM)
831 Returns:  nothing
832 */
833
834 static void
835 command_timeout_handler(int sig)
836 {
837 sig = sig;    /* Keep picky compilers happy */
838 log_write(L_lost_incoming_connection,
839           LOG_MAIN, "SMTP command timeout on%s connection from %s",
840           (tls_in.active >= 0)? " TLS" : "",
841           host_and_ident(FALSE));
842 if (smtp_batched_input)
843   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
844 smtp_notquit_exit(US"command-timeout", US"421",
845   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
846 exim_exit(EXIT_FAILURE);
847 }
848
849
850
851 /*************************************************
852 *               SIGTERM received                 *
853 *************************************************/
854
855 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
856
857 Argument: signal number (SIGTERM)
858 Returns:  nothing
859 */
860
861 static void
862 command_sigterm_handler(int sig)
863 {
864 sig = sig;    /* Keep picky compilers happy */
865 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
866 if (smtp_batched_input)
867   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
868 smtp_notquit_exit(US"signal-exit", US"421",
869   US"%s: Service not available - closing connection", smtp_active_hostname);
870 exim_exit(EXIT_FAILURE);
871 }
872
873
874
875
876 #ifdef SUPPORT_PROXY
877 /*************************************************
878 *     Restore socket timeout to previous value   *
879 *************************************************/
880 /* If the previous value was successfully retrieved, restore
881 it before returning control to the non-proxy routines
882
883 Arguments: fd     - File descriptor for input
884            get_ok - Successfully retrieved previous values
885            tvtmp  - Time struct with previous values
886            vslen  - Length of time struct
887 Returns:   none
888 */
889 static void
890 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
891 {
892 if (get_ok == 0)
893   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
894 }
895
896 /*************************************************
897 *       Check if host is required proxy host     *
898 *************************************************/
899 /* The function determines if inbound host will be a regular smtp host
900 or if it is configured that it must use Proxy Protocol.  A local
901 connection cannot.
902
903 Arguments: none
904 Returns:   bool
905 */
906
907 static BOOL
908 check_proxy_protocol_host()
909 {
910 int rc;
911
912 if (  sender_host_address
913    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
914                            sender_host_address, NULL)) == OK)
915   {
916   DEBUG(D_receive)
917     debug_printf("Detected proxy protocol configured host\n");
918   proxy_session = TRUE;
919   }
920 return proxy_session;
921 }
922
923
924 /*************************************************
925 *         Setup host for proxy protocol          *
926 *************************************************/
927 /* The function configures the connection based on a header from the
928 inbound host to use Proxy Protocol. The specification is very exact
929 so exit with an error if do not find the exact required pieces. This
930 includes an incorrect number of spaces separating args.
931
932 Arguments: none
933 Returns:   Boolean success
934 */
935
936 static void
937 setup_proxy_protocol_host()
938 {
939 union {
940   struct {
941     uschar line[108];
942   } v1;
943   struct {
944     uschar sig[12];
945     uint8_t ver_cmd;
946     uint8_t fam;
947     uint16_t len;
948     union {
949       struct { /* TCP/UDP over IPv4, len = 12 */
950         uint32_t src_addr;
951         uint32_t dst_addr;
952         uint16_t src_port;
953         uint16_t dst_port;
954       } ip4;
955       struct { /* TCP/UDP over IPv6, len = 36 */
956         uint8_t  src_addr[16];
957         uint8_t  dst_addr[16];
958         uint16_t src_port;
959         uint16_t dst_port;
960       } ip6;
961       struct { /* AF_UNIX sockets, len = 216 */
962         uschar   src_addr[108];
963         uschar   dst_addr[108];
964       } unx;
965     } addr;
966   } v2;
967 } hdr;
968
969 /* Temp variables used in PPv2 address:port parsing */
970 uint16_t tmpport;
971 char tmpip[INET_ADDRSTRLEN];
972 struct sockaddr_in tmpaddr;
973 char tmpip6[INET6_ADDRSTRLEN];
974 struct sockaddr_in6 tmpaddr6;
975
976 int get_ok = 0;
977 int size, ret;
978 int fd = fileno(smtp_in);
979 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
980 uschar *iptype;  /* To display debug info */
981 struct timeval tv;
982 struct timeval tvtmp;
983 socklen_t vslen = sizeof(struct timeval);
984 BOOL yield = FALSE;
985
986 /* Save current socket timeout values */
987 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
988
989 /* Proxy Protocol host must send header within a short time
990 (default 3 seconds) or it's considered invalid */
991 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
992 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
993 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
994   goto bad;
995
996 do
997   {
998   /* The inbound host was declared to be a Proxy Protocol host, so
999      don't do a PEEK into the data, actually slurp it up. */
1000   ret = recv(fd, &hdr, sizeof(hdr), 0);
1001   }
1002   while (ret == -1 && errno == EINTR);
1003
1004 if (ret == -1)
1005   goto proxyfail;
1006
1007 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1008   {
1009   uint8_t ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1010   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1011
1012   /* May 2014: haproxy combined the version and command into one byte to
1013      allow two full bytes for the length field in order to proxy SSL
1014      connections.  SSL Proxy is not supported in this version of Exim, but
1015      must still separate values here. */
1016
1017   if (ver != 0x02)
1018     {
1019     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1020     goto proxyfail;
1021     }
1022   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
1023   /* The v2 header will always be 16 bytes per the spec. */
1024   size = 16 + ntohs(hdr.v2.len);
1025   if (ret < size)
1026     {
1027     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
1028                                   ret, size);
1029     goto proxyfail;
1030     }
1031   switch (cmd)
1032     {
1033     case 0x01: /* PROXY command */
1034       switch (hdr.v2.fam)
1035         {
1036         case 0x11:  /* TCPv4 address type */
1037           iptype = US"IPv4";
1038           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1039           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1040           if (!string_is_ip_address(US tmpip, NULL))
1041             {
1042             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1043             goto proxyfail;
1044             }
1045           proxy_local_address = sender_host_address;
1046           sender_host_address = string_copy(US tmpip);
1047           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1048           proxy_local_port    = sender_host_port;
1049           sender_host_port    = tmpport;
1050           /* Save dest ip/port */
1051           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1052           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1053           if (!string_is_ip_address(US tmpip, NULL))
1054             {
1055             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1056             goto proxyfail;
1057             }
1058           proxy_external_address = string_copy(US tmpip);
1059           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1060           proxy_external_port  = tmpport;
1061           goto done;
1062         case 0x21:  /* TCPv6 address type */
1063           iptype = US"IPv6";
1064           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1065           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1066           if (!string_is_ip_address(US tmpip6, NULL))
1067             {
1068             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1069             goto proxyfail;
1070             }
1071           proxy_local_address = sender_host_address;
1072           sender_host_address = string_copy(US tmpip6);
1073           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1074           proxy_local_port    = sender_host_port;
1075           sender_host_port    = tmpport;
1076           /* Save dest ip/port */
1077           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1078           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1079           if (!string_is_ip_address(US tmpip6, NULL))
1080             {
1081             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1082             goto proxyfail;
1083             }
1084           proxy_external_address = string_copy(US tmpip6);
1085           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1086           proxy_external_port  = tmpport;
1087           goto done;
1088         default:
1089           DEBUG(D_receive)
1090             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1091                          hdr.v2.fam);
1092           goto proxyfail;
1093         }
1094       /* Unsupported protocol, keep local connection address */
1095       break;
1096     case 0x00: /* LOCAL command */
1097       /* Keep local connection address for LOCAL */
1098       break;
1099     default:
1100       DEBUG(D_receive)
1101         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1102       goto proxyfail;
1103     }
1104   }
1105 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1106   {
1107   uschar *p = string_copy(hdr.v1.line);
1108   uschar *end = memchr(p, '\r', ret - 1);
1109   uschar *sp;     /* Utility variables follow */
1110   int     tmp_port;
1111   char   *endc;
1112
1113   if (!end || end[1] != '\n')
1114     {
1115     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1116     goto proxyfail;
1117     }
1118   *end = '\0'; /* Terminate the string */
1119   size = end + 2 - hdr.v1.line; /* Skip header + CRLF */
1120   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1121   /* Step through the string looking for the required fields. Ensure
1122      strict adherence to required formatting, exit for any error. */
1123   p += 5;
1124   if (!isspace(*(p++)))
1125     {
1126     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1127     goto proxyfail;
1128     }
1129   if (!Ustrncmp(p, CCS"TCP4", 4))
1130     iptype = US"IPv4";
1131   else if (!Ustrncmp(p,CCS"TCP6", 4))
1132     iptype = US"IPv6";
1133   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1134     {
1135     iptype = US"Unknown";
1136     goto done;
1137     }
1138   else
1139     {
1140     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1141     goto proxyfail;
1142     }
1143
1144   p += Ustrlen(iptype);
1145   if (!isspace(*(p++)))
1146     {
1147     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1148     goto proxyfail;
1149     }
1150   /* Find the end of the arg */
1151   if ((sp = Ustrchr(p, ' ')) == NULL)
1152     {
1153     DEBUG(D_receive)
1154       debug_printf("Did not find proxied src %s\n", iptype);
1155     goto proxyfail;
1156     }
1157   *sp = '\0';
1158   if(!string_is_ip_address(p, NULL))
1159     {
1160     DEBUG(D_receive)
1161       debug_printf("Proxied src arg is not an %s address\n", iptype);
1162     goto proxyfail;
1163     }
1164   proxy_local_address = sender_host_address;
1165   sender_host_address = p;
1166   p = sp + 1;
1167   if ((sp = Ustrchr(p, ' ')) == NULL)
1168     {
1169     DEBUG(D_receive)
1170       debug_printf("Did not find proxy dest %s\n", iptype);
1171     goto proxyfail;
1172     }
1173   *sp = '\0';
1174   if(!string_is_ip_address(p, NULL))
1175     {
1176     DEBUG(D_receive)
1177       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1178     goto proxyfail;
1179     }
1180   proxy_external_address = p;
1181   p = sp + 1;
1182   if ((sp = Ustrchr(p, ' ')) == NULL)
1183     {
1184     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1185     goto proxyfail;
1186     }
1187   *sp = '\0';
1188   tmp_port = strtol(CCS p, &endc, 10);
1189   if (*endc || tmp_port == 0)
1190     {
1191     DEBUG(D_receive)
1192       debug_printf("Proxied src port '%s' not an integer\n", p);
1193     goto proxyfail;
1194     }
1195   proxy_local_port = sender_host_port;
1196   sender_host_port = tmp_port;
1197   p = sp + 1;
1198   if ((sp = Ustrchr(p, '\0')) == NULL)
1199     {
1200     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1201     goto proxyfail;
1202     }
1203   tmp_port = strtol(CCS p, &endc, 10);
1204   if (*endc || tmp_port == 0)
1205     {
1206     DEBUG(D_receive)
1207       debug_printf("Proxy dest port '%s' not an integer\n", p);
1208     goto proxyfail;
1209     }
1210   proxy_external_port = tmp_port;
1211   /* Already checked for /r /n above. Good V1 header received. */
1212   }
1213 else
1214   {
1215   /* Wrong protocol */
1216   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1217   goto proxyfail;
1218   }
1219
1220 done:
1221   DEBUG(D_receive)
1222     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1223   yield = proxy_session;
1224
1225 /* Don't flush any potential buffer contents. Any input on proxyfail
1226 should cause a synchronization failure */
1227
1228 proxyfail:
1229   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1230
1231 bad:
1232   if (yield)
1233     {
1234     sender_host_name = NULL;
1235     (void) host_name_lookup();
1236     host_build_sender_fullhost();
1237     }
1238   else
1239     {
1240     proxy_session_failed = TRUE;
1241     DEBUG(D_receive)
1242       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1243     }
1244
1245 return;
1246 }
1247 #endif
1248
1249 /*************************************************
1250 *           Read one command line                *
1251 *************************************************/
1252
1253 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1254 There are sites that don't do this, and in any case internal SMTP probably
1255 should check only for LF. Consequently, we check here for LF only. The line
1256 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1257 an unknown command. The command is read into the global smtp_cmd_buffer so that
1258 it is available via $smtp_command.
1259
1260 The character reading routine sets up a timeout for each block actually read
1261 from the input (which may contain more than one command). We set up a special
1262 signal handler that closes down the session on a timeout. Control does not
1263 return when it runs.
1264
1265 Arguments:
1266   check_sync    if TRUE, check synchronization rules if global option is TRUE
1267   buffer_lim    maximum to buffer in lower layer
1268
1269 Returns:       a code identifying the command (enumerated above)
1270 */
1271
1272 static int
1273 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1274 {
1275 int c;
1276 int ptr = 0;
1277 smtp_cmd_list *p;
1278 BOOL hadnull = FALSE;
1279
1280 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1281
1282 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1283   {
1284   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1285     {
1286     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1287     return OTHER_CMD;
1288     }
1289   if (c == 0)
1290     {
1291     hadnull = TRUE;
1292     c = '?';
1293     }
1294   smtp_cmd_buffer[ptr++] = c;
1295   }
1296
1297 receive_linecount++;    /* For BSMTP errors */
1298 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1299
1300 /* If hit end of file, return pseudo EOF command. Whether we have a
1301 part-line already read doesn't matter, since this is an error state. */
1302
1303 if (c == EOF) return EOF_CMD;
1304
1305 /* Remove any CR and white space at the end of the line, and terminate the
1306 string. */
1307
1308 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1309 smtp_cmd_buffer[ptr] = 0;
1310
1311 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1312
1313 /* NULLs are not allowed in SMTP commands */
1314
1315 if (hadnull) return BADCHAR_CMD;
1316
1317 /* Scan command list and return identity, having set the data pointer
1318 to the start of the actual data characters. Check for SMTP synchronization
1319 if required. */
1320
1321 for (p = cmd_list; p < cmd_list_end; p++)
1322   {
1323 #ifdef SUPPORT_PROXY
1324   /* Only allow QUIT command if Proxy Protocol parsing failed */
1325   if (proxy_session && proxy_session_failed && p->cmd != QUIT_CMD)
1326     continue;
1327 #endif
1328   if (  p->len
1329      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1330      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1331         || smtp_cmd_buffer[p->len] == 0
1332         || smtp_cmd_buffer[p->len] == ' '
1333      )  )
1334     {
1335     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1336         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1337         check_sync &&                                  /* Local flag set */
1338         smtp_enforce_sync &&                           /* Global flag set */
1339         sender_host_address != NULL &&                 /* Not local input */
1340         !sender_host_notsocket)                        /* Really is a socket */
1341       return BADSYN_CMD;
1342
1343     /* The variables $smtp_command and $smtp_command_argument point into the
1344     unmodified input buffer. A copy of the latter is taken for actual
1345     processing, so that it can be chopped up into separate parts if necessary,
1346     for example, when processing a MAIL command options such as SIZE that can
1347     follow the sender address. */
1348
1349     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1350     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1351     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1352     smtp_cmd_data = smtp_data_buffer;
1353
1354     /* Count non-mail commands from those hosts that are controlled in this
1355     way. The default is all hosts. We don't waste effort checking the list
1356     until we get a non-mail command, but then cache the result to save checking
1357     again. If there's a DEFER while checking the host, assume it's in the list.
1358
1359     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1360     start of each incoming message by fiddling with the value in the table. */
1361
1362     if (!p->is_mail_cmd)
1363       {
1364       if (count_nonmail == TRUE_UNSET) count_nonmail =
1365         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1366       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1367         return TOO_MANY_NONMAIL_CMD;
1368       }
1369
1370     /* If there is data for a command that does not expect it, generate the
1371     error here. */
1372
1373     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1374     }
1375   }
1376
1377 #ifdef SUPPORT_PROXY
1378 /* Only allow QUIT command if Proxy Protocol parsing failed */
1379 if (proxy_session && proxy_session_failed)
1380   return PROXY_FAIL_IGNORE_CMD;
1381 #endif
1382
1383 /* Enforce synchronization for unknown commands */
1384
1385 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1386     check_sync &&                                  /* Local flag set */
1387     smtp_enforce_sync &&                           /* Global flag set */
1388     sender_host_address != NULL &&                 /* Not local input */
1389     !sender_host_notsocket)                        /* Really is a socket */
1390   return BADSYN_CMD;
1391
1392 return OTHER_CMD;
1393 }
1394
1395
1396
1397 /*************************************************
1398 *          Forced closedown of call              *
1399 *************************************************/
1400
1401 /* This function is called from log.c when Exim is dying because of a serious
1402 disaster, and also from some other places. If an incoming non-batched SMTP
1403 channel is open, it swallows the rest of the incoming message if in the DATA
1404 phase, sends the reply string, and gives an error to all subsequent commands
1405 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1406 smtp_in.
1407
1408 Arguments:
1409   message   SMTP reply string to send, excluding the code
1410
1411 Returns:    nothing
1412 */
1413
1414 void
1415 smtp_closedown(uschar *message)
1416 {
1417 if (smtp_in == NULL || smtp_batched_input) return;
1418 receive_swallow_smtp();
1419 smtp_printf("421 %s\r\n", message);
1420
1421 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1422   {
1423   case EOF_CMD:
1424   return;
1425
1426   case QUIT_CMD:
1427   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1428   mac_smtp_fflush();
1429   return;
1430
1431   case RSET_CMD:
1432   smtp_printf("250 Reset OK\r\n");
1433   break;
1434
1435   default:
1436   smtp_printf("421 %s\r\n", message);
1437   break;
1438   }
1439 }
1440
1441
1442
1443
1444 /*************************************************
1445 *        Set up connection info for logging      *
1446 *************************************************/
1447
1448 /* This function is called when logging information about an SMTP connection.
1449 It sets up appropriate source information, depending on the type of connection.
1450 If sender_fullhost is NULL, we are at a very early stage of the connection;
1451 just use the IP address.
1452
1453 Argument:    none
1454 Returns:     a string describing the connection
1455 */
1456
1457 uschar *
1458 smtp_get_connection_info(void)
1459 {
1460 const uschar * hostname = sender_fullhost
1461   ? sender_fullhost : sender_host_address;
1462
1463 if (host_checking)
1464   return string_sprintf("SMTP connection from %s", hostname);
1465
1466 if (sender_host_unknown || sender_host_notsocket)
1467   return string_sprintf("SMTP connection from %s", sender_ident);
1468
1469 if (is_inetd)
1470   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1471
1472 if (LOGGING(incoming_interface) && interface_address != NULL)
1473   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1474     interface_address, interface_port);
1475
1476 return string_sprintf("SMTP connection from %s", hostname);
1477 }
1478
1479
1480
1481 #ifdef SUPPORT_TLS
1482 /* Append TLS-related information to a log line
1483
1484 Arguments:
1485   s             String under construction: allocated string to extend, or NULL
1486   sizep         Pointer to current allocation size (update on return), or NULL
1487   ptrp          Pointer to index for new entries in string (update on return), or NULL
1488
1489 Returns:        Allocated string or NULL
1490 */
1491 static uschar *
1492 s_tlslog(uschar * s, int * sizep, int * ptrp)
1493 {
1494   int size = sizep ? *sizep : 0;
1495   int ptr = ptrp ? *ptrp : 0;
1496
1497   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1498     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1499   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1500     s = string_append(s, &size, &ptr, 2, US" CV=",
1501       tls_in.certificate_verified? "yes":"no");
1502   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1503     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1504       string_printing(tls_in.peerdn), US"\"");
1505   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1506     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1507       string_printing(tls_in.sni), US"\"");
1508
1509   if (s)
1510     {
1511     s[ptr] = '\0';
1512     if (sizep) *sizep = size;
1513     if (ptrp) *ptrp = ptr;
1514     }
1515   return s;
1516 }
1517 #endif
1518
1519 /*************************************************
1520 *      Log lack of MAIL if so configured         *
1521 *************************************************/
1522
1523 /* This function is called when an SMTP session ends. If the log selector
1524 smtp_no_mail is set, write a log line giving some details of what has happened
1525 in the SMTP session.
1526
1527 Arguments:   none
1528 Returns:     nothing
1529 */
1530
1531 void
1532 smtp_log_no_mail(void)
1533 {
1534 int size, ptr, i;
1535 uschar *s, *sep;
1536
1537 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1538   return;
1539
1540 s = NULL;
1541 size = ptr = 0;
1542
1543 if (sender_host_authenticated != NULL)
1544   {
1545   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1546   if (authenticated_id != NULL)
1547     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1548   }
1549
1550 #ifdef SUPPORT_TLS
1551 s = s_tlslog(s, &size, &ptr);
1552 #endif
1553
1554 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1555   US" C=..." : US" C=";
1556 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1557   {
1558   if (smtp_connection_had[i] != SCH_NONE)
1559     {
1560     s = string_append(s, &size, &ptr, 2, sep,
1561       smtp_names[smtp_connection_had[i]]);
1562     sep = US",";
1563     }
1564   }
1565
1566 for (i = 0; i < smtp_ch_index; i++)
1567   {
1568   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1569   sep = US",";
1570   }
1571
1572 if (s != NULL) s[ptr] = 0; else s = US"";
1573 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1574   host_and_ident(FALSE),
1575   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1576   s);
1577 }
1578
1579
1580
1581 /*************************************************
1582 *   Check HELO line and set sender_helo_name     *
1583 *************************************************/
1584
1585 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1586 the domain name of the sending host, or an ip literal in square brackets. The
1587 argument is placed in sender_helo_name, which is in malloc store, because it
1588 must persist over multiple incoming messages. If helo_accept_junk is set, this
1589 host is permitted to send any old junk (needed for some broken hosts).
1590 Otherwise, helo_allow_chars can be used for rogue characters in general
1591 (typically people want to let in underscores).
1592
1593 Argument:
1594   s       the data portion of the line (already past any white space)
1595
1596 Returns:  TRUE or FALSE
1597 */
1598
1599 static BOOL
1600 check_helo(uschar *s)
1601 {
1602 uschar *start = s;
1603 uschar *end = s + Ustrlen(s);
1604 BOOL yield = helo_accept_junk;
1605
1606 /* Discard any previous helo name */
1607
1608 if (sender_helo_name != NULL)
1609   {
1610   store_free(sender_helo_name);
1611   sender_helo_name = NULL;
1612   }
1613
1614 /* Skip tests if junk is permitted. */
1615
1616 if (!yield)
1617   {
1618   /* Allow the new standard form for IPv6 address literals, namely,
1619   [IPv6:....], and because someone is bound to use it, allow an equivalent
1620   IPv4 form. Allow plain addresses as well. */
1621
1622   if (*s == '[')
1623     {
1624     if (end[-1] == ']')
1625       {
1626       end[-1] = 0;
1627       if (strncmpic(s, US"[IPv6:", 6) == 0)
1628         yield = (string_is_ip_address(s+6, NULL) == 6);
1629       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1630         yield = (string_is_ip_address(s+6, NULL) == 4);
1631       else
1632         yield = (string_is_ip_address(s+1, NULL) != 0);
1633       end[-1] = ']';
1634       }
1635     }
1636
1637   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1638   that have been configured (usually underscore - sigh). */
1639
1640   else if (*s != 0)
1641     {
1642     yield = TRUE;
1643     while (*s != 0)
1644       {
1645       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1646           Ustrchr(helo_allow_chars, *s) == NULL)
1647         {
1648         yield = FALSE;
1649         break;
1650         }
1651       s++;
1652       }
1653     }
1654   }
1655
1656 /* Save argument if OK */
1657
1658 if (yield) sender_helo_name = string_copy_malloc(start);
1659 return yield;
1660 }
1661
1662
1663
1664
1665
1666 /*************************************************
1667 *         Extract SMTP command option            *
1668 *************************************************/
1669
1670 /* This function picks the next option setting off the end of smtp_cmd_data. It
1671 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1672 things that can appear there.
1673
1674 Arguments:
1675    name           point this at the name
1676    value          point this at the data string
1677
1678 Returns:          TRUE if found an option
1679 */
1680
1681 static BOOL
1682 extract_option(uschar **name, uschar **value)
1683 {
1684 uschar *n;
1685 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1686 while (isspace(*v)) v--;
1687 v[1] = 0;
1688 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1689   {
1690   /* Take care to not stop at a space embedded in a quoted local-part */
1691
1692   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1693   v--;
1694   }
1695
1696 n = v;
1697 if (*v == '=')
1698 {
1699   while(isalpha(n[-1])) n--;
1700   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1701   if (!isspace(n[-1])) return FALSE;
1702   n[-1] = 0;
1703 }
1704 else
1705 {
1706   n++;
1707   if (v == smtp_cmd_data) return FALSE;
1708 }
1709 *v++ = 0;
1710 *name = n;
1711 *value = v;
1712 return TRUE;
1713 }
1714
1715
1716
1717
1718
1719 /*************************************************
1720 *         Reset for new message                  *
1721 *************************************************/
1722
1723 /* This function is called whenever the SMTP session is reset from
1724 within either of the setup functions.
1725
1726 Argument:   the stacking pool storage reset point
1727 Returns:    nothing
1728 */
1729
1730 static void
1731 smtp_reset(void *reset_point)
1732 {
1733 store_reset(reset_point);
1734 recipients_list = NULL;
1735 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1736   raw_recipients_count = recipients_count = recipients_list_max = 0;
1737 cancel_cutthrough_connection("smtp reset");
1738 message_linecount = 0;
1739 message_size = -1;
1740 acl_added_headers = NULL;
1741 acl_removed_headers = NULL;
1742 queue_only_policy = FALSE;
1743 rcpt_smtp_response = NULL;
1744 rcpt_smtp_response_same = TRUE;
1745 rcpt_in_progress = FALSE;
1746 deliver_freeze = FALSE;                              /* Can be set by ACL */
1747 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1748 fake_response = OK;                                  /* Can be set by ACL */
1749 #ifdef WITH_CONTENT_SCAN
1750 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1751 #endif
1752 submission_mode = FALSE;                             /* Can be set by ACL */
1753 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1754 active_local_from_check = local_from_check;          /* Can be set by ACL */
1755 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1756 sender_address = NULL;
1757 submission_name = NULL;                              /* Can be set by ACL */
1758 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1759 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1760 sender_verified_list = NULL;        /* No senders verified */
1761 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1762 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1763
1764 authenticated_sender = NULL;
1765 #ifdef EXPERIMENTAL_BRIGHTMAIL
1766 bmi_run = 0;
1767 bmi_verdicts = NULL;
1768 #endif
1769 #ifndef DISABLE_DKIM
1770 dkim_signers = NULL;
1771 dkim_disable_verify = FALSE;
1772 dkim_collect_input = FALSE;
1773 #endif
1774 dsn_ret = 0;
1775 dsn_envid = NULL;
1776 #ifndef DISABLE_PRDR
1777 prdr_requested = FALSE;
1778 #endif
1779 #ifdef EXPERIMENTAL_SPF
1780 spf_header_comment = NULL;
1781 spf_received = NULL;
1782 spf_result = NULL;
1783 spf_smtp_comment = NULL;
1784 #endif
1785 #ifdef SUPPORT_I18N
1786 message_smtputf8 = FALSE;
1787 #endif
1788 body_linecount = body_zerocount = 0;
1789
1790 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1791 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1792                    /* Note that ratelimiters_conn persists across resets. */
1793
1794 /* Reset message ACL variables */
1795
1796 acl_var_m = NULL;
1797
1798 /* The message body variables use malloc store. They may be set if this is
1799 not the first message in an SMTP session and the previous message caused them
1800 to be referenced in an ACL. */
1801
1802 if (message_body != NULL)
1803   {
1804   store_free(message_body);
1805   message_body = NULL;
1806   }
1807
1808 if (message_body_end != NULL)
1809   {
1810   store_free(message_body_end);
1811   message_body_end = NULL;
1812   }
1813
1814 /* Warning log messages are also saved in malloc store. They are saved to avoid
1815 repetition in the same message, but it seems right to repeat them for different
1816 messages. */
1817
1818 while (acl_warn_logged != NULL)
1819   {
1820   string_item *this = acl_warn_logged;
1821   acl_warn_logged = acl_warn_logged->next;
1822   store_free(this);
1823   }
1824 }
1825
1826
1827
1828
1829
1830 /*************************************************
1831 *  Initialize for incoming batched SMTP message  *
1832 *************************************************/
1833
1834 /* This function is called from smtp_setup_msg() in the case when
1835 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1836 of messages in one file with SMTP commands between them. All errors must be
1837 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1838 relevant. After an error on a sender, or an invalid recipient, the remainder
1839 of the message is skipped. The value of received_protocol is already set.
1840
1841 Argument: none
1842 Returns:  > 0 message successfully started (reached DATA)
1843           = 0 QUIT read or end of file reached
1844           < 0 should not occur
1845 */
1846
1847 static int
1848 smtp_setup_batch_msg(void)
1849 {
1850 int done = 0;
1851 void *reset_point = store_get(0);
1852
1853 /* Save the line count at the start of each transaction - single commands
1854 like HELO and RSET count as whole transactions. */
1855
1856 bsmtp_transaction_linecount = receive_linecount;
1857
1858 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1859
1860 smtp_reset(reset_point);                /* Reset for start of message */
1861
1862 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1863 value. The values are 2 larger than the required yield of the function. */
1864
1865 while (done <= 0)
1866   {
1867   uschar *errmess;
1868   uschar *recipient = NULL;
1869   int start, end, sender_domain, recipient_domain;
1870
1871   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1872     {
1873     /* The HELO/EHLO commands set sender_address_helo if they have
1874     valid data; otherwise they are ignored, except that they do
1875     a reset of the state. */
1876
1877     case HELO_CMD:
1878     case EHLO_CMD:
1879
1880     check_helo(smtp_cmd_data);
1881     /* Fall through */
1882
1883     case RSET_CMD:
1884     smtp_reset(reset_point);
1885     bsmtp_transaction_linecount = receive_linecount;
1886     break;
1887
1888
1889     /* The MAIL FROM command requires an address as an operand. All we
1890     do here is to parse it for syntactic correctness. The form "<>" is
1891     a special case which converts into an empty string. The start/end
1892     pointers in the original are not used further for this address, as
1893     it is the canonical extracted address which is all that is kept. */
1894
1895     case MAIL_CMD:
1896     smtp_mailcmd_count++;              /* Count for no-mail log */
1897     if (sender_address != NULL)
1898       /* The function moan_smtp_batch() does not return. */
1899       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1900
1901     if (smtp_cmd_data[0] == 0)
1902       /* The function moan_smtp_batch() does not return. */
1903       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1904
1905     /* Reset to start of message */
1906
1907     smtp_reset(reset_point);
1908
1909     /* Apply SMTP rewrite */
1910
1911     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1912       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1913         US"", global_rewrite_rules) : smtp_cmd_data;
1914
1915     /* Extract the address; the TRUE flag allows <> as valid */
1916
1917     raw_sender =
1918       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1919         TRUE);
1920
1921     if (raw_sender == NULL)
1922       /* The function moan_smtp_batch() does not return. */
1923       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1924
1925     sender_address = string_copy(raw_sender);
1926
1927     /* Qualify unqualified sender addresses if permitted to do so. */
1928
1929     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1930       {
1931       if (allow_unqualified_sender)
1932         {
1933         sender_address = rewrite_address_qualify(sender_address, FALSE);
1934         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1935           "and rewritten\n", raw_sender);
1936         }
1937       /* The function moan_smtp_batch() does not return. */
1938       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1939         "a domain");
1940       }
1941     break;
1942
1943
1944     /* The RCPT TO command requires an address as an operand. All we do
1945     here is to parse it for syntactic correctness. There may be any number
1946     of RCPT TO commands, specifying multiple senders. We build them all into
1947     a data structure that is in argc/argv format. The start/end values
1948     given by parse_extract_address are not used, as we keep only the
1949     extracted address. */
1950
1951     case RCPT_CMD:
1952     if (sender_address == NULL)
1953       /* The function moan_smtp_batch() does not return. */
1954       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1955
1956     if (smtp_cmd_data[0] == 0)
1957       /* The function moan_smtp_batch() does not return. */
1958       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1959
1960     /* Check maximum number allowed */
1961
1962     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1963       /* The function moan_smtp_batch() does not return. */
1964       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1965         recipients_max_reject? "552": "452");
1966
1967     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1968     recipient address */
1969
1970     recipient = rewrite_existflags & rewrite_smtp
1971       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1972                     global_rewrite_rules)
1973       : smtp_cmd_data;
1974
1975     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1976       &recipient_domain, FALSE);
1977
1978     if (!recipient)
1979       /* The function moan_smtp_batch() does not return. */
1980       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1981
1982     /* If the recipient address is unqualified, qualify it if permitted. Then
1983     add it to the list of recipients. */
1984
1985     if (recipient_domain == 0)
1986       {
1987       if (allow_unqualified_recipient)
1988         {
1989         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1990           recipient);
1991         recipient = rewrite_address_qualify(recipient, TRUE);
1992         }
1993       /* The function moan_smtp_batch() does not return. */
1994       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1995         "a domain");
1996       }
1997     receive_add_recipient(recipient, -1);
1998     break;
1999
2000
2001     /* The DATA command is legal only if it follows successful MAIL FROM
2002     and RCPT TO commands. This function is complete when a valid DATA
2003     command is encountered. */
2004
2005     case DATA_CMD:
2006     if (sender_address == NULL || recipients_count <= 0)
2007       {
2008       /* The function moan_smtp_batch() does not return. */
2009       if (sender_address == NULL)
2010         moan_smtp_batch(smtp_cmd_buffer,
2011           "503 MAIL FROM:<sender> command must precede DATA");
2012       else
2013         moan_smtp_batch(smtp_cmd_buffer,
2014           "503 RCPT TO:<recipient> must precede DATA");
2015       }
2016     else
2017       {
2018       done = 3;                      /* DATA successfully achieved */
2019       message_ended = END_NOTENDED;  /* Indicate in middle of message */
2020       }
2021     break;
2022
2023
2024     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2025
2026     case VRFY_CMD:
2027     case EXPN_CMD:
2028     case HELP_CMD:
2029     case NOOP_CMD:
2030     case ETRN_CMD:
2031     bsmtp_transaction_linecount = receive_linecount;
2032     break;
2033
2034
2035     case EOF_CMD:
2036     case QUIT_CMD:
2037     done = 2;
2038     break;
2039
2040
2041     case BADARG_CMD:
2042     /* The function moan_smtp_batch() does not return. */
2043     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2044     break;
2045
2046
2047     case BADCHAR_CMD:
2048     /* The function moan_smtp_batch() does not return. */
2049     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2050     break;
2051
2052
2053     default:
2054     /* The function moan_smtp_batch() does not return. */
2055     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2056     break;
2057     }
2058   }
2059
2060 return done - 2;  /* Convert yield values */
2061 }
2062
2063
2064
2065
2066 /*************************************************
2067 *          Start an SMTP session                 *
2068 *************************************************/
2069
2070 /* This function is called at the start of an SMTP session. Thereafter,
2071 smtp_setup_msg() is called to initiate each separate message. This
2072 function does host-specific testing, and outputs the banner line.
2073
2074 Arguments:     none
2075 Returns:       FALSE if the session can not continue; something has
2076                gone wrong, or the connection to the host is blocked
2077 */
2078
2079 BOOL
2080 smtp_start_session(void)
2081 {
2082 int size = 256;
2083 int ptr, esclen;
2084 uschar *user_msg, *log_msg;
2085 uschar *code, *esc;
2086 uschar *p, *s, *ss;
2087
2088 smtp_connection_start = time(NULL);
2089 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2090   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2091 smtp_ch_index = 0;
2092
2093 /* Default values for certain variables */
2094
2095 helo_seen = esmtp = helo_accept_junk = FALSE;
2096 smtp_mailcmd_count = 0;
2097 count_nonmail = TRUE_UNSET;
2098 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2099 smtp_delay_mail = smtp_rlm_base;
2100 auth_advertised = FALSE;
2101 pipelining_advertised = FALSE;
2102 pipelining_enable = TRUE;
2103 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2104 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2105
2106 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2107 authentication settings from -oMaa to remain in force. */
2108
2109 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2110 authenticated_by = NULL;
2111
2112 #ifdef SUPPORT_TLS
2113 tls_in.cipher = tls_in.peerdn = NULL;
2114 tls_in.ourcert = tls_in.peercert = NULL;
2115 tls_in.sni = NULL;
2116 tls_in.ocsp = OCSP_NOT_REQ;
2117 tls_advertised = FALSE;
2118 #endif
2119 dsn_advertised = FALSE;
2120 #ifdef SUPPORT_I18N
2121 smtputf8_advertised = FALSE;
2122 #endif
2123
2124 /* Reset ACL connection variables */
2125
2126 acl_var_c = NULL;
2127
2128 /* Allow for trailing 0 in the command and data buffers. */
2129
2130 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2131   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2132     "malloc() failed for SMTP command buffer");
2133
2134 smtp_cmd_buffer[0] = 0;
2135 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2136
2137 /* For batched input, the protocol setting can be overridden from the
2138 command line by a trusted caller. */
2139
2140 if (smtp_batched_input)
2141   {
2142   if (!received_protocol) received_protocol = US"local-bsmtp";
2143   }
2144
2145 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2146 reset later if any of EHLO/AUTH/STARTTLS are received. */
2147
2148 else
2149   received_protocol =
2150     (sender_host_address ? protocols : protocols_local) [pnormal];
2151
2152 /* Set up the buffer for inputting using direct read() calls, and arrange to
2153 call the local functions instead of the standard C ones. */
2154
2155 if (!(smtp_inbuffer = (uschar *)malloc(IN_BUFFER_SIZE)))
2156   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2157
2158 receive_getc = smtp_getc;
2159 receive_get_cache = smtp_get_cache;
2160 receive_ungetc = smtp_ungetc;
2161 receive_feof = smtp_feof;
2162 receive_ferror = smtp_ferror;
2163 receive_smtp_buffered = smtp_buffered;
2164 smtp_inptr = smtp_inend = smtp_inbuffer;
2165 smtp_had_eof = smtp_had_error = 0;
2166
2167 /* Set up the message size limit; this may be host-specific */
2168
2169 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2170 if (expand_string_message != NULL)
2171   {
2172   if (thismessage_size_limit == -1)
2173     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2174       "%s", expand_string_message);
2175   else
2176     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2177       "%s", expand_string_message);
2178   smtp_closedown(US"Temporary local problem - please try later");
2179   return FALSE;
2180   }
2181
2182 /* When a message is input locally via the -bs or -bS options, sender_host_
2183 unknown is set unless -oMa was used to force an IP address, in which case it
2184 is checked like a real remote connection. When -bs is used from inetd, this
2185 flag is not set, causing the sending host to be checked. The code that deals
2186 with IP source routing (if configured) is never required for -bs or -bS and
2187 the flag sender_host_notsocket is used to suppress it.
2188
2189 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2190 reserve for certain hosts and/or networks. */
2191
2192 if (!sender_host_unknown)
2193   {
2194   int rc;
2195   BOOL reserved_host = FALSE;
2196
2197   /* Look up IP options (source routing info) on the socket if this is not an
2198   -oMa "host", and if any are found, log them and drop the connection.
2199
2200   Linux (and others now, see below) is different to everyone else, so there
2201   has to be some conditional compilation here. Versions of Linux before 2.1.15
2202   used a structure whose name was "options". Somebody finally realized that
2203   this name was silly, and it got changed to "ip_options". I use the
2204   newer name here, but there is a fudge in the script that sets up os.h
2205   to define a macro in older Linux systems.
2206
2207   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2208   glibc 2, which has chosen ip_opts for the structure name. This is now
2209   really a glibc thing rather than a Linux thing, so the condition name
2210   has been changed to reflect this. It is relevant also to GNU/Hurd.
2211
2212   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2213   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2214   a special macro defined in the os.h file.
2215
2216   Some DGUX versions on older hardware appear not to support IP options at
2217   all, so there is now a general macro which can be set to cut out this
2218   support altogether.
2219
2220   How to do this properly in IPv6 is not yet known. */
2221
2222   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2223
2224   #ifdef GLIBC_IP_OPTIONS
2225     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2226     #define OPTSTYLE 1
2227     #else
2228     #define OPTSTYLE 2
2229     #endif
2230   #elif defined DARWIN_IP_OPTIONS
2231     #define OPTSTYLE 2
2232   #else
2233     #define OPTSTYLE 3
2234   #endif
2235
2236   if (!host_checking && !sender_host_notsocket)
2237     {
2238     #if OPTSTYLE == 1
2239     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2240     struct ip_options *ipopt = store_get(optlen);
2241     #elif OPTSTYLE == 2
2242     struct ip_opts ipoptblock;
2243     struct ip_opts *ipopt = &ipoptblock;
2244     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2245     #else
2246     struct ipoption ipoptblock;
2247     struct ipoption *ipopt = &ipoptblock;
2248     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2249     #endif
2250
2251     /* Occasional genuine failures of getsockopt() have been seen - for
2252     example, "reset by peer". Therefore, just log and give up on this
2253     call, unless the error is ENOPROTOOPT. This error is given by systems
2254     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2255     of writing. So for that error, carry on - we just can't do an IP options
2256     check. */
2257
2258     DEBUG(D_receive) debug_printf("checking for IP options\n");
2259
2260     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2261           &optlen) < 0)
2262       {
2263       if (errno != ENOPROTOOPT)
2264         {
2265         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2266           host_and_ident(FALSE), strerror(errno));
2267         smtp_printf("451 SMTP service not available\r\n");
2268         return FALSE;
2269         }
2270       }
2271
2272     /* Deal with any IP options that are set. On the systems I have looked at,
2273     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2274     more logging data than will fit in big_buffer. Nevertheless, after somebody
2275     questioned this code, I've added in some paranoid checking. */
2276
2277     else if (optlen > 0)
2278       {
2279       uschar *p = big_buffer;
2280       uschar *pend = big_buffer + big_buffer_size;
2281       uschar *opt, *adptr;
2282       int optcount;
2283       struct in_addr addr;
2284
2285       #if OPTSTYLE == 1
2286       uschar *optstart = (uschar *)(ipopt->__data);
2287       #elif OPTSTYLE == 2
2288       uschar *optstart = (uschar *)(ipopt->ip_opts);
2289       #else
2290       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2291       #endif
2292
2293       DEBUG(D_receive) debug_printf("IP options exist\n");
2294
2295       Ustrcpy(p, "IP options on incoming call:");
2296       p += Ustrlen(p);
2297
2298       for (opt = optstart; opt != NULL &&
2299            opt < (uschar *)(ipopt) + optlen;)
2300         {
2301         switch (*opt)
2302           {
2303           case IPOPT_EOL:
2304           opt = NULL;
2305           break;
2306
2307           case IPOPT_NOP:
2308           opt++;
2309           break;
2310
2311           case IPOPT_SSRR:
2312           case IPOPT_LSRR:
2313           if (!string_format(p, pend-p, " %s [@%s",
2314                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2315                #if OPTSTYLE == 1
2316                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2317                #elif OPTSTYLE == 2
2318                inet_ntoa(ipopt->ip_dst)))
2319                #else
2320                inet_ntoa(ipopt->ipopt_dst)))
2321                #endif
2322             {
2323             opt = NULL;
2324             break;
2325             }
2326
2327           p += Ustrlen(p);
2328           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2329           adptr = opt + 3;
2330           while (optcount-- > 0)
2331             {
2332             memcpy(&addr, adptr, sizeof(addr));
2333             if (!string_format(p, pend - p - 1, "%s%s",
2334                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2335               {
2336               opt = NULL;
2337               break;
2338               }
2339             p += Ustrlen(p);
2340             adptr += sizeof(struct in_addr);
2341             }
2342           *p++ = ']';
2343           opt += opt[1];
2344           break;
2345
2346           default:
2347             {
2348             int i;
2349             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2350             Ustrcat(p, "[ ");
2351             p += 2;
2352             for (i = 0; i < opt[1]; i++)
2353               {
2354               sprintf(CS p, "%2.2x ", opt[i]);
2355               p += 3;
2356               }
2357             *p++ = ']';
2358             }
2359           opt += opt[1];
2360           break;
2361           }
2362         }
2363
2364       *p = 0;
2365       log_write(0, LOG_MAIN, "%s", big_buffer);
2366
2367       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2368
2369       log_write(0, LOG_MAIN|LOG_REJECT,
2370         "connection from %s refused (IP options)", host_and_ident(FALSE));
2371
2372       smtp_printf("554 SMTP service not available\r\n");
2373       return FALSE;
2374       }
2375
2376     /* Length of options = 0 => there are no options */
2377
2378     else DEBUG(D_receive) debug_printf("no IP options found\n");
2379     }
2380   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2381
2382   /* Set keep-alive in socket options. The option is on by default. This
2383   setting is an attempt to get rid of some hanging connections that stick in
2384   read() when the remote end (usually a dialup) goes away. */
2385
2386   if (smtp_accept_keepalive && !sender_host_notsocket)
2387     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2388
2389   /* If the current host matches host_lookup, set the name by doing a
2390   reverse lookup. On failure, sender_host_name will be NULL and
2391   host_lookup_failed will be TRUE. This may or may not be serious - optional
2392   checks later. */
2393
2394   if (verify_check_host(&host_lookup) == OK)
2395     {
2396     (void)host_name_lookup();
2397     host_build_sender_fullhost();
2398     }
2399
2400   /* Delay this until we have the full name, if it is looked up. */
2401
2402   set_process_info("handling incoming connection from %s",
2403     host_and_ident(FALSE));
2404
2405   /* Expand smtp_receive_timeout, if needed */
2406
2407   if (smtp_receive_timeout_s)
2408     {
2409     uschar * exp;
2410     if (  !(exp = expand_string(smtp_receive_timeout_s))
2411        || !(*exp)
2412        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2413        )
2414       log_write(0, LOG_MAIN|LOG_PANIC,
2415         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2416     }
2417
2418   /* Test for explicit connection rejection */
2419
2420   if (verify_check_host(&host_reject_connection) == OK)
2421     {
2422     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2423       "from %s (host_reject_connection)", host_and_ident(FALSE));
2424     smtp_printf("554 SMTP service not available\r\n");
2425     return FALSE;
2426     }
2427
2428   /* Test with TCP Wrappers if so configured. There is a problem in that
2429   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2430   such as disks dying. In these cases, it is desirable to reject with a 4xx
2431   error instead of a 5xx error. There isn't a "right" way to detect such
2432   problems. The following kludge is used: errno is zeroed before calling
2433   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2434   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2435   not exist). */
2436
2437 #ifdef USE_TCP_WRAPPERS
2438   errno = 0;
2439   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2440     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2441       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2442         expand_string_message);
2443
2444   if (!hosts_ctl(tcp_wrappers_name,
2445          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2446          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2447          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2448     {
2449     if (errno == 0 || errno == ENOENT)
2450       {
2451       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2452       log_write(L_connection_reject,
2453                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2454                 "(tcp wrappers)", host_and_ident(FALSE));
2455       smtp_printf("554 SMTP service not available\r\n");
2456       }
2457     else
2458       {
2459       int save_errno = errno;
2460       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2461         "errno value %d\n", save_errno);
2462       log_write(L_connection_reject,
2463                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2464                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2465       smtp_printf("451 Temporary local problem - please try later\r\n");
2466       }
2467     return FALSE;
2468     }
2469 #endif
2470
2471   /* Check for reserved slots. The value of smtp_accept_count has already been
2472   incremented to include this process. */
2473
2474   if (smtp_accept_max > 0 &&
2475       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2476     {
2477     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2478       {
2479       log_write(L_connection_reject,
2480         LOG_MAIN, "temporarily refused connection from %s: not in "
2481         "reserve list: connected=%d max=%d reserve=%d%s",
2482         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2483         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2484       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2485         "please try again later\r\n", smtp_active_hostname);
2486       return FALSE;
2487       }
2488     reserved_host = TRUE;
2489     }
2490
2491   /* If a load level above which only messages from reserved hosts are
2492   accepted is set, check the load. For incoming calls via the daemon, the
2493   check is done in the superior process if there are no reserved hosts, to
2494   save a fork. In all cases, the load average will already be available
2495   in a global variable at this point. */
2496
2497   if (smtp_load_reserve >= 0 &&
2498        load_average > smtp_load_reserve &&
2499        !reserved_host &&
2500        verify_check_host(&smtp_reserve_hosts) != OK)
2501     {
2502     log_write(L_connection_reject,
2503       LOG_MAIN, "temporarily refused connection from %s: not in "
2504       "reserve list and load average = %.2f", host_and_ident(FALSE),
2505       (double)load_average/1000.0);
2506     smtp_printf("421 %s: Too much load; please try again later\r\n",
2507       smtp_active_hostname);
2508     return FALSE;
2509     }
2510
2511   /* Determine whether unqualified senders or recipients are permitted
2512   for this host. Unfortunately, we have to do this every time, in order to
2513   set the flags so that they can be inspected when considering qualifying
2514   addresses in the headers. For a site that permits no qualification, this
2515   won't take long, however. */
2516
2517   allow_unqualified_sender =
2518     verify_check_host(&sender_unqualified_hosts) == OK;
2519
2520   allow_unqualified_recipient =
2521     verify_check_host(&recipient_unqualified_hosts) == OK;
2522
2523   /* Determine whether HELO/EHLO is required for this host. The requirement
2524   can be hard or soft. */
2525
2526   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2527   if (!helo_required)
2528     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2529
2530   /* Determine whether this hosts is permitted to send syntactic junk
2531   after a HELO or EHLO command. */
2532
2533   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2534   }
2535
2536 /* For batch SMTP input we are now done. */
2537
2538 if (smtp_batched_input) return TRUE;
2539
2540 /* If valid Proxy Protocol source is connecting, set up session.
2541  * Failure will not allow any SMTP function other than QUIT. */
2542
2543 #ifdef SUPPORT_PROXY
2544 proxy_session = FALSE;
2545 proxy_session_failed = FALSE;
2546 if (check_proxy_protocol_host())
2547   setup_proxy_protocol_host();
2548 #endif
2549
2550   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2551   smtps port for use with older style SSL MTAs. */
2552
2553 #ifdef SUPPORT_TLS
2554   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2555     return FALSE;
2556 #endif
2557
2558 /* Run the connect ACL if it exists */
2559
2560 user_msg = NULL;
2561 if (acl_smtp_connect)
2562   {
2563   int rc;
2564   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2565                       &log_msg)) != OK)
2566     {
2567     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2568     return FALSE;
2569     }
2570   }
2571
2572 /* Output the initial message for a two-way SMTP connection. It may contain
2573 newlines, which then cause a multi-line response to be given. */
2574
2575 code = US"220";   /* Default status code */
2576 esc = US"";       /* Default extended status code */
2577 esclen = 0;       /* Length of esc */
2578
2579 if (!user_msg)
2580   {
2581   if (!(s = expand_string(smtp_banner)))
2582     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2583       "failed: %s", smtp_banner, expand_string_message);
2584   }
2585 else
2586   {
2587   int codelen = 3;
2588   s = user_msg;
2589   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2590   if (codelen > 4)
2591     {
2592     esc = code + 4;
2593     esclen = codelen - 4;
2594     }
2595   }
2596
2597 /* Remove any terminating newlines; might as well remove trailing space too */
2598
2599 p = s + Ustrlen(s);
2600 while (p > s && isspace(p[-1])) p--;
2601 *p = 0;
2602
2603 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2604 is all contained in a single IP packet. The original code wrote out the
2605 greeting using several calls to fprint/fputc, and on busy servers this could
2606 cause it to be split over more than one packet - which caused CC:Mail to fall
2607 over when it got the second part of the greeting after sending its first
2608 command. Sigh. To try to avoid this, build the complete greeting message
2609 first, and output it in one fell swoop. This gives a better chance of it
2610 ending up as a single packet. */
2611
2612 ss = store_get(size);
2613 ptr = 0;
2614
2615 p = s;
2616 do       /* At least once, in case we have an empty string */
2617   {
2618   int len;
2619   uschar *linebreak = Ustrchr(p, '\n');
2620   ss = string_catn(ss, &size, &ptr, code, 3);
2621   if (linebreak == NULL)
2622     {
2623     len = Ustrlen(p);
2624     ss = string_catn(ss, &size, &ptr, US" ", 1);
2625     }
2626   else
2627     {
2628     len = linebreak - p;
2629     ss = string_catn(ss, &size, &ptr, US"-", 1);
2630     }
2631   ss = string_catn(ss, &size, &ptr, esc, esclen);
2632   ss = string_catn(ss, &size, &ptr, p, len);
2633   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2634   p += len;
2635   if (linebreak != NULL) p++;
2636   }
2637 while (*p != 0);
2638
2639 ss[ptr] = 0;  /* string_cat leaves room for this */
2640
2641 /* Before we write the banner, check that there is no input pending, unless
2642 this synchronisation check is disabled. */
2643
2644 if (!check_sync())
2645   {
2646   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2647     "synchronization error (input sent without waiting for greeting): "
2648     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2649     string_printing(smtp_inptr));
2650   smtp_printf("554 SMTP synchronization error\r\n");
2651   return FALSE;
2652   }
2653
2654 /* Now output the banner */
2655
2656 smtp_printf("%s", ss);
2657 return TRUE;
2658 }
2659
2660
2661
2662
2663
2664 /*************************************************
2665 *     Handle SMTP syntax and protocol errors     *
2666 *************************************************/
2667
2668 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2669 to do so. Then transmit the error response. The return value depends on the
2670 number of syntax and protocol errors in this SMTP session.
2671
2672 Arguments:
2673   type      error type, given as a log flag bit
2674   code      response code; <= 0 means don't send a response
2675   data      data to reflect in the response (can be NULL)
2676   errmess   the error message
2677
2678 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2679             +1   limit of syntax/protocol errors IS exceeded
2680
2681 These values fit in with the values of the "done" variable in the main
2682 processing loop in smtp_setup_msg(). */
2683
2684 static int
2685 synprot_error(int type, int code, uschar *data, uschar *errmess)
2686 {
2687 int yield = -1;
2688
2689 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2690   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2691   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2692
2693 if (++synprot_error_count > smtp_max_synprot_errors)
2694   {
2695   yield = 1;
2696   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2697     "syntax or protocol errors (last command was \"%s\")",
2698     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2699   }
2700
2701 if (code > 0)
2702   {
2703   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2704     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2705   if (yield == 1)
2706     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2707   }
2708
2709 return yield;
2710 }
2711
2712
2713
2714
2715 /*************************************************
2716 *    Send SMTP response, possibly multiline      *
2717 *************************************************/
2718
2719 /* There are, it seems, broken clients out there that cannot handle multiline
2720 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2721 output nothing for non-final calls, and only the first line for anything else.
2722
2723 Arguments:
2724   code          SMTP code, may involve extended status codes
2725   codelen       length of smtp code; if > 4 there's an ESC
2726   final         FALSE if the last line isn't the final line
2727   msg           message text, possibly containing newlines
2728
2729 Returns:        nothing
2730 */
2731
2732 void
2733 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2734 {
2735 int esclen = 0;
2736 uschar *esc = US"";
2737
2738 if (!final && no_multiline_responses) return;
2739
2740 if (codelen > 4)
2741   {
2742   esc = code + 4;
2743   esclen = codelen - 4;
2744   }
2745
2746 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2747 have had the same. Note: this code is also present in smtp_printf(). It would
2748 be tidier to have it only in one place, but when it was added, it was easier to
2749 do it that way, so as not to have to mess with the code for the RCPT command,
2750 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2751
2752 if (rcpt_in_progress)
2753   {
2754   if (rcpt_smtp_response == NULL)
2755     rcpt_smtp_response = string_copy(msg);
2756   else if (rcpt_smtp_response_same &&
2757            Ustrcmp(rcpt_smtp_response, msg) != 0)
2758     rcpt_smtp_response_same = FALSE;
2759   rcpt_in_progress = FALSE;
2760   }
2761
2762 /* Not output the message, splitting it up into multiple lines if necessary. */
2763
2764 for (;;)
2765   {
2766   uschar *nl = Ustrchr(msg, '\n');
2767   if (nl == NULL)
2768     {
2769     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2770     return;
2771     }
2772   else if (nl[1] == 0 || no_multiline_responses)
2773     {
2774     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2775       (int)(nl - msg), msg);
2776     return;
2777     }
2778   else
2779     {
2780     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2781     msg = nl + 1;
2782     while (isspace(*msg)) msg++;
2783     }
2784   }
2785 }
2786
2787
2788
2789
2790 /*************************************************
2791 *            Parse user SMTP message             *
2792 *************************************************/
2793
2794 /* This function allows for user messages overriding the response code details
2795 by providing a suitable response code string at the start of the message
2796 user_msg. Check the message for starting with a response code and optionally an
2797 extended status code. If found, check that the first digit is valid, and if so,
2798 change the code pointer and length to use the replacement. An invalid code
2799 causes a panic log; in this case, if the log messages is the same as the user
2800 message, we must also adjust the value of the log message to show the code that
2801 is actually going to be used (the original one).
2802
2803 This function is global because it is called from receive.c as well as within
2804 this module.
2805
2806 Note that the code length returned includes the terminating whitespace
2807 character, which is always included in the regex match.
2808
2809 Arguments:
2810   code          SMTP code, may involve extended status codes
2811   codelen       length of smtp code; if > 4 there's an ESC
2812   msg           message text
2813   log_msg       optional log message, to be adjusted with the new SMTP code
2814   check_valid   if true, verify the response code
2815
2816 Returns:        nothing
2817 */
2818
2819 void
2820 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2821   BOOL check_valid)
2822 {
2823 int n;
2824 int ovector[3];
2825
2826 if (!msg || !*msg) return;
2827
2828 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2829   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2830
2831 if (check_valid && (*msg)[0] != (*code)[0])
2832   {
2833   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2834     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2835   if (log_msg != NULL && *log_msg == *msg)
2836     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2837   }
2838 else
2839   {
2840   *code = *msg;
2841   *codelen = ovector[1];    /* Includes final space */
2842   }
2843 *msg += ovector[1];         /* Chop the code off the message */
2844 return;
2845 }
2846
2847
2848
2849
2850 /*************************************************
2851 *           Handle an ACL failure                *
2852 *************************************************/
2853
2854 /* This function is called when acl_check() fails. As well as calls from within
2855 this module, it is called from receive.c for an ACL after DATA. It sorts out
2856 logging the incident, and sets up the error response. A message containing
2857 newlines is turned into a multiline SMTP response, but for logging, only the
2858 first line is used.
2859
2860 There's a table of default permanent failure response codes to use in
2861 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2862 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2863 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2864 state, because there are broken clients that try VRFY before RCPT. A 5xx
2865 response should be given only when the address is positively known to be
2866 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2867 no explicit code, but if there is one we let it know best.
2868 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2869
2870 From Exim 4.63, it is possible to override the response code details by
2871 providing a suitable response code string at the start of the message provided
2872 in user_msg. The code's first digit is checked for validity.
2873
2874 Arguments:
2875   where        where the ACL was called from
2876   rc           the failure code
2877   user_msg     a message that can be included in an SMTP response
2878   log_msg      a message for logging
2879
2880 Returns:     0 in most cases
2881              2 if the failure code was FAIL_DROP, in which case the
2882                SMTP connection should be dropped (this value fits with the
2883                "done" variable in smtp_setup_msg() below)
2884 */
2885
2886 int
2887 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2888 {
2889 BOOL drop = rc == FAIL_DROP;
2890 int codelen = 3;
2891 uschar *smtp_code;
2892 uschar *lognl;
2893 uschar *sender_info = US"";
2894 uschar *what =
2895 #ifdef WITH_CONTENT_SCAN
2896   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
2897 #endif
2898   where == ACL_WHERE_PREDATA ? US"DATA" :
2899   where == ACL_WHERE_DATA ? US"after DATA" :
2900 #ifndef DISABLE_PRDR
2901   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
2902 #endif
2903   smtp_cmd_data ?
2904     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
2905     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
2906
2907 if (drop) rc = FAIL;
2908
2909 /* Set the default SMTP code, and allow a user message to change it. */
2910
2911 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2912 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2913   where != ACL_WHERE_VRFY);
2914
2915 /* We used to have sender_address here; however, there was a bug that was not
2916 updating sender_address after a rewrite during a verify. When this bug was
2917 fixed, sender_address at this point became the rewritten address. I'm not sure
2918 this is what should be logged, so I've changed to logging the unrewritten
2919 address to retain backward compatibility. */
2920
2921 #ifndef WITH_CONTENT_SCAN
2922 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2923 #else
2924 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2925 #endif
2926   {
2927   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2928     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2929     sender_host_authenticated ? US" A="                                    : US"",
2930     sender_host_authenticated ? sender_host_authenticated                  : US"",
2931     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2932     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2933     );
2934   }
2935
2936 /* If there's been a sender verification failure with a specific message, and
2937 we have not sent a response about it yet, do so now, as a preliminary line for
2938 failures, but not defers. However, always log it for defer, and log it for fail
2939 unless the sender_verify_fail log selector has been turned off. */
2940
2941 if (sender_verified_failed &&
2942     !testflag(sender_verified_failed, af_sverify_told))
2943   {
2944   BOOL save_rcpt_in_progress = rcpt_in_progress;
2945   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2946
2947   setflag(sender_verified_failed, af_sverify_told);
2948
2949   if (rc != FAIL || LOGGING(sender_verify_fail))
2950     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2951       host_and_ident(TRUE),
2952       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2953       sender_verified_failed->address,
2954       (sender_verified_failed->message == NULL)? US"" :
2955       string_sprintf(": %s", sender_verified_failed->message));
2956
2957   if (rc == FAIL && sender_verified_failed->user_message)
2958     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2959         testflag(sender_verified_failed, af_verify_pmfail)?
2960           "Postmaster verification failed while checking <%s>\n%s\n"
2961           "Several RFCs state that you are required to have a postmaster\n"
2962           "mailbox for each mail domain. This host does not accept mail\n"
2963           "from domains whose servers reject the postmaster address."
2964           :
2965         testflag(sender_verified_failed, af_verify_nsfail)?
2966           "Callback setup failed while verifying <%s>\n%s\n"
2967           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2968           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2969           "RFC requirements, and stops you from receiving standard bounce\n"
2970           "messages. This host does not accept mail from domains whose servers\n"
2971           "refuse bounces."
2972           :
2973           "Verification failed for <%s>\n%s",
2974         sender_verified_failed->address,
2975         sender_verified_failed->user_message));
2976
2977   rcpt_in_progress = save_rcpt_in_progress;
2978   }
2979
2980 /* Sort out text for logging */
2981
2982 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
2983 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
2984
2985 /* Send permanent failure response to the command, but the code used isn't
2986 always a 5xx one - see comments at the start of this function. If the original
2987 rc was FAIL_DROP we drop the connection and yield 2. */
2988
2989 if (rc == FAIL)
2990   smtp_respond(smtp_code, codelen, TRUE,
2991     user_msg ? user_msg : US"Administrative prohibition");
2992
2993 /* Send temporary failure response to the command. Don't give any details,
2994 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2995 verb, and for a header verify when smtp_return_error_details is set.
2996
2997 This conditional logic is all somewhat of a mess because of the odd
2998 interactions between temp_details and return_error_details. One day it should
2999 be re-implemented in a tidier fashion. */
3000
3001 else
3002   if (acl_temp_details && user_msg)
3003     {
3004     if (  smtp_return_error_details
3005        && sender_verified_failed
3006        && sender_verified_failed->message
3007        )
3008       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3009
3010     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3011     }
3012   else
3013     smtp_respond(smtp_code, codelen, TRUE,
3014       US"Temporary local problem - please try later");
3015
3016 /* Log the incident to the logs that are specified by log_reject_target
3017 (default main, reject). This can be empty to suppress logging of rejections. If
3018 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3019 is closing if required and return 2.  */
3020
3021 if (log_reject_target != 0)
3022   {
3023 #ifdef SUPPORT_TLS
3024   uschar * tls = s_tlslog(NULL, NULL, NULL);
3025   if (!tls) tls = US"";
3026 #else
3027   uschar * tls = US"";
3028 #endif
3029   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3030     log_reject_target, "%s%s%s %s%srejected %s%s",
3031     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3032     host_and_ident(TRUE),
3033     tls,
3034     sender_info,
3035     rc == FAIL ? US"" : US"temporarily ",
3036     what, log_msg);
3037   }
3038
3039 if (!drop) return 0;
3040
3041 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3042   smtp_get_connection_info());
3043
3044 /* Run the not-quit ACL, but without any custom messages. This should not be a
3045 problem, because we get here only if some other ACL has issued "drop", and
3046 in that case, *its* custom messages will have been used above. */
3047
3048 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3049 return 2;
3050 }
3051
3052
3053
3054
3055 /*************************************************
3056 *     Handle SMTP exit when QUIT is not given    *
3057 *************************************************/
3058
3059 /* This function provides a logging/statistics hook for when an SMTP connection
3060 is dropped on the floor or the other end goes away. It's a global function
3061 because it's called from receive.c as well as this module. As well as running
3062 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3063 response, either with a custom message from the ACL, or using a default. There
3064 is one case, however, when no message is output - after "drop". In that case,
3065 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3066 passed to this function.
3067
3068 In case things go wrong while processing this function, causing an error that
3069 may re-enter this function, there is a recursion check.
3070
3071 Arguments:
3072   reason          What $smtp_notquit_reason will be set to in the ACL;
3073                     if NULL, the ACL is not run
3074   code            The error code to return as part of the response
3075   defaultrespond  The default message if there's no user_msg
3076
3077 Returns:          Nothing
3078 */
3079
3080 void
3081 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3082 {
3083 int rc;
3084 uschar *user_msg = NULL;
3085 uschar *log_msg = NULL;
3086
3087 /* Check for recursive acll */
3088
3089 if (smtp_exit_function_called)
3090   {
3091   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3092     reason);
3093   return;
3094   }
3095 smtp_exit_function_called = TRUE;
3096
3097 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3098
3099 if (acl_smtp_notquit && reason)
3100   {
3101   smtp_notquit_reason = reason;
3102   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3103                       &log_msg)) == ERROR)
3104     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3105       log_msg);
3106   }
3107
3108 /* Write an SMTP response if we are expected to give one. As the default
3109 responses are all internal, they should always fit in the buffer, but code a
3110 warning, just in case. Note that string_vformat() still leaves a complete
3111 string, even if it is incomplete. */
3112
3113 if (code && defaultrespond)
3114   {
3115   if (user_msg)
3116     smtp_respond(code, 3, TRUE, user_msg);
3117   else
3118     {
3119     uschar buffer[128];
3120     va_list ap;
3121     va_start(ap, defaultrespond);
3122     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3123       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3124     smtp_printf("%s %s\r\n", code, buffer);
3125     va_end(ap);
3126     }
3127   mac_smtp_fflush();
3128   }
3129 }
3130
3131
3132
3133
3134 /*************************************************
3135 *             Verify HELO argument               *
3136 *************************************************/
3137
3138 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3139 matched. It is also called from ACL processing if verify = helo is used and
3140 verification was not previously tried (i.e. helo_try_verify_hosts was not
3141 matched). The result of its processing is to set helo_verified and
3142 helo_verify_failed. These variables should both be FALSE for this function to
3143 be called.
3144
3145 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3146 for IPv6 ::ffff: literals.
3147
3148 Argument:   none
3149 Returns:    TRUE if testing was completed;
3150             FALSE on a temporary failure
3151 */
3152
3153 BOOL
3154 smtp_verify_helo(void)
3155 {
3156 BOOL yield = TRUE;
3157
3158 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3159   sender_helo_name);
3160
3161 if (sender_helo_name == NULL)
3162   {
3163   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3164   }
3165
3166 /* Deal with the case of -bs without an IP address */
3167
3168 else if (sender_host_address == NULL)
3169   {
3170   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3171   helo_verified = TRUE;
3172   }
3173
3174 /* Deal with the more common case when there is a sending IP address */
3175
3176 else if (sender_helo_name[0] == '[')
3177   {
3178   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3179     Ustrlen(sender_host_address)) == 0;
3180
3181   #if HAVE_IPV6
3182   if (!helo_verified)
3183     {
3184     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3185       helo_verified = Ustrncmp(sender_helo_name + 1,
3186         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3187     }
3188   #endif
3189
3190   HDEBUG(D_receive)
3191     { if (helo_verified) debug_printf("matched host address\n"); }
3192   }
3193
3194 /* Do a reverse lookup if one hasn't already given a positive or negative
3195 response. If that fails, or the name doesn't match, try checking with a forward
3196 lookup. */
3197
3198 else
3199   {
3200   if (sender_host_name == NULL && !host_lookup_failed)
3201     yield = host_name_lookup() != DEFER;
3202
3203   /* If a host name is known, check it and all its aliases. */
3204
3205   if (sender_host_name)
3206     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3207       {
3208       sender_helo_dnssec = sender_host_dnssec;
3209       HDEBUG(D_receive) debug_printf("matched host name\n");
3210       }
3211     else
3212       {
3213       uschar **aliases = sender_host_aliases;
3214       while (*aliases)
3215         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3216           {
3217           sender_helo_dnssec = sender_host_dnssec;
3218           break;
3219           }
3220
3221       HDEBUG(D_receive) if (helo_verified)
3222           debug_printf("matched alias %s\n", *(--aliases));
3223       }
3224
3225   /* Final attempt: try a forward lookup of the helo name */
3226
3227   if (!helo_verified)
3228     {
3229     int rc;
3230     host_item h;
3231     dnssec_domains d;
3232     host_item *hh;
3233
3234     h.name = sender_helo_name;
3235     h.address = NULL;
3236     h.mx = MX_NONE;
3237     h.next = NULL;
3238     d.request = US"*";
3239     d.require = US"";
3240
3241     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3242       sender_helo_name);
3243     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3244                           NULL, NULL, NULL, &d, NULL, NULL);
3245     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3246       for (hh = &h; hh; hh = hh->next)
3247         if (Ustrcmp(hh->address, sender_host_address) == 0)
3248           {
3249           helo_verified = TRUE;
3250           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3251           HDEBUG(D_receive)
3252             {
3253             debug_printf("IP address for %s matches calling address\n"
3254               "Forward DNS security status: %sverified\n",
3255               sender_helo_name, sender_helo_dnssec ? "" : "un");
3256             }
3257           break;
3258           }
3259     }
3260   }
3261
3262 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3263 return yield;
3264 }
3265
3266
3267
3268
3269 /*************************************************
3270 *        Send user response message              *
3271 *************************************************/
3272
3273 /* This function is passed a default response code and a user message. It calls
3274 smtp_message_code() to check and possibly modify the response code, and then
3275 calls smtp_respond() to transmit the response. I put this into a function
3276 just to avoid a lot of repetition.
3277
3278 Arguments:
3279   code         the response code
3280   user_msg     the user message
3281
3282 Returns:       nothing
3283 */
3284
3285 static void
3286 smtp_user_msg(uschar *code, uschar *user_msg)
3287 {
3288 int len = 3;
3289 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3290 smtp_respond(code, len, TRUE, user_msg);
3291 }
3292
3293
3294
3295 static int
3296 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3297 {
3298 const uschar *set_id = NULL;
3299 int rc, i;
3300
3301 /* Run the checking code, passing the remainder of the command line as
3302 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3303 it as the only set numerical variable. The authenticator may set $auth<n>
3304 and also set other numeric variables. The $auth<n> variables are preferred
3305 nowadays; the numerical variables remain for backwards compatibility.
3306
3307 Afterwards, have a go at expanding the set_id string, even if
3308 authentication failed - for bad passwords it can be useful to log the
3309 userid. On success, require set_id to expand and exist, and put it in
3310 authenticated_id. Save this in permanent store, as the working store gets
3311 reset at HELO, RSET, etc. */
3312
3313 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3314 expand_nmax = 0;
3315 expand_nlength[0] = 0;   /* $0 contains nothing */
3316
3317 rc = (au->info->servercode)(au, smtp_cmd_data);
3318 if (au->set_id) set_id = expand_string(au->set_id);
3319 expand_nmax = -1;        /* Reset numeric variables */
3320 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3321
3322 /* The value of authenticated_id is stored in the spool file and printed in
3323 log lines. It must not contain binary zeros or newline characters. In
3324 normal use, it never will, but when playing around or testing, this error
3325 can (did) happen. To guard against this, ensure that the id contains only
3326 printing characters. */
3327
3328 if (set_id) set_id = string_printing(set_id);
3329
3330 /* For the non-OK cases, set up additional logging data if set_id
3331 is not empty. */
3332
3333 if (rc != OK)
3334   set_id = set_id && *set_id
3335     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3336
3337 /* Switch on the result */
3338
3339 switch(rc)
3340   {
3341   case OK:
3342   if (!au->set_id || set_id)    /* Complete success */
3343     {
3344     if (set_id) authenticated_id = string_copy_malloc(set_id);
3345     sender_host_authenticated = au->name;
3346     authentication_failed = FALSE;
3347     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3348
3349     received_protocol =
3350       (sender_host_address ? protocols : protocols_local)
3351         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3352     *s = *ss = US"235 Authentication succeeded";
3353     authenticated_by = au;
3354     break;
3355     }
3356
3357   /* Authentication succeeded, but we failed to expand the set_id string.
3358   Treat this as a temporary error. */
3359
3360   auth_defer_msg = expand_string_message;
3361   /* Fall through */
3362
3363   case DEFER:
3364   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3365   *s = string_sprintf("435 Unable to authenticate at present%s",
3366     auth_defer_user_msg);
3367   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3368     set_id, auth_defer_msg);
3369   break;
3370
3371   case BAD64:
3372   *s = *ss = US"501 Invalid base64 data";
3373   break;
3374
3375   case CANCELLED:
3376   *s = *ss = US"501 Authentication cancelled";
3377   break;
3378
3379   case UNEXPECTED:
3380   *s = *ss = US"553 Initial data not expected";
3381   break;
3382
3383   case FAIL:
3384   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3385   *s = US"535 Incorrect authentication data";
3386   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3387   break;
3388
3389   default:
3390   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3391   *s = US"435 Internal error";
3392   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3393     "check", set_id, rc);
3394   break;
3395   }
3396
3397 return rc;
3398 }
3399
3400
3401
3402
3403
3404 static int
3405 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3406 {
3407 int rd;
3408 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3409   {
3410   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3411     *recipient);
3412   rd = Ustrlen(recipient) + 1;
3413   *recipient = rewrite_address_qualify(*recipient, TRUE);
3414   return rd;
3415   }
3416 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3417   smtp_cmd_data);
3418 log_write(L_smtp_syntax_error,
3419   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3420   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3421 return 0;
3422 }
3423
3424
3425
3426
3427 static void
3428 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3429 {
3430 HAD(SCH_QUIT);
3431 incomplete_transaction_log(US"QUIT");
3432 if (acl_smtp_quit)
3433   {
3434   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3435   if (rc == ERROR)
3436     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3437       *log_msgp);
3438   }
3439 if (*user_msgp)
3440   smtp_respond(US"221", 3, TRUE, *user_msgp);
3441 else
3442   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3443
3444 #ifdef SUPPORT_TLS
3445 tls_close(TRUE, TRUE);
3446 #endif
3447
3448 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3449   smtp_get_connection_info());
3450 }
3451
3452
3453 static void
3454 smtp_rset_handler(void)
3455 {
3456 HAD(SCH_RSET);
3457 incomplete_transaction_log(US"RSET");
3458 smtp_printf("250 Reset OK\r\n");
3459 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3460 }
3461
3462
3463
3464 /*************************************************
3465 *       Initialize for SMTP incoming message     *
3466 *************************************************/
3467
3468 /* This function conducts the initial dialogue at the start of an incoming SMTP
3469 message, and builds a list of recipients. However, if the incoming message
3470 is part of a batch (-bS option) a separate function is called since it would
3471 be messy having tests splattered about all over this function. This function
3472 therefore handles the case where interaction is occurring. The input and output
3473 files are set up in smtp_in and smtp_out.
3474
3475 The global recipients_list is set to point to a vector of recipient_item
3476 blocks, whose number is given by recipients_count. This is extended by the
3477 receive_add_recipient() function. The global variable sender_address is set to
3478 the sender's address. The yield is +1 if a message has been successfully
3479 started, 0 if a QUIT command was encountered or the connection was refused from
3480 the particular host, or -1 if the connection was lost.
3481
3482 Argument: none
3483
3484 Returns:  > 0 message successfully started (reached DATA)
3485           = 0 QUIT read or end of file reached or call refused
3486           < 0 lost connection
3487 */
3488
3489 int
3490 smtp_setup_msg(void)
3491 {
3492 int done = 0;
3493 BOOL toomany = FALSE;
3494 BOOL discarded = FALSE;
3495 BOOL last_was_rej_mail = FALSE;
3496 BOOL last_was_rcpt = FALSE;
3497 void *reset_point = store_get(0);
3498
3499 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3500
3501 /* Reset for start of new message. We allow one RSET not to be counted as a
3502 nonmail command, for those MTAs that insist on sending it between every
3503 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3504 TLS between messages (an Exim client may do this if it has messages queued up
3505 for the host). Note: we do NOT reset AUTH at this point. */
3506
3507 smtp_reset(reset_point);
3508 message_ended = END_NOTSTARTED;
3509
3510 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3511
3512 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3513 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3514 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3515 #ifdef SUPPORT_TLS
3516 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3517 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3518 #endif
3519
3520 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3521
3522 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3523
3524 /* Batched SMTP is handled in a different function. */
3525
3526 if (smtp_batched_input) return smtp_setup_batch_msg();
3527
3528 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3529 value. The values are 2 larger than the required yield of the function. */
3530
3531 while (done <= 0)
3532   {
3533   const uschar **argv;
3534   uschar *etrn_command;
3535   uschar *etrn_serialize_key;
3536   uschar *errmess;
3537   uschar *log_msg, *smtp_code;
3538   uschar *user_msg = NULL;
3539   uschar *recipient = NULL;
3540   uschar *hello = NULL;
3541   uschar *s, *ss;
3542   BOOL was_rej_mail = FALSE;
3543   BOOL was_rcpt = FALSE;
3544   void (*oldsignal)(int);
3545   pid_t pid;
3546   int start, end, sender_domain, recipient_domain;
3547   int ptr, size, rc;
3548   int c;
3549   auth_instance *au;
3550   uschar *orcpt = NULL;
3551   int flags;
3552
3553 #ifdef AUTH_TLS
3554   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3555   if (  tls_in.active >= 0
3556      && tls_in.peercert
3557      && tls_in.certificate_verified
3558      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3559      )
3560     {
3561     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3562     if (  acl_smtp_auth
3563        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3564                   &user_msg, &log_msg)) != OK
3565        )
3566       {
3567       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3568       continue;
3569       }
3570
3571     for (au = auths; au; au = au->next)
3572       if (strcmpic(US"tls", au->driver_name) == 0)
3573         {
3574         smtp_cmd_data = NULL;
3575
3576         if (smtp_in_auth(au, &s, &ss) == OK)
3577           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3578         else
3579           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3580         break;
3581         }
3582     }
3583 #endif
3584
3585 #ifdef TCP_QUICKACK
3586   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3587     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3588             US &off, sizeof(off));
3589 #endif
3590
3591   switch(smtp_read_command(TRUE, GETC_BUFFER_UNLIMITED))
3592     {
3593     /* The AUTH command is not permitted to occur inside a transaction, and may
3594     occur successfully only once per connection. Actually, that isn't quite
3595     true. When TLS is started, all previous information about a connection must
3596     be discarded, so a new AUTH is permitted at that time.
3597
3598     AUTH may only be used when it has been advertised. However, it seems that
3599     there are clients that send AUTH when it hasn't been advertised, some of
3600     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3601     So there's a get-out that allows this to happen.
3602
3603     AUTH is initially labelled as a "nonmail command" so that one occurrence
3604     doesn't get counted. We change the label here so that multiple failing
3605     AUTHS will eventually hit the nonmail threshold. */
3606
3607     case AUTH_CMD:
3608     HAD(SCH_AUTH);
3609     authentication_failed = TRUE;
3610     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3611
3612     if (!auth_advertised && !allow_auth_unadvertised)
3613       {
3614       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3615         US"AUTH command used when not advertised");
3616       break;
3617       }
3618     if (sender_host_authenticated)
3619       {
3620       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3621         US"already authenticated");
3622       break;
3623       }
3624     if (sender_address)
3625       {
3626       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3627         US"not permitted in mail transaction");
3628       break;
3629       }
3630
3631     /* Check the ACL */
3632
3633     if (  acl_smtp_auth
3634        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3635                   &user_msg, &log_msg)) != OK
3636        )
3637       {
3638       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3639       break;
3640       }
3641
3642     /* Find the name of the requested authentication mechanism. */
3643
3644     s = smtp_cmd_data;
3645     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3646       {
3647       if (!isalnum(c) && c != '-' && c != '_')
3648         {
3649         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3650           US"invalid character in authentication mechanism name");
3651         goto COMMAND_LOOP;
3652         }
3653       smtp_cmd_data++;
3654       }
3655
3656     /* If not at the end of the line, we must be at white space. Terminate the
3657     name and move the pointer on to any data that may be present. */
3658
3659     if (*smtp_cmd_data != 0)
3660       {
3661       *smtp_cmd_data++ = 0;
3662       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3663       }
3664
3665     /* Search for an authentication mechanism which is configured for use
3666     as a server and which has been advertised (unless, sigh, allow_auth_
3667     unadvertised is set). */
3668
3669     for (au = auths; au; au = au->next)
3670       if (strcmpic(s, au->public_name) == 0 && au->server &&
3671           (au->advertised || allow_auth_unadvertised))
3672         break;
3673
3674     if (au)
3675       {
3676       c = smtp_in_auth(au, &s, &ss);
3677
3678       smtp_printf("%s\r\n", s);
3679       if (c != OK)
3680         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3681           au->name, host_and_ident(FALSE), ss);
3682       }
3683     else
3684       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3685         string_sprintf("%s authentication mechanism not supported", s));
3686
3687     break;  /* AUTH_CMD */
3688
3689     /* The HELO/EHLO commands are permitted to appear in the middle of a
3690     session as well as at the beginning. They have the effect of a reset in
3691     addition to their other functions. Their absence at the start cannot be
3692     taken to be an error.
3693
3694     RFC 2821 says:
3695
3696       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3697       or 502 failure replies MUST be returned as appropriate.  The SMTP
3698       server MUST stay in the same state after transmitting these replies
3699       that it was in before the EHLO was received.
3700
3701     Therefore, we do not do the reset until after checking the command for
3702     acceptability. This change was made for Exim release 4.11. Previously
3703     it did the reset first. */
3704
3705     case HELO_CMD:
3706     HAD(SCH_HELO);
3707     hello = US"HELO";
3708     esmtp = FALSE;
3709     goto HELO_EHLO;
3710
3711     case EHLO_CMD:
3712     HAD(SCH_EHLO);
3713     hello = US"EHLO";
3714     esmtp = TRUE;
3715
3716     HELO_EHLO:      /* Common code for HELO and EHLO */
3717     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3718     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3719
3720     /* Reject the HELO if its argument was invalid or non-existent. A
3721     successful check causes the argument to be saved in malloc store. */
3722
3723     if (!check_helo(smtp_cmd_data))
3724       {
3725       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3726
3727       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3728         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3729         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3730                            string_printing(smtp_cmd_argument));
3731
3732       if (++synprot_error_count > smtp_max_synprot_errors)
3733         {
3734         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3735           "syntax or protocol errors (last command was \"%s\")",
3736           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3737         done = 1;
3738         }
3739
3740       break;
3741       }
3742
3743     /* If sender_host_unknown is true, we have got here via the -bs interface,
3744     not called from inetd. Otherwise, we are running an IP connection and the
3745     host address will be set. If the helo name is the primary name of this
3746     host and we haven't done a reverse lookup, force one now. If helo_required
3747     is set, ensure that the HELO name matches the actual host. If helo_verify
3748     is set, do the same check, but softly. */
3749
3750     if (!sender_host_unknown)
3751       {
3752       BOOL old_helo_verified = helo_verified;
3753       uschar *p = smtp_cmd_data;
3754
3755       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3756       *p = 0;
3757
3758       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3759       because otherwise the log can be confusing. */
3760
3761       if (sender_host_name == NULL &&
3762            (deliver_domain = sender_helo_name,  /* set $domain */
3763             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3764               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3765         (void)host_name_lookup();
3766
3767       /* Rebuild the fullhost info to include the HELO name (and the real name
3768       if it was looked up.) */
3769
3770       host_build_sender_fullhost();  /* Rebuild */
3771       set_process_info("handling%s incoming connection from %s",
3772         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3773
3774       /* Verify if configured. This doesn't give much security, but it does
3775       make some people happy to be able to do it. If helo_required is set,
3776       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3777       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3778       now obsolescent, since the verification can now be requested selectively
3779       at ACL time. */
3780
3781       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3782       if (helo_required || helo_verify)
3783         {
3784         BOOL tempfail = !smtp_verify_helo();
3785         if (!helo_verified)
3786           {
3787           if (helo_required)
3788             {
3789             smtp_printf("%d %s argument does not match calling host\r\n",
3790               tempfail? 451 : 550, hello);
3791             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3792               tempfail? "temporarily " : "",
3793               hello, sender_helo_name, host_and_ident(FALSE));
3794             helo_verified = old_helo_verified;
3795             break;                   /* End of HELO/EHLO processing */
3796             }
3797           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3798             "helo_try_verify_hosts\n", hello);
3799           }
3800         }
3801       }
3802
3803 #ifdef EXPERIMENTAL_SPF
3804     /* set up SPF context */
3805     spf_init(sender_helo_name, sender_host_address);
3806 #endif
3807
3808     /* Apply an ACL check if one is defined; afterwards, recheck
3809     synchronization in case the client started sending in a delay. */
3810
3811     if (acl_smtp_helo)
3812       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3813                 &user_msg, &log_msg)) != OK)
3814         {
3815         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3816         sender_helo_name = NULL;
3817         host_build_sender_fullhost();  /* Rebuild */
3818         break;
3819         }
3820       else if (!check_sync()) goto SYNC_FAILURE;
3821
3822     /* Generate an OK reply. The default string includes the ident if present,
3823     and also the IP address if present. Reflecting back the ident is intended
3824     as a deterrent to mail forgers. For maximum efficiency, and also because
3825     some broken systems expect each response to be in a single packet, arrange
3826     that the entire reply is sent in one write(). */
3827
3828     auth_advertised = FALSE;
3829     pipelining_advertised = FALSE;
3830 #ifdef SUPPORT_TLS
3831     tls_advertised = FALSE;
3832 #endif
3833     dsn_advertised = FALSE;
3834 #ifdef SUPPORT_I18N
3835     smtputf8_advertised = FALSE;
3836 #endif
3837
3838     smtp_code = US"250 ";        /* Default response code plus space*/
3839     if (user_msg == NULL)
3840       {
3841       s = string_sprintf("%.3s %s Hello %s%s%s",
3842         smtp_code,
3843         smtp_active_hostname,
3844         (sender_ident == NULL)?  US"" : sender_ident,
3845         (sender_ident == NULL)?  US"" : US" at ",
3846         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3847
3848       ptr = Ustrlen(s);
3849       size = ptr + 1;
3850
3851       if (sender_host_address != NULL)
3852         {
3853         s = string_catn(s, &size, &ptr, US" [", 2);
3854         s = string_cat (s, &size, &ptr, sender_host_address);
3855         s = string_catn(s, &size, &ptr, US"]", 1);
3856         }
3857       }
3858
3859     /* A user-supplied EHLO greeting may not contain more than one line. Note
3860     that the code returned by smtp_message_code() includes the terminating
3861     whitespace character. */
3862
3863     else
3864       {
3865       char *ss;
3866       int codelen = 4;
3867       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3868       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3869       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3870         {
3871         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3872           "newlines: message truncated: %s", string_printing(s));
3873         *ss = 0;
3874         }
3875       ptr = Ustrlen(s);
3876       size = ptr + 1;
3877       }
3878
3879     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3880
3881     /* If we received EHLO, we must create a multiline response which includes
3882     the functions supported. */
3883
3884     if (esmtp)
3885       {
3886       s[3] = '-';
3887
3888       /* I'm not entirely happy with this, as an MTA is supposed to check
3889       that it has enough room to accept a message of maximum size before
3890       it sends this. However, there seems little point in not sending it.
3891       The actual size check happens later at MAIL FROM time. By postponing it
3892       till then, VRFY and EXPN can be used after EHLO when space is short. */
3893
3894       if (thismessage_size_limit > 0)
3895         {
3896         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3897           thismessage_size_limit);
3898         s = string_cat(s, &size, &ptr, big_buffer);
3899         }
3900       else
3901         {
3902         s = string_catn(s, &size, &ptr, smtp_code, 3);
3903         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3904         }
3905
3906       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3907       clean; if it has an 8-bit character in its hand, it just sends it. It
3908       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3909       However, some users want this option simply in order to stop MUAs
3910       mangling messages that contain top-bit-set characters. It is therefore
3911       provided as an option. */
3912
3913       if (accept_8bitmime)
3914         {
3915         s = string_catn(s, &size, &ptr, smtp_code, 3);
3916         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3917         }
3918
3919       /* Advertise DSN support if configured to do so. */
3920       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3921         {
3922         s = string_catn(s, &size, &ptr, smtp_code, 3);
3923         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3924         dsn_advertised = TRUE;
3925         }
3926
3927       /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
3928       permitted to issue them; a check is made when any host actually tries. */
3929
3930       if (acl_smtp_etrn)
3931         {
3932         s = string_catn(s, &size, &ptr, smtp_code, 3);
3933         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
3934         }
3935       if (acl_smtp_vrfy)
3936         {
3937         s = string_catn(s, &size, &ptr, smtp_code, 3);
3938         s = string_catn(s, &size, &ptr, US"-VRFY\r\n", 7);
3939         }
3940       if (acl_smtp_expn)
3941         {
3942         s = string_catn(s, &size, &ptr, smtp_code, 3);
3943         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
3944         }
3945
3946       /* Exim is quite happy with pipelining, so let the other end know that
3947       it is safe to use it, unless advertising is disabled. */
3948
3949       if (pipelining_enable &&
3950           verify_check_host(&pipelining_advertise_hosts) == OK)
3951         {
3952         s = string_catn(s, &size, &ptr, smtp_code, 3);
3953         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3954         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3955         pipelining_advertised = TRUE;
3956         }
3957
3958
3959       /* If any server authentication mechanisms are configured, advertise
3960       them if the current host is in auth_advertise_hosts. The problem with
3961       advertising always is that some clients then require users to
3962       authenticate (and aren't configurable otherwise) even though it may not
3963       be necessary (e.g. if the host is in host_accept_relay).
3964
3965       RFC 2222 states that SASL mechanism names contain only upper case
3966       letters, so output the names in upper case, though we actually recognize
3967       them in either case in the AUTH command. */
3968
3969       if (  auths
3970 #ifdef AUTH_TLS
3971          && !sender_host_authenticated
3972 #endif
3973          && verify_check_host(&auth_advertise_hosts) == OK
3974          )
3975         {
3976         auth_instance *au;
3977         BOOL first = TRUE;
3978         for (au = auths; au; au = au->next)
3979           if (au->server && (au->advertise_condition == NULL ||
3980               expand_check_condition(au->advertise_condition, au->name,
3981               US"authenticator")))
3982             {
3983             int saveptr;
3984             if (first)
3985               {
3986               s = string_catn(s, &size, &ptr, smtp_code, 3);
3987               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
3988               first = FALSE;
3989               auth_advertised = TRUE;
3990               }
3991             saveptr = ptr;
3992             s = string_catn(s, &size, &ptr, US" ", 1);
3993             s = string_cat (s, &size, &ptr, au->public_name);
3994             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3995             au->advertised = TRUE;
3996             }
3997           else
3998             au->advertised = FALSE;
3999
4000         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
4001         }
4002
4003       /* RFC 3030 CHUNKING */
4004
4005       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4006         {
4007         s = string_catn(s, &size, &ptr, smtp_code, 3);
4008         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
4009         chunking_offered = TRUE;
4010         chunking_state = CHUNKING_OFFERED;
4011         }
4012
4013       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4014       if it has been included in the binary, and the host matches
4015       tls_advertise_hosts. We must *not* advertise if we are already in a
4016       secure connection. */
4017
4018 #ifdef SUPPORT_TLS
4019       if (tls_in.active < 0 &&
4020           verify_check_host(&tls_advertise_hosts) != FAIL)
4021         {
4022         s = string_catn(s, &size, &ptr, smtp_code, 3);
4023         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
4024         tls_advertised = TRUE;
4025         }
4026 #endif
4027
4028 #ifndef DISABLE_PRDR
4029       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4030       if (prdr_enable)
4031         {
4032         s = string_catn(s, &size, &ptr, smtp_code, 3);
4033         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
4034         }
4035 #endif
4036
4037 #ifdef SUPPORT_I18N
4038       if (  accept_8bitmime
4039          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4040         {
4041         s = string_catn(s, &size, &ptr, smtp_code, 3);
4042         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4043         smtputf8_advertised = TRUE;
4044         }
4045 #endif
4046
4047       /* Finish off the multiline reply with one that is always available. */
4048
4049       s = string_catn(s, &size, &ptr, smtp_code, 3);
4050       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4051       }
4052
4053     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4054     has been seen. */
4055
4056     s[ptr] = 0;
4057
4058 #ifdef SUPPORT_TLS
4059     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4060 #endif
4061
4062       {
4063       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4064       }
4065     DEBUG(D_receive)
4066       {
4067       uschar *cr;
4068       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4069         memmove(cr, cr + 1, (ptr--) - (cr - s));
4070       debug_printf("SMTP>> %s", s);
4071       }
4072     helo_seen = TRUE;
4073
4074     /* Reset the protocol and the state, abandoning any previous message. */
4075     received_protocol =
4076       (sender_host_address ? protocols : protocols_local)
4077         [ (esmtp
4078           ? pextend + (sender_host_authenticated ? pauthed : 0)
4079           : pnormal)
4080         + (tls_in.active >= 0 ? pcrpted : 0)
4081         ];
4082     smtp_reset(reset_point);
4083     toomany = FALSE;
4084     break;   /* HELO/EHLO */
4085
4086
4087     /* The MAIL command requires an address as an operand. All we do
4088     here is to parse it for syntactic correctness. The form "<>" is
4089     a special case which converts into an empty string. The start/end
4090     pointers in the original are not used further for this address, as
4091     it is the canonical extracted address which is all that is kept. */
4092
4093     case MAIL_CMD:
4094     HAD(SCH_MAIL);
4095     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4096     was_rej_mail = TRUE;               /* Reset if accepted */
4097     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4098
4099     if (helo_required && !helo_seen)
4100       {
4101       smtp_printf("503 HELO or EHLO required\r\n");
4102       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4103         "HELO/EHLO given", host_and_ident(FALSE));
4104       break;
4105       }
4106
4107     if (sender_address != NULL)
4108       {
4109       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4110         US"sender already given");
4111       break;
4112       }
4113
4114     if (smtp_cmd_data[0] == 0)
4115       {
4116       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4117         US"MAIL must have an address operand");
4118       break;
4119       }
4120
4121     /* Check to see if the limit for messages per connection would be
4122     exceeded by accepting further messages. */
4123
4124     if (smtp_accept_max_per_connection > 0 &&
4125         smtp_mailcmd_count > smtp_accept_max_per_connection)
4126       {
4127       smtp_printf("421 too many messages in this connection\r\n");
4128       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4129         "messages in one connection", host_and_ident(TRUE));
4130       break;
4131       }
4132
4133     /* Reset for start of message - even if this is going to fail, we
4134     obviously need to throw away any previous data. */
4135
4136     smtp_reset(reset_point);
4137     toomany = FALSE;
4138     sender_data = recipient_data = NULL;
4139
4140     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4141
4142     if (esmtp) for(;;)
4143       {
4144       uschar *name, *value, *end;
4145       unsigned long int size;
4146       BOOL arg_error = FALSE;
4147
4148       if (!extract_option(&name, &value)) break;
4149
4150       for (mail_args = env_mail_type_list;
4151            mail_args->value != ENV_MAIL_OPT_NULL;
4152            mail_args++
4153           )
4154         if (strcmpic(name, mail_args->name) == 0)
4155           break;
4156       if (mail_args->need_value && strcmpic(value, US"") == 0)
4157         break;
4158
4159       switch(mail_args->value)
4160         {
4161         /* Handle SIZE= by reading the value. We don't do the check till later,
4162         in order to be able to log the sender address on failure. */
4163         case ENV_MAIL_OPT_SIZE:
4164           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4165             {
4166             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4167               size = INT_MAX;
4168             message_size = (int)size;
4169             }
4170           else
4171             arg_error = TRUE;
4172           break;
4173
4174         /* If this session was initiated with EHLO and accept_8bitmime is set,
4175         Exim will have indicated that it supports the BODY=8BITMIME option. In
4176         fact, it does not support this according to the RFCs, in that it does not
4177         take any special action for forwarding messages containing 8-bit
4178         characters. That is why accept_8bitmime is not the default setting, but
4179         some sites want the action that is provided. We recognize both "8BITMIME"
4180         and "7BIT" as body types, but take no action. */
4181         case ENV_MAIL_OPT_BODY:
4182           if (accept_8bitmime) {
4183             if (strcmpic(value, US"8BITMIME") == 0)
4184               body_8bitmime = 8;
4185             else if (strcmpic(value, US"7BIT") == 0)
4186               body_8bitmime = 7;
4187             else
4188               {
4189               body_8bitmime = 0;
4190               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4191                 US"invalid data for BODY");
4192               goto COMMAND_LOOP;
4193               }
4194             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4195             break;
4196           }
4197           arg_error = TRUE;
4198           break;
4199
4200         /* Handle the two DSN options, but only if configured to do so (which
4201         will have caused "DSN" to be given in the EHLO response). The code itself
4202         is included only if configured in at build time. */
4203
4204         case ENV_MAIL_OPT_RET:
4205           if (dsn_advertised)
4206             {
4207             /* Check if RET has already been set */
4208             if (dsn_ret > 0)
4209               {
4210               synprot_error(L_smtp_syntax_error, 501, NULL,
4211                 US"RET can be specified once only");
4212               goto COMMAND_LOOP;
4213               }
4214             dsn_ret = strcmpic(value, US"HDRS") == 0
4215               ? dsn_ret_hdrs
4216               : strcmpic(value, US"FULL") == 0
4217               ? dsn_ret_full
4218               : 0;
4219             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4220             /* Check for invalid invalid value, and exit with error */
4221             if (dsn_ret == 0)
4222               {
4223               synprot_error(L_smtp_syntax_error, 501, NULL,
4224                 US"Value for RET is invalid");
4225               goto COMMAND_LOOP;
4226               }
4227             }
4228           break;
4229         case ENV_MAIL_OPT_ENVID:
4230           if (dsn_advertised)
4231             {
4232             /* Check if the dsn envid has been already set */
4233             if (dsn_envid != NULL)
4234               {
4235               synprot_error(L_smtp_syntax_error, 501, NULL,
4236                 US"ENVID can be specified once only");
4237               goto COMMAND_LOOP;
4238               }
4239             dsn_envid = string_copy(value);
4240             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4241             }
4242           break;
4243
4244         /* Handle the AUTH extension. If the value given is not "<>" and either
4245         the ACL says "yes" or there is no ACL but the sending host is
4246         authenticated, we set it up as the authenticated sender. However, if the
4247         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4248         the condition is met. The value of AUTH is an xtext, which means that +,
4249         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4250         coding. */
4251         case ENV_MAIL_OPT_AUTH:
4252           if (Ustrcmp(value, "<>") != 0)
4253             {
4254             int rc;
4255             uschar *ignore_msg;
4256
4257             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4258               {
4259               /* Put back terminator overrides for error message */
4260               value[-1] = '=';
4261               name[-1] = ' ';
4262               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4263                 US"invalid data for AUTH");
4264               goto COMMAND_LOOP;
4265               }
4266             if (acl_smtp_mailauth == NULL)
4267               {
4268               ignore_msg = US"client not authenticated";
4269               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4270               }
4271             else
4272               {
4273               ignore_msg = US"rejected by ACL";
4274               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4275                 &user_msg, &log_msg);
4276               }
4277
4278             switch (rc)
4279               {
4280               case OK:
4281                 if (authenticated_by == NULL ||
4282                     authenticated_by->mail_auth_condition == NULL ||
4283                     expand_check_condition(authenticated_by->mail_auth_condition,
4284                         authenticated_by->name, US"authenticator"))
4285                   break;     /* Accept the AUTH */
4286
4287                 ignore_msg = US"server_mail_auth_condition failed";
4288                 if (authenticated_id != NULL)
4289                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4290                     ignore_msg, authenticated_id);
4291
4292               /* Fall through */
4293
4294               case FAIL:
4295                 authenticated_sender = NULL;
4296                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4297                   value, host_and_ident(TRUE), ignore_msg);
4298                 break;
4299
4300               /* Should only get DEFER or ERROR here. Put back terminator
4301               overrides for error message */
4302
4303               default:
4304                 value[-1] = '=';
4305                 name[-1] = ' ';
4306                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4307                   log_msg);
4308                 goto COMMAND_LOOP;
4309               }
4310             }
4311             break;
4312
4313 #ifndef DISABLE_PRDR
4314         case ENV_MAIL_OPT_PRDR:
4315           if (prdr_enable)
4316             prdr_requested = TRUE;
4317           break;
4318 #endif
4319
4320 #ifdef SUPPORT_I18N
4321         case ENV_MAIL_OPT_UTF8:
4322           if (smtputf8_advertised)
4323             {
4324             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4325             message_smtputf8 = allow_utf8_domains = TRUE;
4326             received_protocol = string_sprintf("utf8%s", received_protocol);
4327             }
4328           break;
4329 #endif
4330         /* No valid option. Stick back the terminator characters and break
4331         the loop.  Do the name-terminator second as extract_option sets
4332         value==name when it found no equal-sign.
4333         An error for a malformed address will occur. */
4334         case ENV_MAIL_OPT_NULL:
4335           value[-1] = '=';
4336           name[-1] = ' ';
4337           arg_error = TRUE;
4338           break;
4339
4340         default:  assert(0);
4341         }
4342       /* Break out of for loop if switch() had bad argument or
4343          when start of the email address is reached */
4344       if (arg_error) break;
4345       }
4346
4347     /* If we have passed the threshold for rate limiting, apply the current
4348     delay, and update it for next time, provided this is a limited host. */
4349
4350     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4351         verify_check_host(&smtp_ratelimit_hosts) == OK)
4352       {
4353       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4354         smtp_delay_mail/1000.0);
4355       millisleep((int)smtp_delay_mail);
4356       smtp_delay_mail *= smtp_rlm_factor;
4357       if (smtp_delay_mail > (double)smtp_rlm_limit)
4358         smtp_delay_mail = (double)smtp_rlm_limit;
4359       }
4360
4361     /* Now extract the address, first applying any SMTP-time rewriting. The
4362     TRUE flag allows "<>" as a sender address. */
4363
4364     raw_sender = rewrite_existflags & rewrite_smtp
4365       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4366                     global_rewrite_rules)
4367       : smtp_cmd_data;
4368
4369     raw_sender =
4370       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4371         TRUE);
4372
4373     if (!raw_sender)
4374       {
4375       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4376       break;
4377       }
4378
4379     sender_address = raw_sender;
4380
4381     /* If there is a configured size limit for mail, check that this message
4382     doesn't exceed it. The check is postponed to this point so that the sender
4383     can be logged. */
4384
4385     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4386       {
4387       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4388       log_write(L_size_reject,
4389           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4390           "message too big: size%s=%d max=%d",
4391           sender_address,
4392           host_and_ident(TRUE),
4393           (message_size == INT_MAX)? ">" : "",
4394           message_size,
4395           thismessage_size_limit);
4396       sender_address = NULL;
4397       break;
4398       }
4399
4400     /* Check there is enough space on the disk unless configured not to.
4401     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4402     plus the current message - i.e. we accept the message only if it won't
4403     reduce the space below the threshold. Add 5000 to the size to allow for
4404     overheads such as the Received: line and storing of recipients, etc.
4405     By putting the check here, even when SIZE is not given, it allow VRFY
4406     and EXPN etc. to be used when space is short. */
4407
4408     if (!receive_check_fs(
4409          (smtp_check_spool_space && message_size >= 0)?
4410             message_size + 5000 : 0))
4411       {
4412       smtp_printf("452 Space shortage, please try later\r\n");
4413       sender_address = NULL;
4414       break;
4415       }
4416
4417     /* If sender_address is unqualified, reject it, unless this is a locally
4418     generated message, or the sending host or net is permitted to send
4419     unqualified addresses - typically local machines behaving as MUAs -
4420     in which case just qualify the address. The flag is set above at the start
4421     of the SMTP connection. */
4422
4423     if (sender_domain == 0 && sender_address[0] != 0)
4424       {
4425       if (allow_unqualified_sender)
4426         {
4427         sender_domain = Ustrlen(sender_address) + 1;
4428         sender_address = rewrite_address_qualify(sender_address, FALSE);
4429         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4430           raw_sender);
4431         }
4432       else
4433         {
4434         smtp_printf("501 %s: sender address must contain a domain\r\n",
4435           smtp_cmd_data);
4436         log_write(L_smtp_syntax_error,
4437           LOG_MAIN|LOG_REJECT,
4438           "unqualified sender rejected: <%s> %s%s",
4439           raw_sender,
4440           host_and_ident(TRUE),
4441           host_lookup_msg);
4442         sender_address = NULL;
4443         break;
4444         }
4445       }
4446
4447     /* Apply an ACL check if one is defined, before responding. Afterwards,
4448     when pipelining is not advertised, do another sync check in case the ACL
4449     delayed and the client started sending in the meantime. */
4450
4451     if (acl_smtp_mail)
4452       {
4453       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4454       if (rc == OK && !pipelining_advertised && !check_sync())
4455         goto SYNC_FAILURE;
4456       }
4457     else
4458       rc = OK;
4459
4460     if (rc == OK || rc == DISCARD)
4461       {
4462       if (!user_msg)
4463         smtp_printf("%s%s%s", US"250 OK",
4464                   #ifndef DISABLE_PRDR
4465                     prdr_requested ? US", PRDR Requested" : US"",
4466                   #else
4467                     US"",
4468                   #endif
4469                     US"\r\n");
4470       else
4471         {
4472       #ifndef DISABLE_PRDR
4473         if (prdr_requested)
4474            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4475       #endif
4476         smtp_user_msg(US"250", user_msg);
4477         }
4478       smtp_delay_rcpt = smtp_rlr_base;
4479       recipients_discarded = (rc == DISCARD);
4480       was_rej_mail = FALSE;
4481       }
4482     else
4483       {
4484       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4485       sender_address = NULL;
4486       }
4487     break;
4488
4489
4490     /* The RCPT command requires an address as an operand. There may be any
4491     number of RCPT commands, specifying multiple recipients. We build them all
4492     into a data structure. The start/end values given by parse_extract_address
4493     are not used, as we keep only the extracted address. */
4494
4495     case RCPT_CMD:
4496     HAD(SCH_RCPT);
4497     rcpt_count++;
4498     was_rcpt = rcpt_in_progress = TRUE;
4499
4500     /* There must be a sender address; if the sender was rejected and
4501     pipelining was advertised, we assume the client was pipelining, and do not
4502     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4503     get the same treatment. */
4504
4505     if (sender_address == NULL)
4506       {
4507       if (pipelining_advertised && last_was_rej_mail)
4508         {
4509         smtp_printf("503 sender not yet given\r\n");
4510         was_rej_mail = TRUE;
4511         }
4512       else
4513         {
4514         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4515           US"sender not yet given");
4516         was_rcpt = FALSE;             /* Not a valid RCPT */
4517         }
4518       rcpt_fail_count++;
4519       break;
4520       }
4521
4522     /* Check for an operand */
4523
4524     if (smtp_cmd_data[0] == 0)
4525       {
4526       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4527         US"RCPT must have an address operand");
4528       rcpt_fail_count++;
4529       break;
4530       }
4531
4532     /* Set the DSN flags orcpt and dsn_flags from the session*/
4533     orcpt = NULL;
4534     flags = 0;
4535
4536     if (esmtp) for(;;)
4537       {
4538       uschar *name, *value;
4539
4540       if (!extract_option(&name, &value))
4541         break;
4542
4543       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4544         {
4545         /* Check whether orcpt has been already set */
4546         if (orcpt)
4547           {
4548           synprot_error(L_smtp_syntax_error, 501, NULL,
4549             US"ORCPT can be specified once only");
4550           goto COMMAND_LOOP;
4551           }
4552         orcpt = string_copy(value);
4553         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4554         }
4555
4556       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4557         {
4558         /* Check if the notify flags have been already set */
4559         if (flags > 0)
4560           {
4561           synprot_error(L_smtp_syntax_error, 501, NULL,
4562               US"NOTIFY can be specified once only");
4563           goto COMMAND_LOOP;
4564           }
4565         if (strcmpic(value, US"NEVER") == 0)
4566           flags |= rf_notify_never;
4567         else
4568           {
4569           uschar *p = value;
4570           while (*p != 0)
4571             {
4572             uschar *pp = p;
4573             while (*pp != 0 && *pp != ',') pp++;
4574             if (*pp == ',') *pp++ = 0;
4575             if (strcmpic(p, US"SUCCESS") == 0)
4576               {
4577               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4578               flags |= rf_notify_success;
4579               }
4580             else if (strcmpic(p, US"FAILURE") == 0)
4581               {
4582               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4583               flags |= rf_notify_failure;
4584               }
4585             else if (strcmpic(p, US"DELAY") == 0)
4586               {
4587               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4588               flags |= rf_notify_delay;
4589               }
4590             else
4591               {
4592               /* Catch any strange values */
4593               synprot_error(L_smtp_syntax_error, 501, NULL,
4594                 US"Invalid value for NOTIFY parameter");
4595               goto COMMAND_LOOP;
4596               }
4597             p = pp;
4598             }
4599             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4600           }
4601         }
4602
4603       /* Unknown option. Stick back the terminator characters and break
4604       the loop. An error for a malformed address will occur. */
4605
4606       else
4607         {
4608         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4609         name[-1] = ' ';
4610         value[-1] = '=';
4611         break;
4612         }
4613       }
4614
4615     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4616     as a recipient address */
4617
4618     recipient = rewrite_existflags & rewrite_smtp
4619       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4620           global_rewrite_rules)
4621       : smtp_cmd_data;
4622
4623     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4624       &recipient_domain, FALSE)))
4625       {
4626       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4627       rcpt_fail_count++;
4628       break;
4629       }
4630
4631     /* If the recipient address is unqualified, reject it, unless this is a
4632     locally generated message. However, unqualified addresses are permitted
4633     from a configured list of hosts and nets - typically when behaving as
4634     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4635     really. The flag is set at the start of the SMTP connection.
4636
4637     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4638     assumed this meant "reserved local part", but the revision of RFC 821 and
4639     friends now makes it absolutely clear that it means *mailbox*. Consequently
4640     we must always qualify this address, regardless. */
4641
4642     if (!recipient_domain)
4643       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4644                                   US"recipient")))
4645         {
4646         rcpt_fail_count++;
4647         break;
4648         }
4649
4650     /* Check maximum allowed */
4651
4652     if (rcpt_count > recipients_max && recipients_max > 0)
4653       {
4654       if (recipients_max_reject)
4655         {
4656         rcpt_fail_count++;
4657         smtp_printf("552 too many recipients\r\n");
4658         if (!toomany)
4659           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4660             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4661         }
4662       else
4663         {
4664         rcpt_defer_count++;
4665         smtp_printf("452 too many recipients\r\n");
4666         if (!toomany)
4667           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4668             "temporarily rejected: sender=<%s> %s", sender_address,
4669             host_and_ident(TRUE));
4670         }
4671
4672       toomany = TRUE;
4673       break;
4674       }
4675
4676     /* If we have passed the threshold for rate limiting, apply the current
4677     delay, and update it for next time, provided this is a limited host. */
4678
4679     if (rcpt_count > smtp_rlr_threshold &&
4680         verify_check_host(&smtp_ratelimit_hosts) == OK)
4681       {
4682       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4683         smtp_delay_rcpt/1000.0);
4684       millisleep((int)smtp_delay_rcpt);
4685       smtp_delay_rcpt *= smtp_rlr_factor;
4686       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4687         smtp_delay_rcpt = (double)smtp_rlr_limit;
4688       }
4689
4690     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4691     for them. Otherwise, check the access control list for this recipient. As
4692     there may be a delay in this, re-check for a synchronization error
4693     afterwards, unless pipelining was advertised. */
4694
4695     if (recipients_discarded)
4696       rc = DISCARD;
4697     else
4698       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4699                     &log_msg)) == OK
4700          && !pipelining_advertised && !check_sync())
4701         goto SYNC_FAILURE;
4702
4703     /* The ACL was happy */
4704
4705     if (rc == OK)
4706       {
4707       if (user_msg)
4708         smtp_user_msg(US"250", user_msg);
4709       else
4710         smtp_printf("250 Accepted\r\n");
4711       receive_add_recipient(recipient, -1);
4712
4713       /* Set the dsn flags in the recipients_list */
4714       recipients_list[recipients_count-1].orcpt = orcpt;
4715       recipients_list[recipients_count-1].dsn_flags = flags;
4716
4717       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4718         recipients_list[recipients_count-1].orcpt,
4719         recipients_list[recipients_count-1].dsn_flags);
4720       }
4721
4722     /* The recipient was discarded */
4723
4724     else if (rc == DISCARD)
4725       {
4726       if (user_msg)
4727         smtp_user_msg(US"250", user_msg);
4728       else
4729         smtp_printf("250 Accepted\r\n");
4730       rcpt_fail_count++;
4731       discarded = TRUE;
4732       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4733         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4734         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4735         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4736         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4737       }
4738
4739     /* Either the ACL failed the address, or it was deferred. */
4740
4741     else
4742       {
4743       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4744       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4745       }
4746     break;
4747
4748
4749     /* The DATA command is legal only if it follows successful MAIL FROM
4750     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4751     not counted as a protocol error if it follows RCPT (which must have been
4752     rejected if there are no recipients.) This function is complete when a
4753     valid DATA command is encountered.
4754
4755     Note concerning the code used: RFC 2821 says this:
4756
4757      -  If there was no MAIL, or no RCPT, command, or all such commands
4758         were rejected, the server MAY return a "command out of sequence"
4759         (503) or "no valid recipients" (554) reply in response to the
4760         DATA command.
4761
4762     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4763     because it is the same whether pipelining is in use or not.
4764
4765     If all the RCPT commands that precede DATA provoked the same error message
4766     (often indicating some kind of system error), it is helpful to include it
4767     with the DATA rejection (an idea suggested by Tony Finch). */
4768
4769     case BDAT_CMD:
4770     HAD(SCH_BDAT);
4771       {
4772       int n;
4773
4774       if (chunking_state != CHUNKING_OFFERED)
4775         {
4776         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4777           US"BDAT command used when CHUNKING not advertised");
4778         break;
4779         }
4780
4781       /* grab size, endmarker */
4782
4783       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4784         {
4785         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4786           US"missing size for BDAT command");
4787         break;
4788         }
4789       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4790         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4791       chunking_data_left = chunking_datasize;
4792       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
4793                                     (int)chunking_state, chunking_data_left);
4794
4795       lwr_receive_getc = receive_getc;
4796       lwr_receive_ungetc = receive_ungetc;
4797       receive_getc = bdat_getc;
4798       receive_ungetc = bdat_ungetc;
4799
4800       goto DATA_BDAT;
4801       }
4802
4803     case DATA_CMD:
4804     HAD(SCH_DATA);
4805
4806     DATA_BDAT:          /* Common code for DATA and BDAT */
4807     if (!discarded && recipients_count <= 0)
4808       {
4809       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4810         {
4811         uschar *code = US"503";
4812         int len = Ustrlen(rcpt_smtp_response);
4813         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4814           "this error:");
4815         /* Responses from smtp_printf() will have \r\n on the end */
4816         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4817           rcpt_smtp_response[len-2] = 0;
4818         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4819         }
4820       if (pipelining_advertised && last_was_rcpt)
4821         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4822           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4823       else
4824         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4825           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4826           ? US"valid RCPT command must precede DATA"
4827           : US"valid RCPT command must precede BDAT");
4828
4829       if (chunking_state > CHUNKING_OFFERED)
4830         bdat_flush_data();
4831       break;
4832       }
4833
4834     if (toomany && recipients_max_reject)
4835       {
4836       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4837       sender_address_unrewritten = NULL;
4838       smtp_printf("554 Too many recipients\r\n");
4839       break;
4840       }
4841
4842     if (chunking_state > CHUNKING_OFFERED)
4843       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
4844     else
4845       {
4846       /* If there is an ACL, re-check the synchronization afterwards, since the
4847       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4848       to get the DATA command sent. */
4849
4850       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4851         rc = OK;
4852       else
4853         {
4854         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4855         enable_dollar_recipients = TRUE;
4856         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4857           &log_msg);
4858         enable_dollar_recipients = FALSE;
4859         if (rc == OK && !check_sync())
4860           goto SYNC_FAILURE;
4861
4862         if (rc != OK)
4863           {     /* Either the ACL failed the address, or it was deferred. */
4864           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4865           break;
4866           }
4867         }
4868
4869       if (user_msg)
4870         smtp_user_msg(US"354", user_msg);
4871       else
4872         smtp_printf(
4873           "354 Enter message, ending with \".\" on a line by itself\r\n");
4874       }
4875
4876 #ifdef TCP_QUICKACK
4877     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
4878       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4879               US &on, sizeof(on));
4880 #endif
4881     done = 3;
4882     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4883
4884     break;
4885
4886
4887     case VRFY_CMD:
4888       {
4889       uschar * address;
4890
4891       HAD(SCH_VRFY);
4892
4893       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4894             &start, &end, &recipient_domain, FALSE)))
4895         {
4896         smtp_printf("501 %s\r\n", errmess);
4897         break;
4898         }
4899
4900       if (!recipient_domain)
4901         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4902                                     US"verify")))
4903           break;
4904
4905       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4906                     &user_msg, &log_msg)) != OK)
4907         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4908       else
4909         {
4910         uschar * s = NULL;
4911         address_item * addr = deliver_make_addr(address, FALSE);
4912
4913         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4914                -1, -1, NULL, NULL, NULL))
4915           {
4916           case OK:
4917             s = string_sprintf("250 <%s> is deliverable", address);
4918             break;
4919
4920           case DEFER:
4921             s = (addr->user_message != NULL)?
4922               string_sprintf("451 <%s> %s", address, addr->user_message) :
4923               string_sprintf("451 Cannot resolve <%s> at this time", address);
4924             break;
4925
4926           case FAIL:
4927             s = (addr->user_message != NULL)?
4928               string_sprintf("550 <%s> %s", address, addr->user_message) :
4929               string_sprintf("550 <%s> is not deliverable", address);
4930             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
4931               smtp_cmd_argument, host_and_ident(TRUE));
4932             break;
4933           }
4934
4935         smtp_printf("%s\r\n", s);
4936         }
4937       break;
4938       }
4939
4940
4941     case EXPN_CMD:
4942     HAD(SCH_EXPN);
4943     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
4944     if (rc != OK)
4945       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
4946     else
4947       {
4948       BOOL save_log_testing_mode = log_testing_mode;
4949       address_test_mode = log_testing_mode = TRUE;
4950       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
4951         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
4952         NULL, NULL, NULL);
4953       address_test_mode = FALSE;
4954       log_testing_mode = save_log_testing_mode;    /* true for -bh */
4955       }
4956     break;
4957
4958
4959     #ifdef SUPPORT_TLS
4960
4961     case STARTTLS_CMD:
4962     HAD(SCH_STARTTLS);
4963     if (!tls_advertised)
4964       {
4965       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4966         US"STARTTLS command used when not advertised");
4967       break;
4968       }
4969
4970     /* Apply an ACL check if one is defined */
4971
4972     if (  acl_smtp_starttls
4973        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
4974                   &user_msg, &log_msg)) != OK
4975        )
4976       {
4977       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
4978       break;
4979       }
4980
4981     /* RFC 2487 is not clear on when this command may be sent, though it
4982     does state that all information previously obtained from the client
4983     must be discarded if a TLS session is started. It seems reasonable to
4984     do an implied RSET when STARTTLS is received. */
4985
4986     incomplete_transaction_log(US"STARTTLS");
4987     smtp_reset(reset_point);
4988     toomany = FALSE;
4989     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
4990
4991     /* There's an attack where more data is read in past the STARTTLS command
4992     before TLS is negotiated, then assumed to be part of the secure session
4993     when used afterwards; we use segregated input buffers, so are not
4994     vulnerable, but we want to note when it happens and, for sheer paranoia,
4995     ensure that the buffer is "wiped".
4996     Pipelining sync checks will normally have protected us too, unless disabled
4997     by configuration. */
4998
4999     if (receive_smtp_buffered())
5000       {
5001       DEBUG(D_any)
5002         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5003       if (tls_in.active < 0)
5004         smtp_inend = smtp_inptr = smtp_inbuffer;
5005       /* and if TLS is already active, tls_server_start() should fail */
5006       }
5007
5008     /* There is nothing we value in the input buffer and if TLS is successfully
5009     negotiated, we won't use this buffer again; if TLS fails, we'll just read
5010     fresh content into it.  The buffer contains arbitrary content from an
5011     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5012     It seems safest to just wipe away the content rather than leave it as a
5013     target to jump to. */
5014
5015     memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5016
5017     /* Attempt to start up a TLS session, and if successful, discard all
5018     knowledge that was obtained previously. At least, that's what the RFC says,
5019     and that's what happens by default. However, in order to work round YAEB,
5020     there is an option to remember the esmtp state. Sigh.
5021
5022     We must allow for an extra EHLO command and an extra AUTH command after
5023     STARTTLS that don't add to the nonmail command count. */
5024
5025     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
5026       {
5027       if (!tls_remember_esmtp)
5028         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
5029       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5030       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5031       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5032       if (sender_helo_name != NULL)
5033         {
5034         store_free(sender_helo_name);
5035         sender_helo_name = NULL;
5036         host_build_sender_fullhost();  /* Rebuild */
5037         set_process_info("handling incoming TLS connection from %s",
5038           host_and_ident(FALSE));
5039         }
5040       received_protocol =
5041         (sender_host_address ? protocols : protocols_local)
5042           [ (esmtp
5043             ? pextend + (sender_host_authenticated ? pauthed : 0)
5044             : pnormal)
5045           + (tls_in.active >= 0 ? pcrpted : 0)
5046           ];
5047
5048       sender_host_authenticated = NULL;
5049       authenticated_id = NULL;
5050       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5051       DEBUG(D_tls) debug_printf("TLS active\n");
5052       break;     /* Successful STARTTLS */
5053       }
5054
5055     /* Some local configuration problem was discovered before actually trying
5056     to do a TLS handshake; give a temporary error. */
5057
5058     else if (rc == DEFER)
5059       {
5060       smtp_printf("454 TLS currently unavailable\r\n");
5061       break;
5062       }
5063
5064     /* Hard failure. Reject everything except QUIT or closed connection. One
5065     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5066     set, but we must still reject all incoming commands. */
5067
5068     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5069     while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5070       {
5071       case EOF_CMD:
5072         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5073           smtp_get_connection_info());
5074         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5075         done = 2;
5076         break;
5077
5078       /* It is perhaps arguable as to which exit ACL should be called here,
5079       but as it is probably a situation that almost never arises, it
5080       probably doesn't matter. We choose to call the real QUIT ACL, which in
5081       some sense is perhaps "right". */
5082
5083       case QUIT_CMD:
5084         user_msg = NULL;
5085         if (  acl_smtp_quit
5086            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5087                               &log_msg)) == ERROR))
5088             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5089               log_msg);
5090         if (user_msg)
5091           smtp_respond(US"221", 3, TRUE, user_msg);
5092         else
5093           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5094         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5095           smtp_get_connection_info());
5096         done = 2;
5097         break;
5098
5099       default:
5100         smtp_printf("554 Security failure\r\n");
5101         break;
5102       }
5103     tls_close(TRUE, TRUE);
5104     break;
5105     #endif
5106
5107
5108     /* The ACL for QUIT is provided for gathering statistical information or
5109     similar; it does not affect the response code, but it can supply a custom
5110     message. */
5111
5112     case QUIT_CMD:
5113     smtp_quit_handler(&user_msg, &log_msg);
5114     done = 2;
5115     break;
5116
5117
5118     case RSET_CMD:
5119     smtp_rset_handler();
5120     smtp_reset(reset_point);
5121     toomany = FALSE;
5122     break;
5123
5124
5125     case NOOP_CMD:
5126     HAD(SCH_NOOP);
5127     smtp_printf("250 OK\r\n");
5128     break;
5129
5130
5131     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5132     used, a check will be done for permitted hosts. Show STARTTLS only if not
5133     already in a TLS session and if it would be advertised in the EHLO
5134     response. */
5135
5136     case HELP_CMD:
5137     HAD(SCH_HELP);
5138     smtp_printf("214-Commands supported:\r\n");
5139       {
5140       uschar buffer[256];
5141       buffer[0] = 0;
5142       Ustrcat(buffer, " AUTH");
5143       #ifdef SUPPORT_TLS
5144       if (tls_in.active < 0 &&
5145           verify_check_host(&tls_advertise_hosts) != FAIL)
5146         Ustrcat(buffer, " STARTTLS");
5147       #endif
5148       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5149       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5150       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5151       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5152       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5153       smtp_printf("214%s\r\n", buffer);
5154       }
5155     break;
5156
5157
5158     case EOF_CMD:
5159     incomplete_transaction_log(US"connection lost");
5160     smtp_notquit_exit(US"connection-lost", US"421",
5161       US"%s lost input connection", smtp_active_hostname);
5162
5163     /* Don't log by default unless in the middle of a message, as some mailers
5164     just drop the call rather than sending QUIT, and it clutters up the logs.
5165     */
5166
5167     if (sender_address != NULL || recipients_count > 0)
5168       log_write(L_lost_incoming_connection,
5169           LOG_MAIN,
5170           "unexpected %s while reading SMTP command from %s%s",
5171           sender_host_unknown? "EOF" : "disconnection",
5172           host_and_ident(FALSE), smtp_read_error);
5173
5174     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5175       smtp_get_connection_info(), smtp_read_error);
5176
5177     done = 1;
5178     break;
5179
5180
5181     case ETRN_CMD:
5182     HAD(SCH_ETRN);
5183     if (sender_address != NULL)
5184       {
5185       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5186         US"ETRN is not permitted inside a transaction");
5187       break;
5188       }
5189
5190     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5191       host_and_ident(FALSE));
5192
5193     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5194                 &user_msg, &log_msg)) != OK)
5195       {
5196       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5197       break;
5198       }
5199
5200     /* Compute the serialization key for this command. */
5201
5202     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5203
5204     /* If a command has been specified for running as a result of ETRN, we
5205     permit any argument to ETRN. If not, only the # standard form is permitted,
5206     since that is strictly the only kind of ETRN that can be implemented
5207     according to the RFC. */
5208
5209     if (smtp_etrn_command != NULL)
5210       {
5211       uschar *error;
5212       BOOL rc;
5213       etrn_command = smtp_etrn_command;
5214       deliver_domain = smtp_cmd_data;
5215       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5216         US"ETRN processing", &error);
5217       deliver_domain = NULL;
5218       if (!rc)
5219         {
5220         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5221           error);
5222         smtp_printf("458 Internal failure\r\n");
5223         break;
5224         }
5225       }
5226
5227     /* Else set up to call Exim with the -R option. */
5228
5229     else
5230       {
5231       if (*smtp_cmd_data++ != '#')
5232         {
5233         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5234           US"argument must begin with #");
5235         break;
5236         }
5237       etrn_command = US"exim -R";
5238       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5239         *queue_name ? 4 : 2,
5240         US"-R", smtp_cmd_data,
5241         US"-MCG", queue_name);
5242       }
5243
5244     /* If we are host-testing, don't actually do anything. */
5245
5246     if (host_checking)
5247       {
5248       HDEBUG(D_any)
5249         {
5250         debug_printf("ETRN command is: %s\n", etrn_command);
5251         debug_printf("ETRN command execution skipped\n");
5252         }
5253       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5254         else smtp_user_msg(US"250", user_msg);
5255       break;
5256       }
5257
5258
5259     /* If ETRN queue runs are to be serialized, check the database to
5260     ensure one isn't already running. */
5261
5262     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5263       {
5264       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5265       break;
5266       }
5267
5268     /* Fork a child process and run the command. We don't want to have to
5269     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5270     forking. It should be set that way anyway for external incoming SMTP,
5271     but we save and restore to be tidy. If serialization is required, we
5272     actually run the command in yet another process, so we can wait for it
5273     to complete and then remove the serialization lock. */
5274
5275     oldsignal = signal(SIGCHLD, SIG_IGN);
5276
5277     if ((pid = fork()) == 0)
5278       {
5279       smtp_input = FALSE;       /* This process is not associated with the */
5280       (void)fclose(smtp_in);    /* SMTP call any more. */
5281       (void)fclose(smtp_out);
5282
5283       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5284
5285       /* If not serializing, do the exec right away. Otherwise, fork down
5286       into another process. */
5287
5288       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5289         {
5290         DEBUG(D_exec) debug_print_argv(argv);
5291         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5292         execv(CS argv[0], (char *const *)argv);
5293         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5294           etrn_command, strerror(errno));
5295         _exit(EXIT_FAILURE);         /* paranoia */
5296         }
5297
5298       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5299       is, we are in the first subprocess, after forking again. All we can do
5300       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5301       complete, before removing the serialization. */
5302
5303       if (pid < 0)
5304         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5305           "failed: %s", strerror(errno));
5306       else
5307         {
5308         int status;
5309         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5310           (int)pid);
5311         (void)wait(&status);
5312         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5313           (int)pid);
5314         }
5315
5316       enq_end(etrn_serialize_key);
5317       _exit(EXIT_SUCCESS);
5318       }
5319
5320     /* Back in the top level SMTP process. Check that we started a subprocess
5321     and restore the signal state. */
5322
5323     if (pid < 0)
5324       {
5325       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5326         strerror(errno));
5327       smtp_printf("458 Unable to fork process\r\n");
5328       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5329       }
5330     else
5331       {
5332       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5333         else smtp_user_msg(US"250", user_msg);
5334       }
5335
5336     signal(SIGCHLD, oldsignal);
5337     break;
5338
5339
5340     case BADARG_CMD:
5341     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5342       US"unexpected argument data");
5343     break;
5344
5345
5346     /* This currently happens only for NULLs, but could be extended. */
5347
5348     case BADCHAR_CMD:
5349     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5350       US"NULL character(s) present (shown as '?')");
5351     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5352     break;
5353
5354
5355     case BADSYN_CMD:
5356     SYNC_FAILURE:
5357     if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5358       smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5359     c = smtp_inend - smtp_inptr;
5360     if (c > 150) c = 150;
5361     smtp_inptr[c] = 0;
5362     incomplete_transaction_log(US"sync failure");
5363     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5364       "(next input sent too soon: pipelining was%s advertised): "
5365       "rejected \"%s\" %s next input=\"%s\"",
5366       pipelining_advertised? "" : " not",
5367       smtp_cmd_buffer, host_and_ident(TRUE),
5368       string_printing(smtp_inptr));
5369     smtp_notquit_exit(US"synchronization-error", US"554",
5370       US"SMTP synchronization error");
5371     done = 1;   /* Pretend eof - drops connection */
5372     break;
5373
5374
5375     case TOO_MANY_NONMAIL_CMD:
5376     s = smtp_cmd_buffer;
5377     while (*s != 0 && !isspace(*s)) s++;
5378     incomplete_transaction_log(US"too many non-mail commands");
5379     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5380       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5381       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5382     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5383     done = 1;   /* Pretend eof - drops connection */
5384     break;
5385
5386 #ifdef SUPPORT_PROXY
5387     case PROXY_FAIL_IGNORE_CMD:
5388     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5389     break;
5390 #endif
5391
5392     default:
5393     if (unknown_command_count++ >= smtp_max_unknown_commands)
5394       {
5395       log_write(L_smtp_syntax_error, LOG_MAIN,
5396         "SMTP syntax error in \"%s\" %s %s",
5397         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5398         US"unrecognized command");
5399       incomplete_transaction_log(US"unrecognized command");
5400       smtp_notquit_exit(US"bad-commands", US"500",
5401         US"Too many unrecognized commands");
5402       done = 2;
5403       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5404         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5405         string_printing(smtp_cmd_buffer));
5406       }
5407     else
5408       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5409         US"unrecognized command");
5410     break;
5411     }
5412
5413   /* This label is used by goto's inside loops that want to break out to
5414   the end of the command-processing loop. */
5415
5416   COMMAND_LOOP:
5417   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5418   last_was_rcpt = was_rcpt;             /* protocol error handling */
5419   continue;
5420   }
5421
5422 return done - 2;  /* Convert yield values */
5423 }
5424
5425 /* vi: aw ai sw=2
5426 */
5427 /* End of smtp_in.c */