597b88e389421493f84a79f616edf9f92bf5c4dc
[users/jgh/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define smtp_cmd_buffer_size  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define in_buffer_size  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
86   processed the message is sent using a series of BDAT commands"
87   implies that BDAT should be synchronized.  However, we see Google, at least,
88   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
89   processing of the RPCT response(s).  We shall do the same, and not require
90   synch for BDAT. */
91
92   BDAT_CMD,
93
94   /* This is a dummy to identify the non-sync commands when not pipelining */
95
96   NON_SYNC_CMD_NON_PIPELINING,
97
98   /* I have been unable to find a statement about the use of pipelining
99   with AUTH, so to be on the safe side it is here, though I kind of feel
100   it should be up there with the synchronized commands. */
101
102   AUTH_CMD,
103
104   /* I'm not sure about these, but I don't think they matter. */
105
106   QUIT_CMD, HELP_CMD,
107
108 #ifdef SUPPORT_PROXY
109   PROXY_FAIL_IGNORE_CMD,
110 #endif
111
112   /* These are specials that don't correspond to actual commands */
113
114   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
115   TOO_MANY_NONMAIL_CMD };
116
117
118 /* This is a convenience macro for adding the identity of an SMTP command
119 to the circular buffer that holds a list of the last n received. */
120
121 #define HAD(n) \
122     smtp_connection_had[smtp_ch_index++] = n; \
123     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
124
125
126 /*************************************************
127 *                Local static variables          *
128 *************************************************/
129
130 static auth_instance *authenticated_by;
131 static BOOL auth_advertised;
132 #ifdef SUPPORT_TLS
133 static BOOL tls_advertised;
134 #endif
135 static BOOL dsn_advertised;
136 static BOOL esmtp;
137 static BOOL helo_required = FALSE;
138 static BOOL helo_verify = FALSE;
139 static BOOL helo_seen;
140 static BOOL helo_accept_junk;
141 static BOOL count_nonmail;
142 static BOOL pipelining_advertised;
143 static BOOL rcpt_smtp_response_same;
144 static BOOL rcpt_in_progress;
145 static int  nonmail_command_count;
146 static BOOL smtp_exit_function_called = 0;
147 #ifdef SUPPORT_I18N
148 static BOOL smtputf8_advertised;
149 #endif
150 static int  synprot_error_count;
151 static int  unknown_command_count;
152 static int  sync_cmd_limit;
153 static int  smtp_write_error = 0;
154
155 static uschar *rcpt_smtp_response;
156 static uschar *smtp_data_buffer;
157 static uschar *smtp_cmd_data;
158
159 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
160 final fields of all except AUTH are forced TRUE at the start of a new message
161 setup, to allow one of each between messages that is not counted as a nonmail
162 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
163 allow a new EHLO after starting up TLS.
164
165 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
166 counted. However, the flag is changed when AUTH is received, so that multiple
167 failing AUTHs will eventually hit the limit. After a successful AUTH, another
168 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
169 forced TRUE, to allow for the re-authentication that can happen at that point.
170
171 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
172 count of non-mail commands and possibly provoke an error.
173
174 tls_auth is a pseudo-command, never expected in input.  It is activated
175 on TLS startup and looks for a tls authenticator. */
176
177 static smtp_cmd_list cmd_list[] = {
178   /* name         len                     cmd     has_arg is_mail_cmd */
179
180   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
181   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
182   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
183   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
184   #ifdef SUPPORT_TLS
185   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
186   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
187   #endif
188
189 /* If you change anything above here, also fix the definitions below. */
190
191   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
192   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
193   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
194   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
195   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
196   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
197   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
198   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
199   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
200   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
201 };
202
203 static smtp_cmd_list *cmd_list_end =
204   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
205
206 #define CMD_LIST_RSET      0
207 #define CMD_LIST_HELO      1
208 #define CMD_LIST_EHLO      2
209 #define CMD_LIST_AUTH      3
210 #define CMD_LIST_STARTTLS  4
211 #define CMD_LIST_TLS_AUTH  5
212
213 /* This list of names is used for performing the smtp_no_mail logging action.
214 It must be kept in step with the SCH_xxx enumerations. */
215
216 static uschar *smtp_names[] =
217   {
218   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
219   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
220   US"STARTTLS", US"VRFY" };
221
222 static uschar *protocols_local[] = {
223   US"local-smtp",        /* HELO */
224   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
225   US"local-esmtp",       /* EHLO */
226   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
227   US"local-esmtpa",      /* EHLO->AUTH */
228   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
229   };
230 static uschar *protocols[] = {
231   US"smtp",              /* HELO */
232   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
233   US"esmtp",             /* EHLO */
234   US"esmtps",            /* EHLO->STARTTLS->EHLO */
235   US"esmtpa",            /* EHLO->AUTH */
236   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
237   };
238
239 #define pnormal  0
240 #define pextend  2
241 #define pcrpted  1  /* added to pextend or pnormal */
242 #define pauthed  2  /* added to pextend */
243
244 /* Sanity check and validate optional args to MAIL FROM: envelope */
245 enum {
246   ENV_MAIL_OPT_NULL,
247   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
248 #ifndef DISABLE_PRDR
249   ENV_MAIL_OPT_PRDR,
250 #endif
251   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
252 #ifdef SUPPORT_I18N
253   ENV_MAIL_OPT_UTF8,
254 #endif
255   };
256 typedef struct {
257   uschar *   name;  /* option requested during MAIL cmd */
258   int       value;  /* enum type */
259   BOOL need_value;  /* TRUE requires value (name=value pair format)
260                        FALSE is a singleton */
261   } env_mail_type_t;
262 static env_mail_type_t env_mail_type_list[] = {
263     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
264     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
265     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
266 #ifndef DISABLE_PRDR
267     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
268 #endif
269     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
270     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
271 #ifdef SUPPORT_I18N
272     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
273 #endif
274     /* keep this the last entry */
275     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
276   };
277
278 /* When reading SMTP from a remote host, we have to use our own versions of the
279 C input-reading functions, in order to be able to flush the SMTP output only
280 when about to read more data from the socket. This is the only way to get
281 optimal performance when the client is using pipelining. Flushing for every
282 command causes a separate packet and reply packet each time; saving all the
283 responses up (when pipelining) combines them into one packet and one response.
284
285 For simplicity, these functions are used for *all* SMTP input, not only when
286 receiving over a socket. However, after setting up a secure socket (SSL), input
287 is read via the OpenSSL library, and another set of functions is used instead
288 (see tls.c).
289
290 These functions are set in the receive_getc etc. variables and called with the
291 same interface as the C functions. However, since there can only ever be
292 one incoming SMTP call, we just use a single buffer and flags. There is no need
293 to implement a complicated private FILE-like structure.*/
294
295 static uschar *smtp_inbuffer;
296 static uschar *smtp_inptr;
297 static uschar *smtp_inend;
298 static int     smtp_had_eof;
299 static int     smtp_had_error;
300
301
302 /* forward declarations */
303 int bdat_ungetc(int ch);
304 static int smtp_read_command(BOOL check_sync);
305 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
306 static void smtp_quit_handler(uschar **, uschar **);
307 static void smtp_rset_handler(void);
308
309 /*************************************************
310 *          SMTP version of getc()                *
311 *************************************************/
312
313 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
314 it flushes the output, and refills the buffer, with a timeout. The signal
315 handler is set appropriately by the calling function. This function is not used
316 after a connection has negotated itself into an TLS/SSL state.
317
318 Arguments:  none
319 Returns:    the next character or EOF
320 */
321
322 int
323 smtp_getc(void)
324 {
325 if (smtp_inptr >= smtp_inend)
326   {
327   int rc, save_errno;
328   fflush(smtp_out);
329   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
330   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
331   save_errno = errno;
332   alarm(0);
333   if (rc <= 0)
334     {
335     /* Must put the error text in fixed store, because this might be during
336     header reading, where it releases unused store above the header. */
337     if (rc < 0)
338       {
339       smtp_had_error = save_errno;
340       smtp_read_error = string_copy_malloc(
341         string_sprintf(" (error: %s)", strerror(save_errno)));
342       }
343     else smtp_had_eof = 1;
344     return EOF;
345     }
346 #ifndef DISABLE_DKIM
347   dkim_exim_verify_feed(smtp_inbuffer, rc);
348 #endif
349   smtp_inend = smtp_inbuffer + rc;
350   smtp_inptr = smtp_inbuffer;
351   }
352 return *smtp_inptr++;
353 }
354
355 void
356 smtp_get_cache(void)
357 {
358 #ifndef DISABLE_DKIM
359 int n = smtp_inend - smtp_inptr;
360 if (n > 0)
361   dkim_exim_verify_feed(smtp_inptr, n);
362 #endif
363 }
364
365
366 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
367 previous BDAT chunk and getting new ones when we run out.  Uses the
368 underlying smtp_getc or tls_getc both for that and for getting the
369 (buffered) data byte.  EOD signals (an expected) no further data.
370 ERR signals a protocol error, and EOF a closed input stream.
371
372 Called from read_bdat_smtp() in receive.c for the message body, but also
373 by the headers read loop in receive_msg(); manipulates chunking_state
374 to handle the BDAT command/response.
375 Placed here due to the correlation with the above smtp_getc(), which it wraps,
376 and also by the need to do smtp command/response handling.
377
378 Arguments:  none
379 Returns:    the next character or ERR, EOD or EOF
380 */
381
382 int
383 bdat_getc(void)
384 {
385 uschar * user_msg = NULL;
386 uschar * log_msg;
387
388 for(;;)
389   {
390   if (chunking_data_left-- > 0)
391     return lwr_receive_getc();
392
393   receive_getc = lwr_receive_getc;
394   receive_ungetc = lwr_receive_ungetc;
395
396   /* If not the last, ack the received chunk.  The last response is delayed
397   until after the data ACL decides on it */
398
399   if (chunking_state == CHUNKING_LAST)
400     {
401 #ifndef DISABLE_DKIM
402     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
403 #endif
404     return EOD;
405     }
406
407   chunking_state = CHUNKING_OFFERED;
408   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
409
410   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
411   QUIT, RSET or NOOP but handling them seems obvious */
412
413 next_cmd:
414   switch(smtp_read_command(TRUE))
415     {
416     default:
417       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
418         US"only BDAT permissible after non-LAST BDAT");
419
420   repeat_until_rset:
421       switch(smtp_read_command(TRUE))
422         {
423         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
424         case EOF_CMD:   return EOF;
425         case RSET_CMD:  smtp_rset_handler(); return ERR;
426         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
427                                           US"only RSET accepted now") > 0)
428                           return EOF;
429                         goto repeat_until_rset;
430         }
431
432     case QUIT_CMD:
433       smtp_quit_handler(&user_msg, &log_msg);
434       /*FALLTHROUGH*/
435     case EOF_CMD:
436       return EOF;
437
438     case RSET_CMD:
439       smtp_rset_handler();
440       return ERR;
441
442     case NOOP_CMD:
443       HAD(SCH_NOOP);
444       smtp_printf("250 OK\r\n");
445       goto next_cmd;
446
447     case BDAT_CMD:
448       {
449       int n;
450
451       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
452         {
453         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
454           US"missing size for BDAT command");
455         return ERR;
456         }
457       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
458         ? CHUNKING_LAST : CHUNKING_ACTIVE;
459       chunking_data_left = chunking_datasize;
460
461       if (chunking_datasize == 0)
462         if (chunking_state == CHUNKING_LAST)
463           return EOD;
464         else
465           {
466           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
467             US"zero size for BDAT command");
468           goto repeat_until_rset;
469           }
470
471       receive_getc = bdat_getc;
472       receive_ungetc = bdat_ungetc;
473       break;    /* to top of main loop */
474       }
475     }
476   }
477 }
478
479 static void
480 bdat_flush_data(void)
481 {
482 while (chunking_data_left-- > 0)
483   if (lwr_receive_getc() < 0)
484     break;
485
486 receive_getc = lwr_receive_getc;
487 receive_ungetc = lwr_receive_ungetc;
488
489 if (chunking_state != CHUNKING_LAST)
490   chunking_state = CHUNKING_OFFERED;
491 }
492
493
494
495
496 /*************************************************
497 *          SMTP version of ungetc()              *
498 *************************************************/
499
500 /* Puts a character back in the input buffer. Only ever
501 called once.
502
503 Arguments:
504   ch           the character
505
506 Returns:       the character
507 */
508
509 int
510 smtp_ungetc(int ch)
511 {
512 *--smtp_inptr = ch;
513 return ch;
514 }
515
516
517 int
518 bdat_ungetc(int ch)
519 {
520 chunking_data_left++;
521 return lwr_receive_ungetc(ch);
522 }
523
524
525
526 /*************************************************
527 *          SMTP version of feof()                *
528 *************************************************/
529
530 /* Tests for a previous EOF
531
532 Arguments:     none
533 Returns:       non-zero if the eof flag is set
534 */
535
536 int
537 smtp_feof(void)
538 {
539 return smtp_had_eof;
540 }
541
542
543
544
545 /*************************************************
546 *          SMTP version of ferror()              *
547 *************************************************/
548
549 /* Tests for a previous read error, and returns with errno
550 restored to what it was when the error was detected.
551
552 Arguments:     none
553 Returns:       non-zero if the error flag is set
554 */
555
556 int
557 smtp_ferror(void)
558 {
559 errno = smtp_had_error;
560 return smtp_had_error;
561 }
562
563
564
565 /*************************************************
566 *      Test for characters in the SMTP buffer    *
567 *************************************************/
568
569 /* Used at the end of a message
570
571 Arguments:     none
572 Returns:       TRUE/FALSE
573 */
574
575 BOOL
576 smtp_buffered(void)
577 {
578 return smtp_inptr < smtp_inend;
579 }
580
581
582
583 /*************************************************
584 *     Write formatted string to SMTP channel     *
585 *************************************************/
586
587 /* This is a separate function so that we don't have to repeat everything for
588 TLS support or debugging. It is global so that the daemon and the
589 authentication functions can use it. It does not return any error indication,
590 because major problems such as dropped connections won't show up till an output
591 flush for non-TLS connections. The smtp_fflush() function is available for
592 checking that: for convenience, TLS output errors are remembered here so that
593 they are also picked up later by smtp_fflush().
594
595 Arguments:
596   format      format string
597   ...         optional arguments
598
599 Returns:      nothing
600 */
601
602 void
603 smtp_printf(const char *format, ...)
604 {
605 va_list ap;
606
607 va_start(ap, format);
608 smtp_vprintf(format, ap);
609 va_end(ap);
610 }
611
612 /* This is split off so that verify.c:respond_printf() can, in effect, call
613 smtp_printf(), bearing in mind that in C a vararg function can't directly
614 call another vararg function, only a function which accepts a va_list. */
615
616 void
617 smtp_vprintf(const char *format, va_list ap)
618 {
619 BOOL yield;
620
621 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
622
623 DEBUG(D_receive)
624   {
625   void *reset_point = store_get(0);
626   uschar *msg_copy, *cr, *end;
627   msg_copy = string_copy(big_buffer);
628   end = msg_copy + Ustrlen(msg_copy);
629   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
630   memmove(cr, cr + 1, (end--) - cr);
631   debug_printf("SMTP>> %s", msg_copy);
632   store_reset(reset_point);
633   }
634
635 if (!yield)
636   {
637   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
638   smtp_closedown(US"Unexpected error");
639   exim_exit(EXIT_FAILURE);
640   }
641
642 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
643 have had the same. Note: this code is also present in smtp_respond(). It would
644 be tidier to have it only in one place, but when it was added, it was easier to
645 do it that way, so as not to have to mess with the code for the RCPT command,
646 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
647
648 if (rcpt_in_progress)
649   {
650   if (rcpt_smtp_response == NULL)
651     rcpt_smtp_response = string_copy(big_buffer);
652   else if (rcpt_smtp_response_same &&
653            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
654     rcpt_smtp_response_same = FALSE;
655   rcpt_in_progress = FALSE;
656   }
657
658 /* Now write the string */
659
660 #ifdef SUPPORT_TLS
661 if (tls_in.active >= 0)
662   {
663   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
664     smtp_write_error = -1;
665   }
666 else
667 #endif
668
669 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
670 }
671
672
673
674 /*************************************************
675 *        Flush SMTP out and check for error      *
676 *************************************************/
677
678 /* This function isn't currently used within Exim (it detects errors when it
679 tries to read the next SMTP input), but is available for use in local_scan().
680 For non-TLS connections, it flushes the output and checks for errors. For
681 TLS-connections, it checks for a previously-detected TLS write error.
682
683 Arguments:  none
684 Returns:    0 for no error; -1 after an error
685 */
686
687 int
688 smtp_fflush(void)
689 {
690 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
691 return smtp_write_error;
692 }
693
694
695
696 /*************************************************
697 *          SMTP command read timeout             *
698 *************************************************/
699
700 /* Signal handler for timing out incoming SMTP commands. This attempts to
701 finish off tidily.
702
703 Argument: signal number (SIGALRM)
704 Returns:  nothing
705 */
706
707 static void
708 command_timeout_handler(int sig)
709 {
710 sig = sig;    /* Keep picky compilers happy */
711 log_write(L_lost_incoming_connection,
712           LOG_MAIN, "SMTP command timeout on%s connection from %s",
713           (tls_in.active >= 0)? " TLS" : "",
714           host_and_ident(FALSE));
715 if (smtp_batched_input)
716   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
717 smtp_notquit_exit(US"command-timeout", US"421",
718   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
719 exim_exit(EXIT_FAILURE);
720 }
721
722
723
724 /*************************************************
725 *               SIGTERM received                 *
726 *************************************************/
727
728 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
729
730 Argument: signal number (SIGTERM)
731 Returns:  nothing
732 */
733
734 static void
735 command_sigterm_handler(int sig)
736 {
737 sig = sig;    /* Keep picky compilers happy */
738 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
739 if (smtp_batched_input)
740   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
741 smtp_notquit_exit(US"signal-exit", US"421",
742   US"%s: Service not available - closing connection", smtp_active_hostname);
743 exim_exit(EXIT_FAILURE);
744 }
745
746
747
748
749 #ifdef SUPPORT_PROXY
750 /*************************************************
751 *     Restore socket timeout to previous value   *
752 *************************************************/
753 /* If the previous value was successfully retrieved, restore
754 it before returning control to the non-proxy routines
755
756 Arguments: fd     - File descriptor for input
757            get_ok - Successfully retrieved previous values
758            tvtmp  - Time struct with previous values
759            vslen  - Length of time struct
760 Returns:   none
761 */
762 static void
763 restore_socket_timeout(int fd, int get_ok, struct timeval tvtmp, socklen_t vslen)
764 {
765 if (get_ok == 0)
766   setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp, vslen);
767 }
768
769 /*************************************************
770 *       Check if host is required proxy host     *
771 *************************************************/
772 /* The function determines if inbound host will be a regular smtp host
773 or if it is configured that it must use Proxy Protocol.
774
775 Arguments: none
776 Returns:   bool
777 */
778
779 static BOOL
780 check_proxy_protocol_host()
781 {
782 int rc;
783 /* Cannot configure local connection as a proxy inbound */
784 if (sender_host_address == NULL) return proxy_session;
785
786 rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
787                            sender_host_address, NULL);
788 if (rc == OK)
789   {
790   DEBUG(D_receive)
791     debug_printf("Detected proxy protocol configured host\n");
792   proxy_session = TRUE;
793   }
794 return proxy_session;
795 }
796
797
798 /*************************************************
799 *         Setup host for proxy protocol          *
800 *************************************************/
801 /* The function configures the connection based on a header from the
802 inbound host to use Proxy Protocol. The specification is very exact
803 so exit with an error if do not find the exact required pieces. This
804 includes an incorrect number of spaces separating args.
805
806 Arguments: none
807 Returns:   int
808 */
809
810 static BOOL
811 setup_proxy_protocol_host()
812 {
813 union {
814   struct {
815     uschar line[108];
816   } v1;
817   struct {
818     uschar sig[12];
819     uint8_t ver_cmd;
820     uint8_t fam;
821     uint16_t len;
822     union {
823       struct { /* TCP/UDP over IPv4, len = 12 */
824         uint32_t src_addr;
825         uint32_t dst_addr;
826         uint16_t src_port;
827         uint16_t dst_port;
828       } ip4;
829       struct { /* TCP/UDP over IPv6, len = 36 */
830         uint8_t  src_addr[16];
831         uint8_t  dst_addr[16];
832         uint16_t src_port;
833         uint16_t dst_port;
834       } ip6;
835       struct { /* AF_UNIX sockets, len = 216 */
836         uschar   src_addr[108];
837         uschar   dst_addr[108];
838       } unx;
839     } addr;
840   } v2;
841 } hdr;
842
843 /* Temp variables used in PPv2 address:port parsing */
844 uint16_t tmpport;
845 char tmpip[INET_ADDRSTRLEN];
846 struct sockaddr_in tmpaddr;
847 char tmpip6[INET6_ADDRSTRLEN];
848 struct sockaddr_in6 tmpaddr6;
849
850 int get_ok = 0;
851 int size, ret, fd;
852 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
853 uschar *iptype;  /* To display debug info */
854 struct timeval tv;
855 socklen_t vslen = 0;
856 struct timeval tvtmp;
857
858 vslen = sizeof(struct timeval);
859
860 fd = fileno(smtp_in);
861
862 /* Save current socket timeout values */
863 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp,
864                     &vslen);
865
866 /* Proxy Protocol host must send header within a short time
867 (default 3 seconds) or it's considered invalid */
868 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
869 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
870 setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tv,
871            sizeof(struct timeval));
872
873 do
874   {
875   /* The inbound host was declared to be a Proxy Protocol host, so
876      don't do a PEEK into the data, actually slurp it up. */
877   ret = recv(fd, &hdr, sizeof(hdr), 0);
878   }
879   while (ret == -1 && errno == EINTR);
880
881 if (ret == -1)
882   {
883   restore_socket_timeout(fd, get_ok, tvtmp, vslen);
884   return (errno == EAGAIN) ? 0 : ERRNO_PROXYFAIL;
885   }
886
887 if (ret >= 16 &&
888     memcmp(&hdr.v2, v2sig, 12) == 0)
889   {
890   uint8_t ver, cmd;
891
892   /* May 2014: haproxy combined the version and command into one byte to
893      allow two full bytes for the length field in order to proxy SSL
894      connections.  SSL Proxy is not supported in this version of Exim, but
895      must still seperate values here. */
896   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
897   cmd = (hdr.v2.ver_cmd & 0x0f);
898
899   if (ver != 0x02)
900     {
901     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
902     goto proxyfail;
903     }
904   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
905   /* The v2 header will always be 16 bytes per the spec. */
906   size = 16 + hdr.v2.len;
907   if (ret < size)
908     {
909     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
910                                   ret, size);
911     goto proxyfail;
912     }
913   switch (cmd)
914     {
915     case 0x01: /* PROXY command */
916       switch (hdr.v2.fam)
917         {
918         case 0x11:  /* TCPv4 address type */
919           iptype = US"IPv4";
920           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
921           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
922           if (!string_is_ip_address(US tmpip,NULL))
923             {
924             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
925             return ERRNO_PROXYFAIL;
926             }
927           proxy_local_address = sender_host_address;
928           sender_host_address = string_copy(US tmpip);
929           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
930           proxy_local_port    = sender_host_port;
931           sender_host_port    = tmpport;
932           /* Save dest ip/port */
933           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
934           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
935           if (!string_is_ip_address(US tmpip,NULL))
936             {
937             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
938             return ERRNO_PROXYFAIL;
939             }
940           proxy_external_address = string_copy(US tmpip);
941           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
942           proxy_external_port  = tmpport;
943           goto done;
944         case 0x21:  /* TCPv6 address type */
945           iptype = US"IPv6";
946           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
947           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
948           if (!string_is_ip_address(US tmpip6,NULL))
949             {
950             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
951             return ERRNO_PROXYFAIL;
952             }
953           proxy_local_address = sender_host_address;
954           sender_host_address = string_copy(US tmpip6);
955           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
956           proxy_local_port    = sender_host_port;
957           sender_host_port    = tmpport;
958           /* Save dest ip/port */
959           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
960           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
961           if (!string_is_ip_address(US tmpip6,NULL))
962             {
963             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
964             return ERRNO_PROXYFAIL;
965             }
966           proxy_external_address = string_copy(US tmpip6);
967           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
968           proxy_external_port  = tmpport;
969           goto done;
970         default:
971           DEBUG(D_receive)
972             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
973                          hdr.v2.fam);
974           goto proxyfail;
975         }
976       /* Unsupported protocol, keep local connection address */
977       break;
978     case 0x00: /* LOCAL command */
979       /* Keep local connection address for LOCAL */
980       break;
981     default:
982       DEBUG(D_receive)
983         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
984       goto proxyfail;
985     }
986   }
987 else if (ret >= 8 &&
988          memcmp(hdr.v1.line, "PROXY", 5) == 0)
989   {
990   uschar *p = string_copy(hdr.v1.line);
991   uschar *end = memchr(p, '\r', ret - 1);
992   uschar *sp;     /* Utility variables follow */
993   int     tmp_port;
994   char   *endc;
995
996   if (!end || end[1] != '\n')
997     {
998     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
999     goto proxyfail;
1000     }
1001   *end = '\0'; /* Terminate the string */
1002   size = end + 2 - hdr.v1.line; /* Skip header + CRLF */
1003   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1004   /* Step through the string looking for the required fields. Ensure
1005      strict adherance to required formatting, exit for any error. */
1006   p += 5;
1007   if (!isspace(*(p++)))
1008     {
1009     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1010     goto proxyfail;
1011     }
1012   if (!Ustrncmp(p, CCS"TCP4", 4))
1013     iptype = US"IPv4";
1014   else if (!Ustrncmp(p,CCS"TCP6", 4))
1015     iptype = US"IPv6";
1016   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1017     {
1018     iptype = US"Unknown";
1019     goto done;
1020     }
1021   else
1022     {
1023     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1024     goto proxyfail;
1025     }
1026
1027   p += Ustrlen(iptype);
1028   if (!isspace(*(p++)))
1029     {
1030     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1031     goto proxyfail;
1032     }
1033   /* Find the end of the arg */
1034   if ((sp = Ustrchr(p, ' ')) == NULL)
1035     {
1036     DEBUG(D_receive)
1037       debug_printf("Did not find proxied src %s\n", iptype);
1038     goto proxyfail;
1039     }
1040   *sp = '\0';
1041   if(!string_is_ip_address(p,NULL))
1042     {
1043     DEBUG(D_receive)
1044       debug_printf("Proxied src arg is not an %s address\n", iptype);
1045     goto proxyfail;
1046     }
1047   proxy_local_address = sender_host_address;
1048   sender_host_address = p;
1049   p = sp + 1;
1050   if ((sp = Ustrchr(p, ' ')) == NULL)
1051     {
1052     DEBUG(D_receive)
1053       debug_printf("Did not find proxy dest %s\n", iptype);
1054     goto proxyfail;
1055     }
1056   *sp = '\0';
1057   if(!string_is_ip_address(p,NULL))
1058     {
1059     DEBUG(D_receive)
1060       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1061     goto proxyfail;
1062     }
1063   proxy_external_address = p;
1064   p = sp + 1;
1065   if ((sp = Ustrchr(p, ' ')) == NULL)
1066     {
1067     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1068     goto proxyfail;
1069     }
1070   *sp = '\0';
1071   tmp_port = strtol(CCS p,&endc,10);
1072   if (*endc || tmp_port == 0)
1073     {
1074     DEBUG(D_receive)
1075       debug_printf("Proxied src port '%s' not an integer\n", p);
1076     goto proxyfail;
1077     }
1078   proxy_local_port = sender_host_port;
1079   sender_host_port = tmp_port;
1080   p = sp + 1;
1081   if ((sp = Ustrchr(p, '\0')) == NULL)
1082     {
1083     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1084     goto proxyfail;
1085     }
1086   tmp_port = strtol(CCS p,&endc,10);
1087   if (*endc || tmp_port == 0)
1088     {
1089     DEBUG(D_receive)
1090       debug_printf("Proxy dest port '%s' not an integer\n", p);
1091     goto proxyfail;
1092     }
1093   proxy_external_port = tmp_port;
1094   /* Already checked for /r /n above. Good V1 header received. */
1095   goto done;
1096   }
1097 else
1098   {
1099   /* Wrong protocol */
1100   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1101   goto proxyfail;
1102   }
1103
1104 proxyfail:
1105 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1106 /* Don't flush any potential buffer contents. Any input should cause a
1107    synchronization failure */
1108 return FALSE;
1109
1110 done:
1111 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1112 DEBUG(D_receive)
1113   debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1114 return proxy_session;
1115 }
1116 #endif
1117
1118 /*************************************************
1119 *           Read one command line                *
1120 *************************************************/
1121
1122 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1123 There are sites that don't do this, and in any case internal SMTP probably
1124 should check only for LF. Consequently, we check here for LF only. The line
1125 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1126 an unknown command. The command is read into the global smtp_cmd_buffer so that
1127 it is available via $smtp_command.
1128
1129 The character reading routine sets up a timeout for each block actually read
1130 from the input (which may contain more than one command). We set up a special
1131 signal handler that closes down the session on a timeout. Control does not
1132 return when it runs.
1133
1134 Arguments:
1135   check_sync   if TRUE, check synchronization rules if global option is TRUE
1136
1137 Returns:       a code identifying the command (enumerated above)
1138 */
1139
1140 static int
1141 smtp_read_command(BOOL check_sync)
1142 {
1143 int c;
1144 int ptr = 0;
1145 smtp_cmd_list *p;
1146 BOOL hadnull = FALSE;
1147
1148 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1149
1150 while ((c = (receive_getc)()) != '\n' && c != EOF)
1151   {
1152   if (ptr >= smtp_cmd_buffer_size)
1153     {
1154     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1155     return OTHER_CMD;
1156     }
1157   if (c == 0)
1158     {
1159     hadnull = TRUE;
1160     c = '?';
1161     }
1162   smtp_cmd_buffer[ptr++] = c;
1163   }
1164
1165 receive_linecount++;    /* For BSMTP errors */
1166 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1167
1168 /* If hit end of file, return pseudo EOF command. Whether we have a
1169 part-line already read doesn't matter, since this is an error state. */
1170
1171 if (c == EOF) return EOF_CMD;
1172
1173 /* Remove any CR and white space at the end of the line, and terminate the
1174 string. */
1175
1176 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1177 smtp_cmd_buffer[ptr] = 0;
1178
1179 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1180
1181 /* NULLs are not allowed in SMTP commands */
1182
1183 if (hadnull) return BADCHAR_CMD;
1184
1185 /* Scan command list and return identity, having set the data pointer
1186 to the start of the actual data characters. Check for SMTP synchronization
1187 if required. */
1188
1189 for (p = cmd_list; p < cmd_list_end; p++)
1190   {
1191   #ifdef SUPPORT_PROXY
1192   /* Only allow QUIT command if Proxy Protocol parsing failed */
1193   if (proxy_session && proxy_session_failed)
1194     {
1195     if (p->cmd != QUIT_CMD)
1196       continue;
1197     }
1198   #endif
1199   if (  p->len
1200      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1201      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1202         || smtp_cmd_buffer[p->len] == 0
1203         || smtp_cmd_buffer[p->len] == ' '
1204      )  )
1205     {
1206     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1207         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1208         check_sync &&                                  /* Local flag set */
1209         smtp_enforce_sync &&                           /* Global flag set */
1210         sender_host_address != NULL &&                 /* Not local input */
1211         !sender_host_notsocket)                        /* Really is a socket */
1212       return BADSYN_CMD;
1213
1214     /* The variables $smtp_command and $smtp_command_argument point into the
1215     unmodified input buffer. A copy of the latter is taken for actual
1216     processing, so that it can be chopped up into separate parts if necessary,
1217     for example, when processing a MAIL command options such as SIZE that can
1218     follow the sender address. */
1219
1220     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1221     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1222     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1223     smtp_cmd_data = smtp_data_buffer;
1224
1225     /* Count non-mail commands from those hosts that are controlled in this
1226     way. The default is all hosts. We don't waste effort checking the list
1227     until we get a non-mail command, but then cache the result to save checking
1228     again. If there's a DEFER while checking the host, assume it's in the list.
1229
1230     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1231     start of each incoming message by fiddling with the value in the table. */
1232
1233     if (!p->is_mail_cmd)
1234       {
1235       if (count_nonmail == TRUE_UNSET) count_nonmail =
1236         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1237       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1238         return TOO_MANY_NONMAIL_CMD;
1239       }
1240
1241     /* If there is data for a command that does not expect it, generate the
1242     error here. */
1243
1244     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1245     }
1246   }
1247
1248 #ifdef SUPPORT_PROXY
1249 /* Only allow QUIT command if Proxy Protocol parsing failed */
1250 if (proxy_session && proxy_session_failed)
1251   return PROXY_FAIL_IGNORE_CMD;
1252 #endif
1253
1254 /* Enforce synchronization for unknown commands */
1255
1256 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1257     check_sync &&                                  /* Local flag set */
1258     smtp_enforce_sync &&                           /* Global flag set */
1259     sender_host_address != NULL &&                 /* Not local input */
1260     !sender_host_notsocket)                        /* Really is a socket */
1261   return BADSYN_CMD;
1262
1263 return OTHER_CMD;
1264 }
1265
1266
1267
1268 /*************************************************
1269 *          Recheck synchronization               *
1270 *************************************************/
1271
1272 /* Synchronization checks can never be perfect because a packet may be on its
1273 way but not arrived when the check is done. Such checks can in any case only be
1274 done when TLS is not in use. Normally, the checks happen when commands are
1275 read: Exim ensures that there is no more input in the input buffer. In normal
1276 cases, the response to the command will be fast, and there is no further check.
1277
1278 However, for some commands an ACL is run, and that can include delays. In those
1279 cases, it is useful to do another check on the input just before sending the
1280 response. This also applies at the start of a connection. This function does
1281 that check by means of the select() function, as long as the facility is not
1282 disabled or inappropriate. A failure of select() is ignored.
1283
1284 When there is unwanted input, we read it so that it appears in the log of the
1285 error.
1286
1287 Arguments: none
1288 Returns:   TRUE if all is well; FALSE if there is input pending
1289 */
1290
1291 static BOOL
1292 check_sync(void)
1293 {
1294 int fd, rc;
1295 fd_set fds;
1296 struct timeval tzero;
1297
1298 if (!smtp_enforce_sync || sender_host_address == NULL ||
1299     sender_host_notsocket || tls_in.active >= 0)
1300   return TRUE;
1301
1302 fd = fileno(smtp_in);
1303 FD_ZERO(&fds);
1304 FD_SET(fd, &fds);
1305 tzero.tv_sec = 0;
1306 tzero.tv_usec = 0;
1307 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
1308
1309 if (rc <= 0) return TRUE;     /* Not ready to read */
1310 rc = smtp_getc();
1311 if (rc < 0) return TRUE;      /* End of file or error */
1312
1313 smtp_ungetc(rc);
1314 rc = smtp_inend - smtp_inptr;
1315 if (rc > 150) rc = 150;
1316 smtp_inptr[rc] = 0;
1317 return FALSE;
1318 }
1319
1320
1321
1322 /*************************************************
1323 *          Forced closedown of call              *
1324 *************************************************/
1325
1326 /* This function is called from log.c when Exim is dying because of a serious
1327 disaster, and also from some other places. If an incoming non-batched SMTP
1328 channel is open, it swallows the rest of the incoming message if in the DATA
1329 phase, sends the reply string, and gives an error to all subsequent commands
1330 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1331 smtp_in.
1332
1333 Arguments:
1334   message   SMTP reply string to send, excluding the code
1335
1336 Returns:    nothing
1337 */
1338
1339 void
1340 smtp_closedown(uschar *message)
1341 {
1342 if (smtp_in == NULL || smtp_batched_input) return;
1343 receive_swallow_smtp();
1344 smtp_printf("421 %s\r\n", message);
1345
1346 for (;;)
1347   {
1348   switch(smtp_read_command(FALSE))
1349     {
1350     case EOF_CMD:
1351     return;
1352
1353     case QUIT_CMD:
1354     smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1355     mac_smtp_fflush();
1356     return;
1357
1358     case RSET_CMD:
1359     smtp_printf("250 Reset OK\r\n");
1360     break;
1361
1362     default:
1363     smtp_printf("421 %s\r\n", message);
1364     break;
1365     }
1366   }
1367 }
1368
1369
1370
1371
1372 /*************************************************
1373 *        Set up connection info for logging      *
1374 *************************************************/
1375
1376 /* This function is called when logging information about an SMTP connection.
1377 It sets up appropriate source information, depending on the type of connection.
1378 If sender_fullhost is NULL, we are at a very early stage of the connection;
1379 just use the IP address.
1380
1381 Argument:    none
1382 Returns:     a string describing the connection
1383 */
1384
1385 uschar *
1386 smtp_get_connection_info(void)
1387 {
1388 uschar *hostname = (sender_fullhost == NULL)?
1389   sender_host_address : sender_fullhost;
1390
1391 if (host_checking)
1392   return string_sprintf("SMTP connection from %s", hostname);
1393
1394 if (sender_host_unknown || sender_host_notsocket)
1395   return string_sprintf("SMTP connection from %s", sender_ident);
1396
1397 if (is_inetd)
1398   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1399
1400 if (LOGGING(incoming_interface) && interface_address != NULL)
1401   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1402     interface_address, interface_port);
1403
1404 return string_sprintf("SMTP connection from %s", hostname);
1405 }
1406
1407
1408
1409 #ifdef SUPPORT_TLS
1410 /* Append TLS-related information to a log line
1411
1412 Arguments:
1413   s             String under construction: allocated string to extend, or NULL
1414   sizep         Pointer to current allocation size (update on return), or NULL
1415   ptrp          Pointer to index for new entries in string (update on return), or NULL
1416
1417 Returns:        Allocated string or NULL
1418 */
1419 static uschar *
1420 s_tlslog(uschar * s, int * sizep, int * ptrp)
1421 {
1422   int size = sizep ? *sizep : 0;
1423   int ptr = ptrp ? *ptrp : 0;
1424
1425   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1426     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1427   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1428     s = string_append(s, &size, &ptr, 2, US" CV=",
1429       tls_in.certificate_verified? "yes":"no");
1430   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1431     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1432       string_printing(tls_in.peerdn), US"\"");
1433   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1434     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1435       string_printing(tls_in.sni), US"\"");
1436
1437   if (s)
1438     {
1439     s[ptr] = '\0';
1440     if (sizep) *sizep = size;
1441     if (ptrp) *ptrp = ptr;
1442     }
1443   return s;
1444 }
1445 #endif
1446
1447 /*************************************************
1448 *      Log lack of MAIL if so configured         *
1449 *************************************************/
1450
1451 /* This function is called when an SMTP session ends. If the log selector
1452 smtp_no_mail is set, write a log line giving some details of what has happened
1453 in the SMTP session.
1454
1455 Arguments:   none
1456 Returns:     nothing
1457 */
1458
1459 void
1460 smtp_log_no_mail(void)
1461 {
1462 int size, ptr, i;
1463 uschar *s, *sep;
1464
1465 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1466   return;
1467
1468 s = NULL;
1469 size = ptr = 0;
1470
1471 if (sender_host_authenticated != NULL)
1472   {
1473   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1474   if (authenticated_id != NULL)
1475     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1476   }
1477
1478 #ifdef SUPPORT_TLS
1479 s = s_tlslog(s, &size, &ptr);
1480 #endif
1481
1482 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1483   US" C=..." : US" C=";
1484 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1485   {
1486   if (smtp_connection_had[i] != SCH_NONE)
1487     {
1488     s = string_append(s, &size, &ptr, 2, sep,
1489       smtp_names[smtp_connection_had[i]]);
1490     sep = US",";
1491     }
1492   }
1493
1494 for (i = 0; i < smtp_ch_index; i++)
1495   {
1496   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1497   sep = US",";
1498   }
1499
1500 if (s != NULL) s[ptr] = 0; else s = US"";
1501 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1502   host_and_ident(FALSE),
1503   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1504   s);
1505 }
1506
1507
1508
1509 /*************************************************
1510 *   Check HELO line and set sender_helo_name     *
1511 *************************************************/
1512
1513 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1514 the domain name of the sending host, or an ip literal in square brackets. The
1515 arrgument is placed in sender_helo_name, which is in malloc store, because it
1516 must persist over multiple incoming messages. If helo_accept_junk is set, this
1517 host is permitted to send any old junk (needed for some broken hosts).
1518 Otherwise, helo_allow_chars can be used for rogue characters in general
1519 (typically people want to let in underscores).
1520
1521 Argument:
1522   s       the data portion of the line (already past any white space)
1523
1524 Returns:  TRUE or FALSE
1525 */
1526
1527 static BOOL
1528 check_helo(uschar *s)
1529 {
1530 uschar *start = s;
1531 uschar *end = s + Ustrlen(s);
1532 BOOL yield = helo_accept_junk;
1533
1534 /* Discard any previous helo name */
1535
1536 if (sender_helo_name != NULL)
1537   {
1538   store_free(sender_helo_name);
1539   sender_helo_name = NULL;
1540   }
1541
1542 /* Skip tests if junk is permitted. */
1543
1544 if (!yield)
1545   {
1546   /* Allow the new standard form for IPv6 address literals, namely,
1547   [IPv6:....], and because someone is bound to use it, allow an equivalent
1548   IPv4 form. Allow plain addresses as well. */
1549
1550   if (*s == '[')
1551     {
1552     if (end[-1] == ']')
1553       {
1554       end[-1] = 0;
1555       if (strncmpic(s, US"[IPv6:", 6) == 0)
1556         yield = (string_is_ip_address(s+6, NULL) == 6);
1557       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1558         yield = (string_is_ip_address(s+6, NULL) == 4);
1559       else
1560         yield = (string_is_ip_address(s+1, NULL) != 0);
1561       end[-1] = ']';
1562       }
1563     }
1564
1565   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1566   that have been configured (usually underscore - sigh). */
1567
1568   else if (*s != 0)
1569     {
1570     yield = TRUE;
1571     while (*s != 0)
1572       {
1573       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1574           Ustrchr(helo_allow_chars, *s) == NULL)
1575         {
1576         yield = FALSE;
1577         break;
1578         }
1579       s++;
1580       }
1581     }
1582   }
1583
1584 /* Save argument if OK */
1585
1586 if (yield) sender_helo_name = string_copy_malloc(start);
1587 return yield;
1588 }
1589
1590
1591
1592
1593
1594 /*************************************************
1595 *         Extract SMTP command option            *
1596 *************************************************/
1597
1598 /* This function picks the next option setting off the end of smtp_cmd_data. It
1599 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1600 things that can appear there.
1601
1602 Arguments:
1603    name           point this at the name
1604    value          point this at the data string
1605
1606 Returns:          TRUE if found an option
1607 */
1608
1609 static BOOL
1610 extract_option(uschar **name, uschar **value)
1611 {
1612 uschar *n;
1613 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1614 while (isspace(*v)) v--;
1615 v[1] = 0;
1616 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
1617
1618 n = v;
1619 if (*v == '=')
1620 {
1621   while(isalpha(n[-1])) n--;
1622   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1623   if (!isspace(n[-1])) return FALSE;
1624   n[-1] = 0;
1625 }
1626 else
1627 {
1628   n++;
1629   if (v == smtp_cmd_data) return FALSE;
1630 }
1631 *v++ = 0;
1632 *name = n;
1633 *value = v;
1634 return TRUE;
1635 }
1636
1637
1638
1639
1640
1641 /*************************************************
1642 *         Reset for new message                  *
1643 *************************************************/
1644
1645 /* This function is called whenever the SMTP session is reset from
1646 within either of the setup functions.
1647
1648 Argument:   the stacking pool storage reset point
1649 Returns:    nothing
1650 */
1651
1652 static void
1653 smtp_reset(void *reset_point)
1654 {
1655 store_reset(reset_point);
1656 recipients_list = NULL;
1657 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1658   raw_recipients_count = recipients_count = recipients_list_max = 0;
1659 cancel_cutthrough_connection("smtp reset");
1660 message_linecount = 0;
1661 message_size = -1;
1662 acl_added_headers = NULL;
1663 acl_removed_headers = NULL;
1664 queue_only_policy = FALSE;
1665 rcpt_smtp_response = NULL;
1666 rcpt_smtp_response_same = TRUE;
1667 rcpt_in_progress = FALSE;
1668 deliver_freeze = FALSE;                              /* Can be set by ACL */
1669 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1670 fake_response = OK;                                  /* Can be set by ACL */
1671 #ifdef WITH_CONTENT_SCAN
1672 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1673 #endif
1674 submission_mode = FALSE;                             /* Can be set by ACL */
1675 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1676 active_local_from_check = local_from_check;          /* Can be set by ACL */
1677 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1678 sender_address = NULL;
1679 submission_name = NULL;                              /* Can be set by ACL */
1680 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1681 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1682 sender_verified_list = NULL;        /* No senders verified */
1683 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1684 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1685
1686 authenticated_sender = NULL;
1687 #ifdef EXPERIMENTAL_BRIGHTMAIL
1688 bmi_run = 0;
1689 bmi_verdicts = NULL;
1690 #endif
1691 #ifndef DISABLE_DKIM
1692 dkim_signers = NULL;
1693 dkim_disable_verify = FALSE;
1694 dkim_collect_input = FALSE;
1695 #endif
1696 dsn_ret = 0;
1697 dsn_envid = NULL;
1698 #ifndef DISABLE_PRDR
1699 prdr_requested = FALSE;
1700 #endif
1701 #ifdef EXPERIMENTAL_SPF
1702 spf_header_comment = NULL;
1703 spf_received = NULL;
1704 spf_result = NULL;
1705 spf_smtp_comment = NULL;
1706 #endif
1707 #ifdef SUPPORT_I18N
1708 message_smtputf8 = FALSE;
1709 #endif
1710 body_linecount = body_zerocount = 0;
1711
1712 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1713 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1714                    /* Note that ratelimiters_conn persists across resets. */
1715
1716 /* Reset message ACL variables */
1717
1718 acl_var_m = NULL;
1719
1720 /* The message body variables use malloc store. They may be set if this is
1721 not the first message in an SMTP session and the previous message caused them
1722 to be referenced in an ACL. */
1723
1724 if (message_body != NULL)
1725   {
1726   store_free(message_body);
1727   message_body = NULL;
1728   }
1729
1730 if (message_body_end != NULL)
1731   {
1732   store_free(message_body_end);
1733   message_body_end = NULL;
1734   }
1735
1736 /* Warning log messages are also saved in malloc store. They are saved to avoid
1737 repetition in the same message, but it seems right to repeat them for different
1738 messages. */
1739
1740 while (acl_warn_logged != NULL)
1741   {
1742   string_item *this = acl_warn_logged;
1743   acl_warn_logged = acl_warn_logged->next;
1744   store_free(this);
1745   }
1746 }
1747
1748
1749
1750
1751
1752 /*************************************************
1753 *  Initialize for incoming batched SMTP message  *
1754 *************************************************/
1755
1756 /* This function is called from smtp_setup_msg() in the case when
1757 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1758 of messages in one file with SMTP commands between them. All errors must be
1759 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1760 relevant. After an error on a sender, or an invalid recipient, the remainder
1761 of the message is skipped. The value of received_protocol is already set.
1762
1763 Argument: none
1764 Returns:  > 0 message successfully started (reached DATA)
1765           = 0 QUIT read or end of file reached
1766           < 0 should not occur
1767 */
1768
1769 static int
1770 smtp_setup_batch_msg(void)
1771 {
1772 int done = 0;
1773 void *reset_point = store_get(0);
1774
1775 /* Save the line count at the start of each transaction - single commands
1776 like HELO and RSET count as whole transactions. */
1777
1778 bsmtp_transaction_linecount = receive_linecount;
1779
1780 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1781
1782 smtp_reset(reset_point);                /* Reset for start of message */
1783
1784 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1785 value. The values are 2 larger than the required yield of the function. */
1786
1787 while (done <= 0)
1788   {
1789   uschar *errmess;
1790   uschar *recipient = NULL;
1791   int start, end, sender_domain, recipient_domain;
1792
1793   switch(smtp_read_command(FALSE))
1794     {
1795     /* The HELO/EHLO commands set sender_address_helo if they have
1796     valid data; otherwise they are ignored, except that they do
1797     a reset of the state. */
1798
1799     case HELO_CMD:
1800     case EHLO_CMD:
1801
1802     check_helo(smtp_cmd_data);
1803     /* Fall through */
1804
1805     case RSET_CMD:
1806     smtp_reset(reset_point);
1807     bsmtp_transaction_linecount = receive_linecount;
1808     break;
1809
1810
1811     /* The MAIL FROM command requires an address as an operand. All we
1812     do here is to parse it for syntactic correctness. The form "<>" is
1813     a special case which converts into an empty string. The start/end
1814     pointers in the original are not used further for this address, as
1815     it is the canonical extracted address which is all that is kept. */
1816
1817     case MAIL_CMD:
1818     smtp_mailcmd_count++;              /* Count for no-mail log */
1819     if (sender_address != NULL)
1820       /* The function moan_smtp_batch() does not return. */
1821       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1822
1823     if (smtp_cmd_data[0] == 0)
1824       /* The function moan_smtp_batch() does not return. */
1825       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1826
1827     /* Reset to start of message */
1828
1829     smtp_reset(reset_point);
1830
1831     /* Apply SMTP rewrite */
1832
1833     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1834       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1835         US"", global_rewrite_rules) : smtp_cmd_data;
1836
1837     /* Extract the address; the TRUE flag allows <> as valid */
1838
1839     raw_sender =
1840       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1841         TRUE);
1842
1843     if (raw_sender == NULL)
1844       /* The function moan_smtp_batch() does not return. */
1845       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1846
1847     sender_address = string_copy(raw_sender);
1848
1849     /* Qualify unqualified sender addresses if permitted to do so. */
1850
1851     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1852       {
1853       if (allow_unqualified_sender)
1854         {
1855         sender_address = rewrite_address_qualify(sender_address, FALSE);
1856         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1857           "and rewritten\n", raw_sender);
1858         }
1859       /* The function moan_smtp_batch() does not return. */
1860       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1861         "a domain");
1862       }
1863     break;
1864
1865
1866     /* The RCPT TO command requires an address as an operand. All we do
1867     here is to parse it for syntactic correctness. There may be any number
1868     of RCPT TO commands, specifying multiple senders. We build them all into
1869     a data structure that is in argc/argv format. The start/end values
1870     given by parse_extract_address are not used, as we keep only the
1871     extracted address. */
1872
1873     case RCPT_CMD:
1874     if (sender_address == NULL)
1875       /* The function moan_smtp_batch() does not return. */
1876       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1877
1878     if (smtp_cmd_data[0] == 0)
1879       /* The function moan_smtp_batch() does not return. */
1880       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1881
1882     /* Check maximum number allowed */
1883
1884     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1885       /* The function moan_smtp_batch() does not return. */
1886       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1887         recipients_max_reject? "552": "452");
1888
1889     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1890     recipient address */
1891
1892     recipient = rewrite_existflags & rewrite_smtp
1893       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1894                     global_rewrite_rules)
1895       : smtp_cmd_data;
1896
1897     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1898       &recipient_domain, FALSE);
1899
1900     if (!recipient)
1901       /* The function moan_smtp_batch() does not return. */
1902       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1903
1904     /* If the recipient address is unqualified, qualify it if permitted. Then
1905     add it to the list of recipients. */
1906
1907     if (recipient_domain == 0)
1908       {
1909       if (allow_unqualified_recipient)
1910         {
1911         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1912           recipient);
1913         recipient = rewrite_address_qualify(recipient, TRUE);
1914         }
1915       /* The function moan_smtp_batch() does not return. */
1916       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1917         "a domain");
1918       }
1919     receive_add_recipient(recipient, -1);
1920     break;
1921
1922
1923     /* The DATA command is legal only if it follows successful MAIL FROM
1924     and RCPT TO commands. This function is complete when a valid DATA
1925     command is encountered. */
1926
1927     case DATA_CMD:
1928     if (sender_address == NULL || recipients_count <= 0)
1929       {
1930       /* The function moan_smtp_batch() does not return. */
1931       if (sender_address == NULL)
1932         moan_smtp_batch(smtp_cmd_buffer,
1933           "503 MAIL FROM:<sender> command must precede DATA");
1934       else
1935         moan_smtp_batch(smtp_cmd_buffer,
1936           "503 RCPT TO:<recipient> must precede DATA");
1937       }
1938     else
1939       {
1940       done = 3;                      /* DATA successfully achieved */
1941       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1942       }
1943     break;
1944
1945
1946     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1947
1948     case VRFY_CMD:
1949     case EXPN_CMD:
1950     case HELP_CMD:
1951     case NOOP_CMD:
1952     case ETRN_CMD:
1953     bsmtp_transaction_linecount = receive_linecount;
1954     break;
1955
1956
1957     case EOF_CMD:
1958     case QUIT_CMD:
1959     done = 2;
1960     break;
1961
1962
1963     case BADARG_CMD:
1964     /* The function moan_smtp_batch() does not return. */
1965     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1966     break;
1967
1968
1969     case BADCHAR_CMD:
1970     /* The function moan_smtp_batch() does not return. */
1971     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1972     break;
1973
1974
1975     default:
1976     /* The function moan_smtp_batch() does not return. */
1977     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1978     break;
1979     }
1980   }
1981
1982 return done - 2;  /* Convert yield values */
1983 }
1984
1985
1986
1987
1988 /*************************************************
1989 *          Start an SMTP session                 *
1990 *************************************************/
1991
1992 /* This function is called at the start of an SMTP session. Thereafter,
1993 smtp_setup_msg() is called to initiate each separate message. This
1994 function does host-specific testing, and outputs the banner line.
1995
1996 Arguments:     none
1997 Returns:       FALSE if the session can not continue; something has
1998                gone wrong, or the connection to the host is blocked
1999 */
2000
2001 BOOL
2002 smtp_start_session(void)
2003 {
2004 int size = 256;
2005 int ptr, esclen;
2006 uschar *user_msg, *log_msg;
2007 uschar *code, *esc;
2008 uschar *p, *s, *ss;
2009
2010 smtp_connection_start = time(NULL);
2011 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2012   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2013 smtp_ch_index = 0;
2014
2015 /* Default values for certain variables */
2016
2017 helo_seen = esmtp = helo_accept_junk = FALSE;
2018 smtp_mailcmd_count = 0;
2019 count_nonmail = TRUE_UNSET;
2020 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2021 smtp_delay_mail = smtp_rlm_base;
2022 auth_advertised = FALSE;
2023 pipelining_advertised = FALSE;
2024 pipelining_enable = TRUE;
2025 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2026 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2027
2028 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2029 authentication settings from -oMaa to remain in force. */
2030
2031 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2032 authenticated_by = NULL;
2033
2034 #ifdef SUPPORT_TLS
2035 tls_in.cipher = tls_in.peerdn = NULL;
2036 tls_in.ourcert = tls_in.peercert = NULL;
2037 tls_in.sni = NULL;
2038 tls_in.ocsp = OCSP_NOT_REQ;
2039 tls_advertised = FALSE;
2040 #endif
2041 dsn_advertised = FALSE;
2042 #ifdef SUPPORT_I18N
2043 smtputf8_advertised = FALSE;
2044 #endif
2045
2046 /* Reset ACL connection variables */
2047
2048 acl_var_c = NULL;
2049
2050 /* Allow for trailing 0 in the command and data buffers. */
2051
2052 smtp_cmd_buffer = (uschar *)malloc(2*smtp_cmd_buffer_size + 2);
2053 if (smtp_cmd_buffer == NULL)
2054   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2055     "malloc() failed for SMTP command buffer");
2056 smtp_cmd_buffer[0] = 0;
2057 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
2058
2059 /* For batched input, the protocol setting can be overridden from the
2060 command line by a trusted caller. */
2061
2062 if (smtp_batched_input)
2063   {
2064   if (received_protocol == NULL) received_protocol = US"local-bsmtp";
2065   }
2066
2067 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2068 reset later if any of EHLO/AUTH/STARTTLS are received. */
2069
2070 else
2071   received_protocol =
2072     (sender_host_address ? protocols : protocols_local) [pnormal];
2073
2074 /* Set up the buffer for inputting using direct read() calls, and arrange to
2075 call the local functions instead of the standard C ones. */
2076
2077 smtp_inbuffer = (uschar *)malloc(in_buffer_size);
2078 if (smtp_inbuffer == NULL)
2079   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2080 receive_getc = smtp_getc;
2081 receive_get_cache = smtp_get_cache;
2082 receive_ungetc = smtp_ungetc;
2083 receive_feof = smtp_feof;
2084 receive_ferror = smtp_ferror;
2085 receive_smtp_buffered = smtp_buffered;
2086 smtp_inptr = smtp_inend = smtp_inbuffer;
2087 smtp_had_eof = smtp_had_error = 0;
2088
2089 /* Set up the message size limit; this may be host-specific */
2090
2091 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2092 if (expand_string_message != NULL)
2093   {
2094   if (thismessage_size_limit == -1)
2095     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2096       "%s", expand_string_message);
2097   else
2098     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2099       "%s", expand_string_message);
2100   smtp_closedown(US"Temporary local problem - please try later");
2101   return FALSE;
2102   }
2103
2104 /* When a message is input locally via the -bs or -bS options, sender_host_
2105 unknown is set unless -oMa was used to force an IP address, in which case it
2106 is checked like a real remote connection. When -bs is used from inetd, this
2107 flag is not set, causing the sending host to be checked. The code that deals
2108 with IP source routing (if configured) is never required for -bs or -bS and
2109 the flag sender_host_notsocket is used to suppress it.
2110
2111 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2112 reserve for certain hosts and/or networks. */
2113
2114 if (!sender_host_unknown)
2115   {
2116   int rc;
2117   BOOL reserved_host = FALSE;
2118
2119   /* Look up IP options (source routing info) on the socket if this is not an
2120   -oMa "host", and if any are found, log them and drop the connection.
2121
2122   Linux (and others now, see below) is different to everyone else, so there
2123   has to be some conditional compilation here. Versions of Linux before 2.1.15
2124   used a structure whose name was "options". Somebody finally realized that
2125   this name was silly, and it got changed to "ip_options". I use the
2126   newer name here, but there is a fudge in the script that sets up os.h
2127   to define a macro in older Linux systems.
2128
2129   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2130   glibc 2, which has chosen ip_opts for the structure name. This is now
2131   really a glibc thing rather than a Linux thing, so the condition name
2132   has been changed to reflect this. It is relevant also to GNU/Hurd.
2133
2134   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2135   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2136   a special macro defined in the os.h file.
2137
2138   Some DGUX versions on older hardware appear not to support IP options at
2139   all, so there is now a general macro which can be set to cut out this
2140   support altogether.
2141
2142   How to do this properly in IPv6 is not yet known. */
2143
2144   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2145
2146   #ifdef GLIBC_IP_OPTIONS
2147     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2148     #define OPTSTYLE 1
2149     #else
2150     #define OPTSTYLE 2
2151     #endif
2152   #elif defined DARWIN_IP_OPTIONS
2153     #define OPTSTYLE 2
2154   #else
2155     #define OPTSTYLE 3
2156   #endif
2157
2158   if (!host_checking && !sender_host_notsocket)
2159     {
2160     #if OPTSTYLE == 1
2161     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2162     struct ip_options *ipopt = store_get(optlen);
2163     #elif OPTSTYLE == 2
2164     struct ip_opts ipoptblock;
2165     struct ip_opts *ipopt = &ipoptblock;
2166     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2167     #else
2168     struct ipoption ipoptblock;
2169     struct ipoption *ipopt = &ipoptblock;
2170     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2171     #endif
2172
2173     /* Occasional genuine failures of getsockopt() have been seen - for
2174     example, "reset by peer". Therefore, just log and give up on this
2175     call, unless the error is ENOPROTOOPT. This error is given by systems
2176     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2177     of writing. So for that error, carry on - we just can't do an IP options
2178     check. */
2179
2180     DEBUG(D_receive) debug_printf("checking for IP options\n");
2181
2182     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2183           &optlen) < 0)
2184       {
2185       if (errno != ENOPROTOOPT)
2186         {
2187         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2188           host_and_ident(FALSE), strerror(errno));
2189         smtp_printf("451 SMTP service not available\r\n");
2190         return FALSE;
2191         }
2192       }
2193
2194     /* Deal with any IP options that are set. On the systems I have looked at,
2195     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2196     more logging data than will fit in big_buffer. Nevertheless, after somebody
2197     questioned this code, I've added in some paranoid checking. */
2198
2199     else if (optlen > 0)
2200       {
2201       uschar *p = big_buffer;
2202       uschar *pend = big_buffer + big_buffer_size;
2203       uschar *opt, *adptr;
2204       int optcount;
2205       struct in_addr addr;
2206
2207       #if OPTSTYLE == 1
2208       uschar *optstart = (uschar *)(ipopt->__data);
2209       #elif OPTSTYLE == 2
2210       uschar *optstart = (uschar *)(ipopt->ip_opts);
2211       #else
2212       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2213       #endif
2214
2215       DEBUG(D_receive) debug_printf("IP options exist\n");
2216
2217       Ustrcpy(p, "IP options on incoming call:");
2218       p += Ustrlen(p);
2219
2220       for (opt = optstart; opt != NULL &&
2221            opt < (uschar *)(ipopt) + optlen;)
2222         {
2223         switch (*opt)
2224           {
2225           case IPOPT_EOL:
2226           opt = NULL;
2227           break;
2228
2229           case IPOPT_NOP:
2230           opt++;
2231           break;
2232
2233           case IPOPT_SSRR:
2234           case IPOPT_LSRR:
2235           if (!string_format(p, pend-p, " %s [@%s",
2236                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2237                #if OPTSTYLE == 1
2238                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2239                #elif OPTSTYLE == 2
2240                inet_ntoa(ipopt->ip_dst)))
2241                #else
2242                inet_ntoa(ipopt->ipopt_dst)))
2243                #endif
2244             {
2245             opt = NULL;
2246             break;
2247             }
2248
2249           p += Ustrlen(p);
2250           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2251           adptr = opt + 3;
2252           while (optcount-- > 0)
2253             {
2254             memcpy(&addr, adptr, sizeof(addr));
2255             if (!string_format(p, pend - p - 1, "%s%s",
2256                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2257               {
2258               opt = NULL;
2259               break;
2260               }
2261             p += Ustrlen(p);
2262             adptr += sizeof(struct in_addr);
2263             }
2264           *p++ = ']';
2265           opt += opt[1];
2266           break;
2267
2268           default:
2269             {
2270             int i;
2271             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2272             Ustrcat(p, "[ ");
2273             p += 2;
2274             for (i = 0; i < opt[1]; i++)
2275               {
2276               sprintf(CS p, "%2.2x ", opt[i]);
2277               p += 3;
2278               }
2279             *p++ = ']';
2280             }
2281           opt += opt[1];
2282           break;
2283           }
2284         }
2285
2286       *p = 0;
2287       log_write(0, LOG_MAIN, "%s", big_buffer);
2288
2289       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2290
2291       log_write(0, LOG_MAIN|LOG_REJECT,
2292         "connection from %s refused (IP options)", host_and_ident(FALSE));
2293
2294       smtp_printf("554 SMTP service not available\r\n");
2295       return FALSE;
2296       }
2297
2298     /* Length of options = 0 => there are no options */
2299
2300     else DEBUG(D_receive) debug_printf("no IP options found\n");
2301     }
2302   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2303
2304   /* Set keep-alive in socket options. The option is on by default. This
2305   setting is an attempt to get rid of some hanging connections that stick in
2306   read() when the remote end (usually a dialup) goes away. */
2307
2308   if (smtp_accept_keepalive && !sender_host_notsocket)
2309     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2310
2311   /* If the current host matches host_lookup, set the name by doing a
2312   reverse lookup. On failure, sender_host_name will be NULL and
2313   host_lookup_failed will be TRUE. This may or may not be serious - optional
2314   checks later. */
2315
2316   if (verify_check_host(&host_lookup) == OK)
2317     {
2318     (void)host_name_lookup();
2319     host_build_sender_fullhost();
2320     }
2321
2322   /* Delay this until we have the full name, if it is looked up. */
2323
2324   set_process_info("handling incoming connection from %s",
2325     host_and_ident(FALSE));
2326
2327   /* Expand smtp_receive_timeout, if needed */
2328
2329   if (smtp_receive_timeout_s)
2330     {
2331     uschar * exp;
2332     if (  !(exp = expand_string(smtp_receive_timeout_s))
2333        || !(*exp)
2334        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2335        )
2336       log_write(0, LOG_MAIN|LOG_PANIC,
2337         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2338     }
2339
2340   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2341   smtps port for use with older style SSL MTAs. */
2342
2343   #ifdef SUPPORT_TLS
2344   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2345     return FALSE;
2346   #endif
2347
2348   /* Test for explicit connection rejection */
2349
2350   if (verify_check_host(&host_reject_connection) == OK)
2351     {
2352     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2353       "from %s (host_reject_connection)", host_and_ident(FALSE));
2354     smtp_printf("554 SMTP service not available\r\n");
2355     return FALSE;
2356     }
2357
2358   /* Test with TCP Wrappers if so configured. There is a problem in that
2359   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2360   such as disks dying. In these cases, it is desirable to reject with a 4xx
2361   error instead of a 5xx error. There isn't a "right" way to detect such
2362   problems. The following kludge is used: errno is zeroed before calling
2363   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2364   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2365   not exist). */
2366
2367   #ifdef USE_TCP_WRAPPERS
2368   errno = 0;
2369   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
2370   if (tcp_wrappers_name == NULL)
2371     {
2372     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2373       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2374         expand_string_message);
2375     }
2376   if (!hosts_ctl(tcp_wrappers_name,
2377          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
2378          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
2379          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
2380     {
2381     if (errno == 0 || errno == ENOENT)
2382       {
2383       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2384       log_write(L_connection_reject,
2385                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2386                 "(tcp wrappers)", host_and_ident(FALSE));
2387       smtp_printf("554 SMTP service not available\r\n");
2388       }
2389     else
2390       {
2391       int save_errno = errno;
2392       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2393         "errno value %d\n", save_errno);
2394       log_write(L_connection_reject,
2395                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2396                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2397       smtp_printf("451 Temporary local problem - please try later\r\n");
2398       }
2399     return FALSE;
2400     }
2401   #endif
2402
2403   /* Check for reserved slots. The value of smtp_accept_count has already been
2404   incremented to include this process. */
2405
2406   if (smtp_accept_max > 0 &&
2407       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2408     {
2409     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2410       {
2411       log_write(L_connection_reject,
2412         LOG_MAIN, "temporarily refused connection from %s: not in "
2413         "reserve list: connected=%d max=%d reserve=%d%s",
2414         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2415         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2416       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2417         "please try again later\r\n", smtp_active_hostname);
2418       return FALSE;
2419       }
2420     reserved_host = TRUE;
2421     }
2422
2423   /* If a load level above which only messages from reserved hosts are
2424   accepted is set, check the load. For incoming calls via the daemon, the
2425   check is done in the superior process if there are no reserved hosts, to
2426   save a fork. In all cases, the load average will already be available
2427   in a global variable at this point. */
2428
2429   if (smtp_load_reserve >= 0 &&
2430        load_average > smtp_load_reserve &&
2431        !reserved_host &&
2432        verify_check_host(&smtp_reserve_hosts) != OK)
2433     {
2434     log_write(L_connection_reject,
2435       LOG_MAIN, "temporarily refused connection from %s: not in "
2436       "reserve list and load average = %.2f", host_and_ident(FALSE),
2437       (double)load_average/1000.0);
2438     smtp_printf("421 %s: Too much load; please try again later\r\n",
2439       smtp_active_hostname);
2440     return FALSE;
2441     }
2442
2443   /* Determine whether unqualified senders or recipients are permitted
2444   for this host. Unfortunately, we have to do this every time, in order to
2445   set the flags so that they can be inspected when considering qualifying
2446   addresses in the headers. For a site that permits no qualification, this
2447   won't take long, however. */
2448
2449   allow_unqualified_sender =
2450     verify_check_host(&sender_unqualified_hosts) == OK;
2451
2452   allow_unqualified_recipient =
2453     verify_check_host(&recipient_unqualified_hosts) == OK;
2454
2455   /* Determine whether HELO/EHLO is required for this host. The requirement
2456   can be hard or soft. */
2457
2458   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2459   if (!helo_required)
2460     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2461
2462   /* Determine whether this hosts is permitted to send syntactic junk
2463   after a HELO or EHLO command. */
2464
2465   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2466   }
2467
2468 /* For batch SMTP input we are now done. */
2469
2470 if (smtp_batched_input) return TRUE;
2471
2472 #ifdef SUPPORT_PROXY
2473 /* If valid Proxy Protocol source is connecting, set up session.
2474  * Failure will not allow any SMTP function other than QUIT. */
2475 proxy_session = FALSE;
2476 proxy_session_failed = FALSE;
2477 if (check_proxy_protocol_host())
2478   {
2479   if (setup_proxy_protocol_host() == FALSE)
2480     {
2481     proxy_session_failed = TRUE;
2482     DEBUG(D_receive)
2483       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
2484     }
2485   else
2486     {
2487     sender_host_name = NULL;
2488     (void)host_name_lookup();
2489     host_build_sender_fullhost();
2490     }
2491   }
2492 #endif
2493
2494 /* Run the ACL if it exists */
2495
2496 user_msg = NULL;
2497 if (acl_smtp_connect != NULL)
2498   {
2499   int rc;
2500   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2501     &log_msg);
2502   if (rc != OK)
2503     {
2504     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2505     return FALSE;
2506     }
2507   }
2508
2509 /* Output the initial message for a two-way SMTP connection. It may contain
2510 newlines, which then cause a multi-line response to be given. */
2511
2512 code = US"220";   /* Default status code */
2513 esc = US"";       /* Default extended status code */
2514 esclen = 0;       /* Length of esc */
2515
2516 if (!user_msg)
2517   {
2518   if (!(s = expand_string(smtp_banner)))
2519     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2520       "failed: %s", smtp_banner, expand_string_message);
2521   }
2522 else
2523   {
2524   int codelen = 3;
2525   s = user_msg;
2526   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2527   if (codelen > 4)
2528     {
2529     esc = code + 4;
2530     esclen = codelen - 4;
2531     }
2532   }
2533
2534 /* Remove any terminating newlines; might as well remove trailing space too */
2535
2536 p = s + Ustrlen(s);
2537 while (p > s && isspace(p[-1])) p--;
2538 *p = 0;
2539
2540 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2541 is all contained in a single IP packet. The original code wrote out the
2542 greeting using several calls to fprint/fputc, and on busy servers this could
2543 cause it to be split over more than one packet - which caused CC:Mail to fall
2544 over when it got the second part of the greeting after sending its first
2545 command. Sigh. To try to avoid this, build the complete greeting message
2546 first, and output it in one fell swoop. This gives a better chance of it
2547 ending up as a single packet. */
2548
2549 ss = store_get(size);
2550 ptr = 0;
2551
2552 p = s;
2553 do       /* At least once, in case we have an empty string */
2554   {
2555   int len;
2556   uschar *linebreak = Ustrchr(p, '\n');
2557   ss = string_catn(ss, &size, &ptr, code, 3);
2558   if (linebreak == NULL)
2559     {
2560     len = Ustrlen(p);
2561     ss = string_catn(ss, &size, &ptr, US" ", 1);
2562     }
2563   else
2564     {
2565     len = linebreak - p;
2566     ss = string_catn(ss, &size, &ptr, US"-", 1);
2567     }
2568   ss = string_catn(ss, &size, &ptr, esc, esclen);
2569   ss = string_catn(ss, &size, &ptr, p, len);
2570   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2571   p += len;
2572   if (linebreak != NULL) p++;
2573   }
2574 while (*p != 0);
2575
2576 ss[ptr] = 0;  /* string_cat leaves room for this */
2577
2578 /* Before we write the banner, check that there is no input pending, unless
2579 this synchronisation check is disabled. */
2580
2581 if (!check_sync())
2582   {
2583   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2584     "synchronization error (input sent without waiting for greeting): "
2585     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2586     string_printing(smtp_inptr));
2587   smtp_printf("554 SMTP synchronization error\r\n");
2588   return FALSE;
2589   }
2590
2591 /* Now output the banner */
2592
2593 smtp_printf("%s", ss);
2594 return TRUE;
2595 }
2596
2597
2598
2599
2600
2601 /*************************************************
2602 *     Handle SMTP syntax and protocol errors     *
2603 *************************************************/
2604
2605 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2606 to do so. Then transmit the error response. The return value depends on the
2607 number of syntax and protocol errors in this SMTP session.
2608
2609 Arguments:
2610   type      error type, given as a log flag bit
2611   code      response code; <= 0 means don't send a response
2612   data      data to reflect in the response (can be NULL)
2613   errmess   the error message
2614
2615 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2616             +1   limit of syntax/protocol errors IS exceeded
2617
2618 These values fit in with the values of the "done" variable in the main
2619 processing loop in smtp_setup_msg(). */
2620
2621 static int
2622 synprot_error(int type, int code, uschar *data, uschar *errmess)
2623 {
2624 int yield = -1;
2625
2626 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2627   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2628   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2629
2630 if (++synprot_error_count > smtp_max_synprot_errors)
2631   {
2632   yield = 1;
2633   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2634     "syntax or protocol errors (last command was \"%s\")",
2635     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2636   }
2637
2638 if (code > 0)
2639   {
2640   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2641     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2642   if (yield == 1)
2643     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2644   }
2645
2646 return yield;
2647 }
2648
2649
2650
2651
2652 /*************************************************
2653 *          Log incomplete transactions           *
2654 *************************************************/
2655
2656 /* This function is called after a transaction has been aborted by RSET, QUIT,
2657 connection drops or other errors. It logs the envelope information received
2658 so far in order to preserve address verification attempts.
2659
2660 Argument:   string to indicate what aborted the transaction
2661 Returns:    nothing
2662 */
2663
2664 static void
2665 incomplete_transaction_log(uschar *what)
2666 {
2667 if (sender_address == NULL ||                 /* No transaction in progress */
2668     !LOGGING(smtp_incomplete_transaction))
2669   return;
2670
2671 /* Build list of recipients for logging */
2672
2673 if (recipients_count > 0)
2674   {
2675   int i;
2676   raw_recipients = store_get(recipients_count * sizeof(uschar *));
2677   for (i = 0; i < recipients_count; i++)
2678     raw_recipients[i] = recipients_list[i].address;
2679   raw_recipients_count = recipients_count;
2680   }
2681
2682 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
2683   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
2684 }
2685
2686
2687
2688
2689 /*************************************************
2690 *    Send SMTP response, possibly multiline      *
2691 *************************************************/
2692
2693 /* There are, it seems, broken clients out there that cannot handle multiline
2694 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2695 output nothing for non-final calls, and only the first line for anything else.
2696
2697 Arguments:
2698   code          SMTP code, may involve extended status codes
2699   codelen       length of smtp code; if > 4 there's an ESC
2700   final         FALSE if the last line isn't the final line
2701   msg           message text, possibly containing newlines
2702
2703 Returns:        nothing
2704 */
2705
2706 void
2707 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2708 {
2709 int esclen = 0;
2710 uschar *esc = US"";
2711
2712 if (!final && no_multiline_responses) return;
2713
2714 if (codelen > 4)
2715   {
2716   esc = code + 4;
2717   esclen = codelen - 4;
2718   }
2719
2720 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2721 have had the same. Note: this code is also present in smtp_printf(). It would
2722 be tidier to have it only in one place, but when it was added, it was easier to
2723 do it that way, so as not to have to mess with the code for the RCPT command,
2724 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2725
2726 if (rcpt_in_progress)
2727   {
2728   if (rcpt_smtp_response == NULL)
2729     rcpt_smtp_response = string_copy(msg);
2730   else if (rcpt_smtp_response_same &&
2731            Ustrcmp(rcpt_smtp_response, msg) != 0)
2732     rcpt_smtp_response_same = FALSE;
2733   rcpt_in_progress = FALSE;
2734   }
2735
2736 /* Not output the message, splitting it up into multiple lines if necessary. */
2737
2738 for (;;)
2739   {
2740   uschar *nl = Ustrchr(msg, '\n');
2741   if (nl == NULL)
2742     {
2743     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2744     return;
2745     }
2746   else if (nl[1] == 0 || no_multiline_responses)
2747     {
2748     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2749       (int)(nl - msg), msg);
2750     return;
2751     }
2752   else
2753     {
2754     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2755     msg = nl + 1;
2756     while (isspace(*msg)) msg++;
2757     }
2758   }
2759 }
2760
2761
2762
2763
2764 /*************************************************
2765 *            Parse user SMTP message             *
2766 *************************************************/
2767
2768 /* This function allows for user messages overriding the response code details
2769 by providing a suitable response code string at the start of the message
2770 user_msg. Check the message for starting with a response code and optionally an
2771 extended status code. If found, check that the first digit is valid, and if so,
2772 change the code pointer and length to use the replacement. An invalid code
2773 causes a panic log; in this case, if the log messages is the same as the user
2774 message, we must also adjust the value of the log message to show the code that
2775 is actually going to be used (the original one).
2776
2777 This function is global because it is called from receive.c as well as within
2778 this module.
2779
2780 Note that the code length returned includes the terminating whitespace
2781 character, which is always included in the regex match.
2782
2783 Arguments:
2784   code          SMTP code, may involve extended status codes
2785   codelen       length of smtp code; if > 4 there's an ESC
2786   msg           message text
2787   log_msg       optional log message, to be adjusted with the new SMTP code
2788   check_valid   if true, verify the response code
2789
2790 Returns:        nothing
2791 */
2792
2793 void
2794 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2795   BOOL check_valid)
2796 {
2797 int n;
2798 int ovector[3];
2799
2800 if (!msg || !*msg) return;
2801
2802 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2803   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2804
2805 if (check_valid && (*msg)[0] != (*code)[0])
2806   {
2807   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2808     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2809   if (log_msg != NULL && *log_msg == *msg)
2810     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2811   }
2812 else
2813   {
2814   *code = *msg;
2815   *codelen = ovector[1];    /* Includes final space */
2816   }
2817 *msg += ovector[1];         /* Chop the code off the message */
2818 return;
2819 }
2820
2821
2822
2823
2824 /*************************************************
2825 *           Handle an ACL failure                *
2826 *************************************************/
2827
2828 /* This function is called when acl_check() fails. As well as calls from within
2829 this module, it is called from receive.c for an ACL after DATA. It sorts out
2830 logging the incident, and sets up the error response. A message containing
2831 newlines is turned into a multiline SMTP response, but for logging, only the
2832 first line is used.
2833
2834 There's a table of default permanent failure response codes to use in
2835 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2836 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2837 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2838 state, because there are broken clients that try VRFY before RCPT. A 5xx
2839 response should be given only when the address is positively known to be
2840 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2841 no explicit code, but if there is one we let it know best.
2842 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2843
2844 From Exim 4.63, it is possible to override the response code details by
2845 providing a suitable response code string at the start of the message provided
2846 in user_msg. The code's first digit is checked for validity.
2847
2848 Arguments:
2849   where        where the ACL was called from
2850   rc           the failure code
2851   user_msg     a message that can be included in an SMTP response
2852   log_msg      a message for logging
2853
2854 Returns:     0 in most cases
2855              2 if the failure code was FAIL_DROP, in which case the
2856                SMTP connection should be dropped (this value fits with the
2857                "done" variable in smtp_setup_msg() below)
2858 */
2859
2860 int
2861 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2862 {
2863 BOOL drop = rc == FAIL_DROP;
2864 int codelen = 3;
2865 uschar *smtp_code;
2866 uschar *lognl;
2867 uschar *sender_info = US"";
2868 uschar *what =
2869 #ifdef WITH_CONTENT_SCAN
2870   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
2871 #endif
2872   (where == ACL_WHERE_PREDATA)? US"DATA" :
2873   (where == ACL_WHERE_DATA)? US"after DATA" :
2874 #ifndef DISABLE_PRDR
2875   (where == ACL_WHERE_PRDR)? US"after DATA PRDR" :
2876 #endif
2877   (smtp_cmd_data == NULL)?
2878     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
2879     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data);
2880
2881 if (drop) rc = FAIL;
2882
2883 /* Set the default SMTP code, and allow a user message to change it. */
2884
2885 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2886 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2887   where != ACL_WHERE_VRFY);
2888
2889 /* We used to have sender_address here; however, there was a bug that was not
2890 updating sender_address after a rewrite during a verify. When this bug was
2891 fixed, sender_address at this point became the rewritten address. I'm not sure
2892 this is what should be logged, so I've changed to logging the unrewritten
2893 address to retain backward compatibility. */
2894
2895 #ifndef WITH_CONTENT_SCAN
2896 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2897 #else
2898 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2899 #endif
2900   {
2901   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2902     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2903     sender_host_authenticated ? US" A="                                    : US"",
2904     sender_host_authenticated ? sender_host_authenticated                  : US"",
2905     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2906     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2907     );
2908   }
2909
2910 /* If there's been a sender verification failure with a specific message, and
2911 we have not sent a response about it yet, do so now, as a preliminary line for
2912 failures, but not defers. However, always log it for defer, and log it for fail
2913 unless the sender_verify_fail log selector has been turned off. */
2914
2915 if (sender_verified_failed != NULL &&
2916     !testflag(sender_verified_failed, af_sverify_told))
2917   {
2918   BOOL save_rcpt_in_progress = rcpt_in_progress;
2919   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2920
2921   setflag(sender_verified_failed, af_sverify_told);
2922
2923   if (rc != FAIL || LOGGING(sender_verify_fail))
2924     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2925       host_and_ident(TRUE),
2926       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2927       sender_verified_failed->address,
2928       (sender_verified_failed->message == NULL)? US"" :
2929       string_sprintf(": %s", sender_verified_failed->message));
2930
2931   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2932     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2933         testflag(sender_verified_failed, af_verify_pmfail)?
2934           "Postmaster verification failed while checking <%s>\n%s\n"
2935           "Several RFCs state that you are required to have a postmaster\n"
2936           "mailbox for each mail domain. This host does not accept mail\n"
2937           "from domains whose servers reject the postmaster address."
2938           :
2939         testflag(sender_verified_failed, af_verify_nsfail)?
2940           "Callback setup failed while verifying <%s>\n%s\n"
2941           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2942           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2943           "RFC requirements, and stops you from receiving standard bounce\n"
2944           "messages. This host does not accept mail from domains whose servers\n"
2945           "refuse bounces."
2946           :
2947           "Verification failed for <%s>\n%s",
2948         sender_verified_failed->address,
2949         sender_verified_failed->user_message));
2950
2951   rcpt_in_progress = save_rcpt_in_progress;
2952   }
2953
2954 /* Sort out text for logging */
2955
2956 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
2957 lognl = Ustrchr(log_msg, '\n');
2958 if (lognl != NULL) *lognl = 0;
2959
2960 /* Send permanent failure response to the command, but the code used isn't
2961 always a 5xx one - see comments at the start of this function. If the original
2962 rc was FAIL_DROP we drop the connection and yield 2. */
2963
2964 if (rc == FAIL) smtp_respond(smtp_code, codelen, TRUE, (user_msg == NULL)?
2965   US"Administrative prohibition" : user_msg);
2966
2967 /* Send temporary failure response to the command. Don't give any details,
2968 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2969 verb, and for a header verify when smtp_return_error_details is set.
2970
2971 This conditional logic is all somewhat of a mess because of the odd
2972 interactions between temp_details and return_error_details. One day it should
2973 be re-implemented in a tidier fashion. */
2974
2975 else
2976   {
2977   if (acl_temp_details && user_msg != NULL)
2978     {
2979     if (smtp_return_error_details &&
2980         sender_verified_failed != NULL &&
2981         sender_verified_failed->message != NULL)
2982       {
2983       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2984       }
2985     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2986     }
2987   else
2988     smtp_respond(smtp_code, codelen, TRUE,
2989       US"Temporary local problem - please try later");
2990   }
2991
2992 /* Log the incident to the logs that are specified by log_reject_target
2993 (default main, reject). This can be empty to suppress logging of rejections. If
2994 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2995 is closing if required and return 2.  */
2996
2997 if (log_reject_target != 0)
2998   {
2999 #ifdef SUPPORT_TLS
3000   uschar * tls = s_tlslog(NULL, NULL, NULL);
3001   if (!tls) tls = US"";
3002 #else
3003   uschar * tls = US"";
3004 #endif
3005   log_write(0, log_reject_target, "%s%s%s %s%srejected %s%s",
3006     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3007     host_and_ident(TRUE),
3008     tls,
3009     sender_info,
3010     rc == FAIL ? US"" : US"temporarily ",
3011     what, log_msg);
3012   }
3013
3014 if (!drop) return 0;
3015
3016 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3017   smtp_get_connection_info());
3018
3019 /* Run the not-quit ACL, but without any custom messages. This should not be a
3020 problem, because we get here only if some other ACL has issued "drop", and
3021 in that case, *its* custom messages will have been used above. */
3022
3023 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3024 return 2;
3025 }
3026
3027
3028
3029
3030 /*************************************************
3031 *     Handle SMTP exit when QUIT is not given    *
3032 *************************************************/
3033
3034 /* This function provides a logging/statistics hook for when an SMTP connection
3035 is dropped on the floor or the other end goes away. It's a global function
3036 because it's called from receive.c as well as this module. As well as running
3037 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3038 response, either with a custom message from the ACL, or using a default. There
3039 is one case, however, when no message is output - after "drop". In that case,
3040 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3041 passed to this function.
3042
3043 In case things go wrong while processing this function, causing an error that
3044 may re-enter this funtion, there is a recursion check.
3045
3046 Arguments:
3047   reason          What $smtp_notquit_reason will be set to in the ACL;
3048                     if NULL, the ACL is not run
3049   code            The error code to return as part of the response
3050   defaultrespond  The default message if there's no user_msg
3051
3052 Returns:          Nothing
3053 */
3054
3055 void
3056 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3057 {
3058 int rc;
3059 uschar *user_msg = NULL;
3060 uschar *log_msg = NULL;
3061
3062 /* Check for recursive acll */
3063
3064 if (smtp_exit_function_called)
3065   {
3066   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3067     reason);
3068   return;
3069   }
3070 smtp_exit_function_called = TRUE;
3071
3072 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3073
3074 if (acl_smtp_notquit && reason)
3075   {
3076   smtp_notquit_reason = reason;
3077   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3078                       &log_msg)) == ERROR)
3079     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3080       log_msg);
3081   }
3082
3083 /* Write an SMTP response if we are expected to give one. As the default
3084 responses are all internal, they should always fit in the buffer, but code a
3085 warning, just in case. Note that string_vformat() still leaves a complete
3086 string, even if it is incomplete. */
3087
3088 if (code && defaultrespond)
3089   {
3090   if (user_msg)
3091     smtp_respond(code, 3, TRUE, user_msg);
3092   else
3093     {
3094     uschar buffer[128];
3095     va_list ap;
3096     va_start(ap, defaultrespond);
3097     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3098       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3099     smtp_printf("%s %s\r\n", code, buffer);
3100     va_end(ap);
3101     }
3102   mac_smtp_fflush();
3103   }
3104 }
3105
3106
3107
3108
3109 /*************************************************
3110 *             Verify HELO argument               *
3111 *************************************************/
3112
3113 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3114 matched. It is also called from ACL processing if verify = helo is used and
3115 verification was not previously tried (i.e. helo_try_verify_hosts was not
3116 matched). The result of its processing is to set helo_verified and
3117 helo_verify_failed. These variables should both be FALSE for this function to
3118 be called.
3119
3120 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3121 for IPv6 ::ffff: literals.
3122
3123 Argument:   none
3124 Returns:    TRUE if testing was completed;
3125             FALSE on a temporary failure
3126 */
3127
3128 BOOL
3129 smtp_verify_helo(void)
3130 {
3131 BOOL yield = TRUE;
3132
3133 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3134   sender_helo_name);
3135
3136 if (sender_helo_name == NULL)
3137   {
3138   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3139   }
3140
3141 /* Deal with the case of -bs without an IP address */
3142
3143 else if (sender_host_address == NULL)
3144   {
3145   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3146   helo_verified = TRUE;
3147   }
3148
3149 /* Deal with the more common case when there is a sending IP address */
3150
3151 else if (sender_helo_name[0] == '[')
3152   {
3153   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3154     Ustrlen(sender_host_address)) == 0;
3155
3156   #if HAVE_IPV6
3157   if (!helo_verified)
3158     {
3159     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3160       helo_verified = Ustrncmp(sender_helo_name + 1,
3161         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3162     }
3163   #endif
3164
3165   HDEBUG(D_receive)
3166     { if (helo_verified) debug_printf("matched host address\n"); }
3167   }
3168
3169 /* Do a reverse lookup if one hasn't already given a positive or negative
3170 response. If that fails, or the name doesn't match, try checking with a forward
3171 lookup. */
3172
3173 else
3174   {
3175   if (sender_host_name == NULL && !host_lookup_failed)
3176     yield = host_name_lookup() != DEFER;
3177
3178   /* If a host name is known, check it and all its aliases. */
3179
3180   if (sender_host_name)
3181     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3182       {
3183       sender_helo_dnssec = sender_host_dnssec;
3184       HDEBUG(D_receive) debug_printf("matched host name\n");
3185       }
3186     else
3187       {
3188       uschar **aliases = sender_host_aliases;
3189       while (*aliases)
3190         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3191           {
3192           sender_helo_dnssec = sender_host_dnssec;
3193           break;
3194           }
3195
3196       HDEBUG(D_receive) if (helo_verified)
3197           debug_printf("matched alias %s\n", *(--aliases));
3198       }
3199
3200   /* Final attempt: try a forward lookup of the helo name */
3201
3202   if (!helo_verified)
3203     {
3204     int rc;
3205     host_item h;
3206     dnssec_domains d;
3207     host_item *hh;
3208
3209     h.name = sender_helo_name;
3210     h.address = NULL;
3211     h.mx = MX_NONE;
3212     h.next = NULL;
3213     d.request = US"*";
3214     d.require = US"";
3215
3216     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3217       sender_helo_name);
3218     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3219                           NULL, NULL, NULL, &d, NULL, NULL);
3220     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3221       for (hh = &h; hh; hh = hh->next)
3222         if (Ustrcmp(hh->address, sender_host_address) == 0)
3223           {
3224           helo_verified = TRUE;
3225           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3226           HDEBUG(D_receive)
3227             {
3228             debug_printf("IP address for %s matches calling address\n"
3229               "Forward DNS security status: %sverified\n",
3230               sender_helo_name, sender_helo_dnssec ? "" : "un");
3231             }
3232           break;
3233           }
3234     }
3235   }
3236
3237 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3238 return yield;
3239 }
3240
3241
3242
3243
3244 /*************************************************
3245 *        Send user response message              *
3246 *************************************************/
3247
3248 /* This function is passed a default response code and a user message. It calls
3249 smtp_message_code() to check and possibly modify the response code, and then
3250 calls smtp_respond() to transmit the response. I put this into a function
3251 just to avoid a lot of repetition.
3252
3253 Arguments:
3254   code         the response code
3255   user_msg     the user message
3256
3257 Returns:       nothing
3258 */
3259
3260 static void
3261 smtp_user_msg(uschar *code, uschar *user_msg)
3262 {
3263 int len = 3;
3264 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3265 smtp_respond(code, len, TRUE, user_msg);
3266 }
3267
3268
3269
3270 static int
3271 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3272 {
3273 const uschar *set_id = NULL;
3274 int rc, i;
3275
3276 /* Run the checking code, passing the remainder of the command line as
3277 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3278 it as the only set numerical variable. The authenticator may set $auth<n>
3279 and also set other numeric variables. The $auth<n> variables are preferred
3280 nowadays; the numerical variables remain for backwards compatibility.
3281
3282 Afterwards, have a go at expanding the set_id string, even if
3283 authentication failed - for bad passwords it can be useful to log the
3284 userid. On success, require set_id to expand and exist, and put it in
3285 authenticated_id. Save this in permanent store, as the working store gets
3286 reset at HELO, RSET, etc. */
3287
3288 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3289 expand_nmax = 0;
3290 expand_nlength[0] = 0;   /* $0 contains nothing */
3291
3292 rc = (au->info->servercode)(au, smtp_cmd_data);
3293 if (au->set_id) set_id = expand_string(au->set_id);
3294 expand_nmax = -1;        /* Reset numeric variables */
3295 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3296
3297 /* The value of authenticated_id is stored in the spool file and printed in
3298 log lines. It must not contain binary zeros or newline characters. In
3299 normal use, it never will, but when playing around or testing, this error
3300 can (did) happen. To guard against this, ensure that the id contains only
3301 printing characters. */
3302
3303 if (set_id) set_id = string_printing(set_id);
3304
3305 /* For the non-OK cases, set up additional logging data if set_id
3306 is not empty. */
3307
3308 if (rc != OK)
3309   set_id = set_id && *set_id
3310     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3311
3312 /* Switch on the result */
3313
3314 switch(rc)
3315   {
3316   case OK:
3317   if (!au->set_id || set_id)    /* Complete success */
3318     {
3319     if (set_id) authenticated_id = string_copy_malloc(set_id);
3320     sender_host_authenticated = au->name;
3321     authentication_failed = FALSE;
3322     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3323
3324     received_protocol =
3325       (sender_host_address ? protocols : protocols_local)
3326         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3327     *s = *ss = US"235 Authentication succeeded";
3328     authenticated_by = au;
3329     break;
3330     }
3331
3332   /* Authentication succeeded, but we failed to expand the set_id string.
3333   Treat this as a temporary error. */
3334
3335   auth_defer_msg = expand_string_message;
3336   /* Fall through */
3337
3338   case DEFER:
3339   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3340   *s = string_sprintf("435 Unable to authenticate at present%s",
3341     auth_defer_user_msg);
3342   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3343     set_id, auth_defer_msg);
3344   break;
3345
3346   case BAD64:
3347   *s = *ss = US"501 Invalid base64 data";
3348   break;
3349
3350   case CANCELLED:
3351   *s = *ss = US"501 Authentication cancelled";
3352   break;
3353
3354   case UNEXPECTED:
3355   *s = *ss = US"553 Initial data not expected";
3356   break;
3357
3358   case FAIL:
3359   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3360   *s = US"535 Incorrect authentication data";
3361   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3362   break;
3363
3364   default:
3365   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3366   *s = US"435 Internal error";
3367   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3368     "check", set_id, rc);
3369   break;
3370   }
3371
3372 return rc;
3373 }
3374
3375
3376
3377
3378
3379 static int
3380 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3381 {
3382 int rd;
3383 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3384   {
3385   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3386     *recipient);
3387   rd = Ustrlen(recipient) + 1;
3388   *recipient = rewrite_address_qualify(*recipient, TRUE);
3389   return rd;
3390   }
3391 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3392   smtp_cmd_data);
3393 log_write(L_smtp_syntax_error,
3394   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3395   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3396 return 0;
3397 }
3398
3399
3400
3401
3402 static void
3403 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3404 {
3405 HAD(SCH_QUIT);
3406 incomplete_transaction_log(US"QUIT");
3407 if (acl_smtp_quit != NULL)
3408   {
3409   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3410   if (rc == ERROR)
3411     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3412       *log_msgp);
3413   }
3414 if (*user_msgp)
3415   smtp_respond(US"221", 3, TRUE, *user_msgp);
3416 else
3417   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3418
3419 #ifdef SUPPORT_TLS
3420 tls_close(TRUE, TRUE);
3421 #endif
3422
3423 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3424   smtp_get_connection_info());
3425 }
3426
3427
3428 static void
3429 smtp_rset_handler(void)
3430 {
3431 HAD(SCH_RSET);
3432 incomplete_transaction_log(US"RSET");
3433 smtp_printf("250 Reset OK\r\n");
3434 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3435 }
3436
3437
3438
3439 /*************************************************
3440 *       Initialize for SMTP incoming message     *
3441 *************************************************/
3442
3443 /* This function conducts the initial dialogue at the start of an incoming SMTP
3444 message, and builds a list of recipients. However, if the incoming message
3445 is part of a batch (-bS option) a separate function is called since it would
3446 be messy having tests splattered about all over this function. This function
3447 therefore handles the case where interaction is occurring. The input and output
3448 files are set up in smtp_in and smtp_out.
3449
3450 The global recipients_list is set to point to a vector of recipient_item
3451 blocks, whose number is given by recipients_count. This is extended by the
3452 receive_add_recipient() function. The global variable sender_address is set to
3453 the sender's address. The yield is +1 if a message has been successfully
3454 started, 0 if a QUIT command was encountered or the connection was refused from
3455 the particular host, or -1 if the connection was lost.
3456
3457 Argument: none
3458
3459 Returns:  > 0 message successfully started (reached DATA)
3460           = 0 QUIT read or end of file reached or call refused
3461           < 0 lost connection
3462 */
3463
3464 int
3465 smtp_setup_msg(void)
3466 {
3467 int done = 0;
3468 BOOL toomany = FALSE;
3469 BOOL discarded = FALSE;
3470 BOOL last_was_rej_mail = FALSE;
3471 BOOL last_was_rcpt = FALSE;
3472 void *reset_point = store_get(0);
3473
3474 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3475
3476 /* Reset for start of new message. We allow one RSET not to be counted as a
3477 nonmail command, for those MTAs that insist on sending it between every
3478 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3479 TLS between messages (an Exim client may do this if it has messages queued up
3480 for the host). Note: we do NOT reset AUTH at this point. */
3481
3482 smtp_reset(reset_point);
3483 message_ended = END_NOTSTARTED;
3484
3485 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3486
3487 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3488 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3489 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3490 #ifdef SUPPORT_TLS
3491 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3492 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3493 #endif
3494
3495 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3496
3497 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3498
3499 /* Batched SMTP is handled in a different function. */
3500
3501 if (smtp_batched_input) return smtp_setup_batch_msg();
3502
3503 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3504 value. The values are 2 larger than the required yield of the function. */
3505
3506 while (done <= 0)
3507   {
3508   const uschar **argv;
3509   uschar *etrn_command;
3510   uschar *etrn_serialize_key;
3511   uschar *errmess;
3512   uschar *log_msg, *smtp_code;
3513   uschar *user_msg = NULL;
3514   uschar *recipient = NULL;
3515   uschar *hello = NULL;
3516   uschar *s, *ss;
3517   BOOL was_rej_mail = FALSE;
3518   BOOL was_rcpt = FALSE;
3519   void (*oldsignal)(int);
3520   pid_t pid;
3521   int start, end, sender_domain, recipient_domain;
3522   int ptr, size, rc;
3523   int c;
3524   auth_instance *au;
3525   uschar *orcpt = NULL;
3526   int flags;
3527
3528 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3529   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3530   if (  tls_in.active >= 0
3531      && tls_in.peercert
3532      && tls_in.certificate_verified
3533      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3534      )
3535     {
3536     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3537     if (  acl_smtp_auth
3538        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3539                   &user_msg, &log_msg)) != OK
3540        )
3541       {
3542       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3543       continue;
3544       }
3545
3546     for (au = auths; au; au = au->next)
3547       if (strcmpic(US"tls", au->driver_name) == 0)
3548         {
3549         smtp_cmd_data = NULL;
3550
3551         if (smtp_in_auth(au, &s, &ss) == OK)
3552           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3553         else
3554           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3555         break;
3556         }
3557     }
3558 #endif
3559
3560   switch(smtp_read_command(TRUE))
3561     {
3562     /* The AUTH command is not permitted to occur inside a transaction, and may
3563     occur successfully only once per connection. Actually, that isn't quite
3564     true. When TLS is started, all previous information about a connection must
3565     be discarded, so a new AUTH is permitted at that time.
3566
3567     AUTH may only be used when it has been advertised. However, it seems that
3568     there are clients that send AUTH when it hasn't been advertised, some of
3569     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3570     So there's a get-out that allows this to happen.
3571
3572     AUTH is initially labelled as a "nonmail command" so that one occurrence
3573     doesn't get counted. We change the label here so that multiple failing
3574     AUTHS will eventually hit the nonmail threshold. */
3575
3576     case AUTH_CMD:
3577     HAD(SCH_AUTH);
3578     authentication_failed = TRUE;
3579     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3580
3581     if (!auth_advertised && !allow_auth_unadvertised)
3582       {
3583       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3584         US"AUTH command used when not advertised");
3585       break;
3586       }
3587     if (sender_host_authenticated)
3588       {
3589       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3590         US"already authenticated");
3591       break;
3592       }
3593     if (sender_address)
3594       {
3595       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3596         US"not permitted in mail transaction");
3597       break;
3598       }
3599
3600     /* Check the ACL */
3601
3602     if (  acl_smtp_auth
3603        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3604                   &user_msg, &log_msg)) != OK
3605        )
3606       {
3607       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3608       break;
3609       }
3610
3611     /* Find the name of the requested authentication mechanism. */
3612
3613     s = smtp_cmd_data;
3614     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3615       {
3616       if (!isalnum(c) && c != '-' && c != '_')
3617         {
3618         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3619           US"invalid character in authentication mechanism name");
3620         goto COMMAND_LOOP;
3621         }
3622       smtp_cmd_data++;
3623       }
3624
3625     /* If not at the end of the line, we must be at white space. Terminate the
3626     name and move the pointer on to any data that may be present. */
3627
3628     if (*smtp_cmd_data != 0)
3629       {
3630       *smtp_cmd_data++ = 0;
3631       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3632       }
3633
3634     /* Search for an authentication mechanism which is configured for use
3635     as a server and which has been advertised (unless, sigh, allow_auth_
3636     unadvertised is set). */
3637
3638     for (au = auths; au; au = au->next)
3639       if (strcmpic(s, au->public_name) == 0 && au->server &&
3640           (au->advertised || allow_auth_unadvertised))
3641         break;
3642
3643     if (au)
3644       {
3645       c = smtp_in_auth(au, &s, &ss);
3646
3647       smtp_printf("%s\r\n", s);
3648       if (c != OK)
3649         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3650           au->name, host_and_ident(FALSE), ss);
3651       }
3652     else
3653       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3654         string_sprintf("%s authentication mechanism not supported", s));
3655
3656     break;  /* AUTH_CMD */
3657
3658     /* The HELO/EHLO commands are permitted to appear in the middle of a
3659     session as well as at the beginning. They have the effect of a reset in
3660     addition to their other functions. Their absence at the start cannot be
3661     taken to be an error.
3662
3663     RFC 2821 says:
3664
3665       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3666       or 502 failure replies MUST be returned as appropriate.  The SMTP
3667       server MUST stay in the same state after transmitting these replies
3668       that it was in before the EHLO was received.
3669
3670     Therefore, we do not do the reset until after checking the command for
3671     acceptability. This change was made for Exim release 4.11. Previously
3672     it did the reset first. */
3673
3674     case HELO_CMD:
3675     HAD(SCH_HELO);
3676     hello = US"HELO";
3677     esmtp = FALSE;
3678     goto HELO_EHLO;
3679
3680     case EHLO_CMD:
3681     HAD(SCH_EHLO);
3682     hello = US"EHLO";
3683     esmtp = TRUE;
3684
3685     HELO_EHLO:      /* Common code for HELO and EHLO */
3686     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3687     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3688
3689     /* Reject the HELO if its argument was invalid or non-existent. A
3690     successful check causes the argument to be saved in malloc store. */
3691
3692     if (!check_helo(smtp_cmd_data))
3693       {
3694       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3695
3696       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3697         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3698         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3699                            string_printing(smtp_cmd_argument));
3700
3701       if (++synprot_error_count > smtp_max_synprot_errors)
3702         {
3703         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3704           "syntax or protocol errors (last command was \"%s\")",
3705           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3706         done = 1;
3707         }
3708
3709       break;
3710       }
3711
3712     /* If sender_host_unknown is true, we have got here via the -bs interface,
3713     not called from inetd. Otherwise, we are running an IP connection and the
3714     host address will be set. If the helo name is the primary name of this
3715     host and we haven't done a reverse lookup, force one now. If helo_required
3716     is set, ensure that the HELO name matches the actual host. If helo_verify
3717     is set, do the same check, but softly. */
3718
3719     if (!sender_host_unknown)
3720       {
3721       BOOL old_helo_verified = helo_verified;
3722       uschar *p = smtp_cmd_data;
3723
3724       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3725       *p = 0;
3726
3727       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3728       because otherwise the log can be confusing. */
3729
3730       if (sender_host_name == NULL &&
3731            (deliver_domain = sender_helo_name,  /* set $domain */
3732             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3733               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3734         (void)host_name_lookup();
3735
3736       /* Rebuild the fullhost info to include the HELO name (and the real name
3737       if it was looked up.) */
3738
3739       host_build_sender_fullhost();  /* Rebuild */
3740       set_process_info("handling%s incoming connection from %s",
3741         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3742
3743       /* Verify if configured. This doesn't give much security, but it does
3744       make some people happy to be able to do it. If helo_required is set,
3745       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3746       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3747       now obsolescent, since the verification can now be requested selectively
3748       at ACL time. */
3749
3750       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3751       if (helo_required || helo_verify)
3752         {
3753         BOOL tempfail = !smtp_verify_helo();
3754         if (!helo_verified)
3755           {
3756           if (helo_required)
3757             {
3758             smtp_printf("%d %s argument does not match calling host\r\n",
3759               tempfail? 451 : 550, hello);
3760             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3761               tempfail? "temporarily " : "",
3762               hello, sender_helo_name, host_and_ident(FALSE));
3763             helo_verified = old_helo_verified;
3764             break;                   /* End of HELO/EHLO processing */
3765             }
3766           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3767             "helo_try_verify_hosts\n", hello);
3768           }
3769         }
3770       }
3771
3772 #ifdef EXPERIMENTAL_SPF
3773     /* set up SPF context */
3774     spf_init(sender_helo_name, sender_host_address);
3775 #endif
3776
3777     /* Apply an ACL check if one is defined; afterwards, recheck
3778     synchronization in case the client started sending in a delay. */
3779
3780     if (acl_smtp_helo)
3781       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3782                 &user_msg, &log_msg)) != OK)
3783         {
3784         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3785         sender_helo_name = NULL;
3786         host_build_sender_fullhost();  /* Rebuild */
3787         break;
3788         }
3789       else if (!check_sync()) goto SYNC_FAILURE;
3790
3791     /* Generate an OK reply. The default string includes the ident if present,
3792     and also the IP address if present. Reflecting back the ident is intended
3793     as a deterrent to mail forgers. For maximum efficiency, and also because
3794     some broken systems expect each response to be in a single packet, arrange
3795     that the entire reply is sent in one write(). */
3796
3797     auth_advertised = FALSE;
3798     pipelining_advertised = FALSE;
3799 #ifdef SUPPORT_TLS
3800     tls_advertised = FALSE;
3801 #endif
3802     dsn_advertised = FALSE;
3803 #ifdef SUPPORT_I18N
3804     smtputf8_advertised = FALSE;
3805 #endif
3806
3807     smtp_code = US"250 ";        /* Default response code plus space*/
3808     if (user_msg == NULL)
3809       {
3810       s = string_sprintf("%.3s %s Hello %s%s%s",
3811         smtp_code,
3812         smtp_active_hostname,
3813         (sender_ident == NULL)?  US"" : sender_ident,
3814         (sender_ident == NULL)?  US"" : US" at ",
3815         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3816
3817       ptr = Ustrlen(s);
3818       size = ptr + 1;
3819
3820       if (sender_host_address != NULL)
3821         {
3822         s = string_catn(s, &size, &ptr, US" [", 2);
3823         s = string_cat (s, &size, &ptr, sender_host_address);
3824         s = string_catn(s, &size, &ptr, US"]", 1);
3825         }
3826       }
3827
3828     /* A user-supplied EHLO greeting may not contain more than one line. Note
3829     that the code returned by smtp_message_code() includes the terminating
3830     whitespace character. */
3831
3832     else
3833       {
3834       char *ss;
3835       int codelen = 4;
3836       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3837       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3838       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3839         {
3840         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3841           "newlines: message truncated: %s", string_printing(s));
3842         *ss = 0;
3843         }
3844       ptr = Ustrlen(s);
3845       size = ptr + 1;
3846       }
3847
3848     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3849
3850     /* If we received EHLO, we must create a multiline response which includes
3851     the functions supported. */
3852
3853     if (esmtp)
3854       {
3855       s[3] = '-';
3856
3857       /* I'm not entirely happy with this, as an MTA is supposed to check
3858       that it has enough room to accept a message of maximum size before
3859       it sends this. However, there seems little point in not sending it.
3860       The actual size check happens later at MAIL FROM time. By postponing it
3861       till then, VRFY and EXPN can be used after EHLO when space is short. */
3862
3863       if (thismessage_size_limit > 0)
3864         {
3865         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3866           thismessage_size_limit);
3867         s = string_cat(s, &size, &ptr, big_buffer);
3868         }
3869       else
3870         {
3871         s = string_catn(s, &size, &ptr, smtp_code, 3);
3872         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3873         }
3874
3875       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3876       clean; if it has an 8-bit character in its hand, it just sends it. It
3877       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3878       However, some users want this option simply in order to stop MUAs
3879       mangling messages that contain top-bit-set characters. It is therefore
3880       provided as an option. */
3881
3882       if (accept_8bitmime)
3883         {
3884         s = string_catn(s, &size, &ptr, smtp_code, 3);
3885         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3886         }
3887
3888       /* Advertise DSN support if configured to do so. */
3889       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3890         {
3891         s = string_catn(s, &size, &ptr, smtp_code, 3);
3892         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3893         dsn_advertised = TRUE;
3894         }
3895
3896       /* Advertise ETRN if there's an ACL checking whether a host is
3897       permitted to issue it; a check is made when any host actually tries. */
3898
3899       if (acl_smtp_etrn != NULL)
3900         {
3901         s = string_catn(s, &size, &ptr, smtp_code, 3);
3902         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
3903         }
3904
3905       /* Advertise EXPN if there's an ACL checking whether a host is
3906       permitted to issue it; a check is made when any host actually tries. */
3907
3908       if (acl_smtp_expn != NULL)
3909         {
3910         s = string_catn(s, &size, &ptr, smtp_code, 3);
3911         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
3912         }
3913
3914       /* Exim is quite happy with pipelining, so let the other end know that
3915       it is safe to use it, unless advertising is disabled. */
3916
3917       if (pipelining_enable &&
3918           verify_check_host(&pipelining_advertise_hosts) == OK)
3919         {
3920         s = string_catn(s, &size, &ptr, smtp_code, 3);
3921         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3922         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3923         pipelining_advertised = TRUE;
3924         }
3925
3926
3927       /* If any server authentication mechanisms are configured, advertise
3928       them if the current host is in auth_advertise_hosts. The problem with
3929       advertising always is that some clients then require users to
3930       authenticate (and aren't configurable otherwise) even though it may not
3931       be necessary (e.g. if the host is in host_accept_relay).
3932
3933       RFC 2222 states that SASL mechanism names contain only upper case
3934       letters, so output the names in upper case, though we actually recognize
3935       them in either case in the AUTH command. */
3936
3937       if (  auths
3938 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3939          && !sender_host_authenticated
3940 #endif
3941          && verify_check_host(&auth_advertise_hosts) == OK
3942          )
3943         {
3944         auth_instance *au;
3945         BOOL first = TRUE;
3946         for (au = auths; au; au = au->next)
3947           if (au->server && (au->advertise_condition == NULL ||
3948               expand_check_condition(au->advertise_condition, au->name,
3949               US"authenticator")))
3950             {
3951             int saveptr;
3952             if (first)
3953               {
3954               s = string_catn(s, &size, &ptr, smtp_code, 3);
3955               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
3956               first = FALSE;
3957               auth_advertised = TRUE;
3958               }
3959             saveptr = ptr;
3960             s = string_catn(s, &size, &ptr, US" ", 1);
3961             s = string_cat (s, &size, &ptr, au->public_name);
3962             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3963             au->advertised = TRUE;
3964             }
3965           else
3966             au->advertised = FALSE;
3967
3968         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
3969         }
3970
3971       /* RFC 3030 CHUNKING */
3972
3973       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
3974         {
3975         s = string_catn(s, &size, &ptr, smtp_code, 3);
3976         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
3977         chunking_offered = TRUE;
3978         chunking_state = CHUNKING_OFFERED;
3979         }
3980
3981       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3982       if it has been included in the binary, and the host matches
3983       tls_advertise_hosts. We must *not* advertise if we are already in a
3984       secure connection. */
3985
3986 #ifdef SUPPORT_TLS
3987       if (tls_in.active < 0 &&
3988           verify_check_host(&tls_advertise_hosts) != FAIL)
3989         {
3990         s = string_catn(s, &size, &ptr, smtp_code, 3);
3991         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3992         tls_advertised = TRUE;
3993         }
3994 #endif
3995
3996 #ifndef DISABLE_PRDR
3997       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
3998       if (prdr_enable)
3999         {
4000         s = string_catn(s, &size, &ptr, smtp_code, 3);
4001         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
4002         }
4003 #endif
4004
4005 #ifdef SUPPORT_I18N
4006       if (  accept_8bitmime
4007          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4008         {
4009         s = string_catn(s, &size, &ptr, smtp_code, 3);
4010         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4011         smtputf8_advertised = TRUE;
4012         }
4013 #endif
4014
4015       /* Finish off the multiline reply with one that is always available. */
4016
4017       s = string_catn(s, &size, &ptr, smtp_code, 3);
4018       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4019       }
4020
4021     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4022     has been seen. */
4023
4024     s[ptr] = 0;
4025
4026 #ifdef SUPPORT_TLS
4027     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4028 #endif
4029
4030       {
4031       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4032       }
4033     DEBUG(D_receive)
4034       {
4035       uschar *cr;
4036       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4037         memmove(cr, cr + 1, (ptr--) - (cr - s));
4038       debug_printf("SMTP>> %s", s);
4039       }
4040     helo_seen = TRUE;
4041
4042     /* Reset the protocol and the state, abandoning any previous message. */
4043     received_protocol =
4044       (sender_host_address ? protocols : protocols_local)
4045         [ (esmtp
4046           ? pextend + (sender_host_authenticated ? pauthed : 0)
4047           : pnormal)
4048         + (tls_in.active >= 0 ? pcrpted : 0)
4049         ];
4050     smtp_reset(reset_point);
4051     toomany = FALSE;
4052     break;   /* HELO/EHLO */
4053
4054
4055     /* The MAIL command requires an address as an operand. All we do
4056     here is to parse it for syntactic correctness. The form "<>" is
4057     a special case which converts into an empty string. The start/end
4058     pointers in the original are not used further for this address, as
4059     it is the canonical extracted address which is all that is kept. */
4060
4061     case MAIL_CMD:
4062     HAD(SCH_MAIL);
4063     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4064     was_rej_mail = TRUE;               /* Reset if accepted */
4065     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4066
4067     if (helo_required && !helo_seen)
4068       {
4069       smtp_printf("503 HELO or EHLO required\r\n");
4070       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4071         "HELO/EHLO given", host_and_ident(FALSE));
4072       break;
4073       }
4074
4075     if (sender_address != NULL)
4076       {
4077       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4078         US"sender already given");
4079       break;
4080       }
4081
4082     if (smtp_cmd_data[0] == 0)
4083       {
4084       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4085         US"MAIL must have an address operand");
4086       break;
4087       }
4088
4089     /* Check to see if the limit for messages per connection would be
4090     exceeded by accepting further messages. */
4091
4092     if (smtp_accept_max_per_connection > 0 &&
4093         smtp_mailcmd_count > smtp_accept_max_per_connection)
4094       {
4095       smtp_printf("421 too many messages in this connection\r\n");
4096       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4097         "messages in one connection", host_and_ident(TRUE));
4098       break;
4099       }
4100
4101     /* Reset for start of message - even if this is going to fail, we
4102     obviously need to throw away any previous data. */
4103
4104     smtp_reset(reset_point);
4105     toomany = FALSE;
4106     sender_data = recipient_data = NULL;
4107
4108     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4109
4110     if (esmtp) for(;;)
4111       {
4112       uschar *name, *value, *end;
4113       unsigned long int size;
4114       BOOL arg_error = FALSE;
4115
4116       if (!extract_option(&name, &value)) break;
4117
4118       for (mail_args = env_mail_type_list;
4119            mail_args->value != ENV_MAIL_OPT_NULL;
4120            mail_args++
4121           )
4122         if (strcmpic(name, mail_args->name) == 0)
4123           break;
4124       if (mail_args->need_value && strcmpic(value, US"") == 0)
4125         break;
4126
4127       switch(mail_args->value)
4128         {
4129         /* Handle SIZE= by reading the value. We don't do the check till later,
4130         in order to be able to log the sender address on failure. */
4131         case ENV_MAIL_OPT_SIZE:
4132           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4133             {
4134             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4135               size = INT_MAX;
4136             message_size = (int)size;
4137             }
4138           else
4139             arg_error = TRUE;
4140           break;
4141
4142         /* If this session was initiated with EHLO and accept_8bitmime is set,
4143         Exim will have indicated that it supports the BODY=8BITMIME option. In
4144         fact, it does not support this according to the RFCs, in that it does not
4145         take any special action for forwarding messages containing 8-bit
4146         characters. That is why accept_8bitmime is not the default setting, but
4147         some sites want the action that is provided. We recognize both "8BITMIME"
4148         and "7BIT" as body types, but take no action. */
4149         case ENV_MAIL_OPT_BODY:
4150           if (accept_8bitmime) {
4151             if (strcmpic(value, US"8BITMIME") == 0)
4152               body_8bitmime = 8;
4153             else if (strcmpic(value, US"7BIT") == 0)
4154               body_8bitmime = 7;
4155             else
4156               {
4157               body_8bitmime = 0;
4158               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4159                 US"invalid data for BODY");
4160               goto COMMAND_LOOP;
4161               }
4162             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4163             break;
4164           }
4165           arg_error = TRUE;
4166           break;
4167
4168         /* Handle the two DSN options, but only if configured to do so (which
4169         will have caused "DSN" to be given in the EHLO response). The code itself
4170         is included only if configured in at build time. */
4171
4172         case ENV_MAIL_OPT_RET:
4173           if (dsn_advertised)
4174             {
4175             /* Check if RET has already been set */
4176             if (dsn_ret > 0)
4177               {
4178               synprot_error(L_smtp_syntax_error, 501, NULL,
4179                 US"RET can be specified once only");
4180               goto COMMAND_LOOP;
4181               }
4182             dsn_ret = strcmpic(value, US"HDRS") == 0
4183               ? dsn_ret_hdrs
4184               : strcmpic(value, US"FULL") == 0
4185               ? dsn_ret_full
4186               : 0;
4187             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4188             /* Check for invalid invalid value, and exit with error */
4189             if (dsn_ret == 0)
4190               {
4191               synprot_error(L_smtp_syntax_error, 501, NULL,
4192                 US"Value for RET is invalid");
4193               goto COMMAND_LOOP;
4194               }
4195             }
4196           break;
4197         case ENV_MAIL_OPT_ENVID:
4198           if (dsn_advertised)
4199             {
4200             /* Check if the dsn envid has been already set */
4201             if (dsn_envid != NULL)
4202               {
4203               synprot_error(L_smtp_syntax_error, 501, NULL,
4204                 US"ENVID can be specified once only");
4205               goto COMMAND_LOOP;
4206               }
4207             dsn_envid = string_copy(value);
4208             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4209             }
4210           break;
4211
4212         /* Handle the AUTH extension. If the value given is not "<>" and either
4213         the ACL says "yes" or there is no ACL but the sending host is
4214         authenticated, we set it up as the authenticated sender. However, if the
4215         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4216         the condition is met. The value of AUTH is an xtext, which means that +,
4217         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4218         coding. */
4219         case ENV_MAIL_OPT_AUTH:
4220           if (Ustrcmp(value, "<>") != 0)
4221             {
4222             int rc;
4223             uschar *ignore_msg;
4224
4225             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4226               {
4227               /* Put back terminator overrides for error message */
4228               value[-1] = '=';
4229               name[-1] = ' ';
4230               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4231                 US"invalid data for AUTH");
4232               goto COMMAND_LOOP;
4233               }
4234             if (acl_smtp_mailauth == NULL)
4235               {
4236               ignore_msg = US"client not authenticated";
4237               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4238               }
4239             else
4240               {
4241               ignore_msg = US"rejected by ACL";
4242               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4243                 &user_msg, &log_msg);
4244               }
4245
4246             switch (rc)
4247               {
4248               case OK:
4249                 if (authenticated_by == NULL ||
4250                     authenticated_by->mail_auth_condition == NULL ||
4251                     expand_check_condition(authenticated_by->mail_auth_condition,
4252                         authenticated_by->name, US"authenticator"))
4253                   break;     /* Accept the AUTH */
4254
4255                 ignore_msg = US"server_mail_auth_condition failed";
4256                 if (authenticated_id != NULL)
4257                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4258                     ignore_msg, authenticated_id);
4259
4260               /* Fall through */
4261
4262               case FAIL:
4263                 authenticated_sender = NULL;
4264                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4265                   value, host_and_ident(TRUE), ignore_msg);
4266                 break;
4267
4268               /* Should only get DEFER or ERROR here. Put back terminator
4269               overrides for error message */
4270
4271               default:
4272                 value[-1] = '=';
4273                 name[-1] = ' ';
4274                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4275                   log_msg);
4276                 goto COMMAND_LOOP;
4277               }
4278             }
4279             break;
4280
4281 #ifndef DISABLE_PRDR
4282         case ENV_MAIL_OPT_PRDR:
4283           if (prdr_enable)
4284             prdr_requested = TRUE;
4285           break;
4286 #endif
4287
4288 #ifdef SUPPORT_I18N
4289         case ENV_MAIL_OPT_UTF8:
4290           if (smtputf8_advertised)
4291             {
4292             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4293             message_smtputf8 = allow_utf8_domains = TRUE;
4294             received_protocol = string_sprintf("utf8%s", received_protocol);
4295             }
4296           break;
4297 #endif
4298         /* No valid option. Stick back the terminator characters and break
4299         the loop.  Do the name-terminator second as extract_option sets
4300         value==name when it found no equal-sign.
4301         An error for a malformed address will occur. */
4302         case ENV_MAIL_OPT_NULL:
4303           value[-1] = '=';
4304           name[-1] = ' ';
4305           arg_error = TRUE;
4306           break;
4307
4308         default:  assert(0);
4309         }
4310       /* Break out of for loop if switch() had bad argument or
4311          when start of the email address is reached */
4312       if (arg_error) break;
4313       }
4314
4315     /* If we have passed the threshold for rate limiting, apply the current
4316     delay, and update it for next time, provided this is a limited host. */
4317
4318     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4319         verify_check_host(&smtp_ratelimit_hosts) == OK)
4320       {
4321       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4322         smtp_delay_mail/1000.0);
4323       millisleep((int)smtp_delay_mail);
4324       smtp_delay_mail *= smtp_rlm_factor;
4325       if (smtp_delay_mail > (double)smtp_rlm_limit)
4326         smtp_delay_mail = (double)smtp_rlm_limit;
4327       }
4328
4329     /* Now extract the address, first applying any SMTP-time rewriting. The
4330     TRUE flag allows "<>" as a sender address. */
4331
4332     raw_sender = rewrite_existflags & rewrite_smtp
4333       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4334                     global_rewrite_rules)
4335       : smtp_cmd_data;
4336
4337     raw_sender =
4338       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4339         TRUE);
4340
4341     if (!raw_sender)
4342       {
4343       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4344       break;
4345       }
4346
4347     sender_address = raw_sender;
4348
4349     /* If there is a configured size limit for mail, check that this message
4350     doesn't exceed it. The check is postponed to this point so that the sender
4351     can be logged. */
4352
4353     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4354       {
4355       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4356       log_write(L_size_reject,
4357           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4358           "message too big: size%s=%d max=%d",
4359           sender_address,
4360           host_and_ident(TRUE),
4361           (message_size == INT_MAX)? ">" : "",
4362           message_size,
4363           thismessage_size_limit);
4364       sender_address = NULL;
4365       break;
4366       }
4367
4368     /* Check there is enough space on the disk unless configured not to.
4369     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4370     plus the current message - i.e. we accept the message only if it won't
4371     reduce the space below the threshold. Add 5000 to the size to allow for
4372     overheads such as the Received: line and storing of recipients, etc.
4373     By putting the check here, even when SIZE is not given, it allow VRFY
4374     and EXPN etc. to be used when space is short. */
4375
4376     if (!receive_check_fs(
4377          (smtp_check_spool_space && message_size >= 0)?
4378             message_size + 5000 : 0))
4379       {
4380       smtp_printf("452 Space shortage, please try later\r\n");
4381       sender_address = NULL;
4382       break;
4383       }
4384
4385     /* If sender_address is unqualified, reject it, unless this is a locally
4386     generated message, or the sending host or net is permitted to send
4387     unqualified addresses - typically local machines behaving as MUAs -
4388     in which case just qualify the address. The flag is set above at the start
4389     of the SMTP connection. */
4390
4391     if (sender_domain == 0 && sender_address[0] != 0)
4392       {
4393       if (allow_unqualified_sender)
4394         {
4395         sender_domain = Ustrlen(sender_address) + 1;
4396         sender_address = rewrite_address_qualify(sender_address, FALSE);
4397         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4398           raw_sender);
4399         }
4400       else
4401         {
4402         smtp_printf("501 %s: sender address must contain a domain\r\n",
4403           smtp_cmd_data);
4404         log_write(L_smtp_syntax_error,
4405           LOG_MAIN|LOG_REJECT,
4406           "unqualified sender rejected: <%s> %s%s",
4407           raw_sender,
4408           host_and_ident(TRUE),
4409           host_lookup_msg);
4410         sender_address = NULL;
4411         break;
4412         }
4413       }
4414
4415     /* Apply an ACL check if one is defined, before responding. Afterwards,
4416     when pipelining is not advertised, do another sync check in case the ACL
4417     delayed and the client started sending in the meantime. */
4418
4419     if (acl_smtp_mail)
4420       {
4421       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4422       if (rc == OK && !pipelining_advertised && !check_sync())
4423         goto SYNC_FAILURE;
4424       }
4425     else
4426       rc = OK;
4427
4428     if (rc == OK || rc == DISCARD)
4429       {
4430       if (!user_msg)
4431         smtp_printf("%s%s%s", US"250 OK",
4432                   #ifndef DISABLE_PRDR
4433                     prdr_requested ? US", PRDR Requested" : US"",
4434                   #else
4435                     US"",
4436                   #endif
4437                     US"\r\n");
4438       else
4439         {
4440       #ifndef DISABLE_PRDR
4441         if (prdr_requested)
4442            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4443       #endif
4444         smtp_user_msg(US"250", user_msg);
4445         }
4446       smtp_delay_rcpt = smtp_rlr_base;
4447       recipients_discarded = (rc == DISCARD);
4448       was_rej_mail = FALSE;
4449       }
4450     else
4451       {
4452       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4453       sender_address = NULL;
4454       }
4455     break;
4456
4457
4458     /* The RCPT command requires an address as an operand. There may be any
4459     number of RCPT commands, specifying multiple recipients. We build them all
4460     into a data structure. The start/end values given by parse_extract_address
4461     are not used, as we keep only the extracted address. */
4462
4463     case RCPT_CMD:
4464     HAD(SCH_RCPT);
4465     rcpt_count++;
4466     was_rcpt = rcpt_in_progress = TRUE;
4467
4468     /* There must be a sender address; if the sender was rejected and
4469     pipelining was advertised, we assume the client was pipelining, and do not
4470     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4471     get the same treatment. */
4472
4473     if (sender_address == NULL)
4474       {
4475       if (pipelining_advertised && last_was_rej_mail)
4476         {
4477         smtp_printf("503 sender not yet given\r\n");
4478         was_rej_mail = TRUE;
4479         }
4480       else
4481         {
4482         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4483           US"sender not yet given");
4484         was_rcpt = FALSE;             /* Not a valid RCPT */
4485         }
4486       rcpt_fail_count++;
4487       break;
4488       }
4489
4490     /* Check for an operand */
4491
4492     if (smtp_cmd_data[0] == 0)
4493       {
4494       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4495         US"RCPT must have an address operand");
4496       rcpt_fail_count++;
4497       break;
4498       }
4499
4500     /* Set the DSN flags orcpt and dsn_flags from the session*/
4501     orcpt = NULL;
4502     flags = 0;
4503
4504     if (esmtp) for(;;)
4505       {
4506       uschar *name, *value;
4507
4508       if (!extract_option(&name, &value))
4509         break;
4510
4511       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4512         {
4513         /* Check whether orcpt has been already set */
4514         if (orcpt)
4515           {
4516           synprot_error(L_smtp_syntax_error, 501, NULL,
4517             US"ORCPT can be specified once only");
4518           goto COMMAND_LOOP;
4519           }
4520         orcpt = string_copy(value);
4521         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4522         }
4523
4524       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4525         {
4526         /* Check if the notify flags have been already set */
4527         if (flags > 0)
4528           {
4529           synprot_error(L_smtp_syntax_error, 501, NULL,
4530               US"NOTIFY can be specified once only");
4531           goto COMMAND_LOOP;
4532           }
4533         if (strcmpic(value, US"NEVER") == 0)
4534           flags |= rf_notify_never;
4535         else
4536           {
4537           uschar *p = value;
4538           while (*p != 0)
4539             {
4540             uschar *pp = p;
4541             while (*pp != 0 && *pp != ',') pp++;
4542             if (*pp == ',') *pp++ = 0;
4543             if (strcmpic(p, US"SUCCESS") == 0)
4544               {
4545               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4546               flags |= rf_notify_success;
4547               }
4548             else if (strcmpic(p, US"FAILURE") == 0)
4549               {
4550               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4551               flags |= rf_notify_failure;
4552               }
4553             else if (strcmpic(p, US"DELAY") == 0)
4554               {
4555               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4556               flags |= rf_notify_delay;
4557               }
4558             else
4559               {
4560               /* Catch any strange values */
4561               synprot_error(L_smtp_syntax_error, 501, NULL,
4562                 US"Invalid value for NOTIFY parameter");
4563               goto COMMAND_LOOP;
4564               }
4565             p = pp;
4566             }
4567             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4568           }
4569         }
4570
4571       /* Unknown option. Stick back the terminator characters and break
4572       the loop. An error for a malformed address will occur. */
4573
4574       else
4575         {
4576         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4577         name[-1] = ' ';
4578         value[-1] = '=';
4579         break;
4580         }
4581       }
4582
4583     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4584     as a recipient address */
4585
4586     recipient = rewrite_existflags & rewrite_smtp
4587       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4588           global_rewrite_rules)
4589       : smtp_cmd_data;
4590
4591     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4592       &recipient_domain, FALSE)))
4593       {
4594       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4595       rcpt_fail_count++;
4596       break;
4597       }
4598
4599     /* If the recipient address is unqualified, reject it, unless this is a
4600     locally generated message. However, unqualified addresses are permitted
4601     from a configured list of hosts and nets - typically when behaving as
4602     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4603     really. The flag is set at the start of the SMTP connection.
4604
4605     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4606     assumed this meant "reserved local part", but the revision of RFC 821 and
4607     friends now makes it absolutely clear that it means *mailbox*. Consequently
4608     we must always qualify this address, regardless. */
4609
4610     if (recipient_domain == 0)
4611       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4612                                   US"recipient")))
4613         {
4614         rcpt_fail_count++;
4615         break;
4616         }
4617
4618     /* Check maximum allowed */
4619
4620     if (rcpt_count > recipients_max && recipients_max > 0)
4621       {
4622       if (recipients_max_reject)
4623         {
4624         rcpt_fail_count++;
4625         smtp_printf("552 too many recipients\r\n");
4626         if (!toomany)
4627           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4628             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4629         }
4630       else
4631         {
4632         rcpt_defer_count++;
4633         smtp_printf("452 too many recipients\r\n");
4634         if (!toomany)
4635           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4636             "temporarily rejected: sender=<%s> %s", sender_address,
4637             host_and_ident(TRUE));
4638         }
4639
4640       toomany = TRUE;
4641       break;
4642       }
4643
4644     /* If we have passed the threshold for rate limiting, apply the current
4645     delay, and update it for next time, provided this is a limited host. */
4646
4647     if (rcpt_count > smtp_rlr_threshold &&
4648         verify_check_host(&smtp_ratelimit_hosts) == OK)
4649       {
4650       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4651         smtp_delay_rcpt/1000.0);
4652       millisleep((int)smtp_delay_rcpt);
4653       smtp_delay_rcpt *= smtp_rlr_factor;
4654       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4655         smtp_delay_rcpt = (double)smtp_rlr_limit;
4656       }
4657
4658     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4659     for them. Otherwise, check the access control list for this recipient. As
4660     there may be a delay in this, re-check for a synchronization error
4661     afterwards, unless pipelining was advertised. */
4662
4663     if (recipients_discarded) rc = DISCARD; else
4664       {
4665       rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4666         &log_msg);
4667       if (rc == OK && !pipelining_advertised && !check_sync())
4668         goto SYNC_FAILURE;
4669       }
4670
4671     /* The ACL was happy */
4672
4673     if (rc == OK)
4674       {
4675       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4676         else smtp_user_msg(US"250", user_msg);
4677       receive_add_recipient(recipient, -1);
4678
4679       /* Set the dsn flags in the recipients_list */
4680       recipients_list[recipients_count-1].orcpt = orcpt;
4681       recipients_list[recipients_count-1].dsn_flags = flags;
4682
4683       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4684         recipients_list[recipients_count-1].orcpt,
4685         recipients_list[recipients_count-1].dsn_flags);
4686       }
4687
4688     /* The recipient was discarded */
4689
4690     else if (rc == DISCARD)
4691       {
4692       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4693         else smtp_user_msg(US"250", user_msg);
4694       rcpt_fail_count++;
4695       discarded = TRUE;
4696       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4697         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4698         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4699         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4700         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4701       }
4702
4703     /* Either the ACL failed the address, or it was deferred. */
4704
4705     else
4706       {
4707       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4708       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4709       }
4710     break;
4711
4712
4713     /* The DATA command is legal only if it follows successful MAIL FROM
4714     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4715     not counted as a protocol error if it follows RCPT (which must have been
4716     rejected if there are no recipients.) This function is complete when a
4717     valid DATA command is encountered.
4718
4719     Note concerning the code used: RFC 2821 says this:
4720
4721      -  If there was no MAIL, or no RCPT, command, or all such commands
4722         were rejected, the server MAY return a "command out of sequence"
4723         (503) or "no valid recipients" (554) reply in response to the
4724         DATA command.
4725
4726     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4727     because it is the same whether pipelining is in use or not.
4728
4729     If all the RCPT commands that precede DATA provoked the same error message
4730     (often indicating some kind of system error), it is helpful to include it
4731     with the DATA rejection (an idea suggested by Tony Finch). */
4732
4733     case BDAT_CMD:
4734     HAD(SCH_BDAT);
4735       {
4736       int n;
4737
4738       if (chunking_state != CHUNKING_OFFERED)
4739         {
4740         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4741           US"BDAT command used when CHUNKING not advertised");
4742         break;
4743         }
4744
4745       /* grab size, endmarker */
4746
4747       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4748         {
4749         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4750           US"missing size for BDAT command");
4751         break;
4752         }
4753       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4754         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4755       chunking_data_left = chunking_datasize;
4756
4757       lwr_receive_getc = receive_getc;
4758       lwr_receive_ungetc = receive_ungetc;
4759       receive_getc = bdat_getc;
4760       receive_ungetc = bdat_ungetc;
4761
4762       DEBUG(D_any)
4763         debug_printf("chunking state %d\n", (int)chunking_state);
4764       goto DATA_BDAT;
4765       }
4766
4767     case DATA_CMD:
4768     HAD(SCH_DATA);
4769
4770     DATA_BDAT:          /* Common code for DATA and BDAT */
4771     if (!discarded && recipients_count <= 0)
4772       {
4773       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4774         {
4775         uschar *code = US"503";
4776         int len = Ustrlen(rcpt_smtp_response);
4777         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4778           "this error:");
4779         /* Responses from smtp_printf() will have \r\n on the end */
4780         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4781           rcpt_smtp_response[len-2] = 0;
4782         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4783         }
4784       if (pipelining_advertised && last_was_rcpt)
4785         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4786           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4787       else
4788         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4789           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4790           ? US"valid RCPT command must precede DATA"
4791           : US"valid RCPT command must precede BDAT");
4792
4793       if (chunking_state > CHUNKING_OFFERED)
4794         bdat_flush_data();
4795       break;
4796       }
4797
4798     if (toomany && recipients_max_reject)
4799       {
4800       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4801       sender_address_unrewritten = NULL;
4802       smtp_printf("554 Too many recipients\r\n");
4803       break;
4804       }
4805
4806     if (chunking_state > CHUNKING_OFFERED)
4807       {                         /* No predata ACL or go-ahead output for BDAT */
4808       rc = OK;
4809       }
4810     else
4811       {
4812       /* If there is an ACL, re-check the synchronization afterwards, since the
4813       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4814       to get the DATA command sent. */
4815
4816       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4817         rc = OK;
4818       else
4819         {
4820         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4821         enable_dollar_recipients = TRUE;
4822         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4823           &log_msg);
4824         enable_dollar_recipients = FALSE;
4825         if (rc == OK && !check_sync())
4826           goto SYNC_FAILURE;
4827
4828         if (rc != OK)
4829           {     /* Either the ACL failed the address, or it was deferred. */
4830           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4831           break;
4832           }
4833         }
4834
4835       if (user_msg)
4836         smtp_user_msg(US"354", user_msg);
4837       else
4838         smtp_printf(
4839           "354 Enter message, ending with \".\" on a line by itself\r\n");
4840       }
4841
4842     done = 3;
4843     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4844
4845     break;
4846
4847
4848     case VRFY_CMD:
4849       {
4850       uschar * address;
4851
4852       HAD(SCH_VRFY);
4853
4854       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4855             &start, &end, &recipient_domain, FALSE)))
4856         {
4857         smtp_printf("501 %s\r\n", errmess);
4858         break;
4859         }
4860
4861       if (recipient_domain == 0)
4862         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4863                                     US"verify")))
4864           break;
4865
4866       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4867                     &user_msg, &log_msg)) != OK)
4868         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4869       else
4870         {
4871         uschar * s = NULL;
4872         address_item * addr = deliver_make_addr(address, FALSE);
4873
4874         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4875                -1, -1, NULL, NULL, NULL))
4876           {
4877           case OK:
4878             s = string_sprintf("250 <%s> is deliverable", address);
4879             break;
4880
4881           case DEFER:
4882             s = (addr->user_message != NULL)?
4883               string_sprintf("451 <%s> %s", address, addr->user_message) :
4884               string_sprintf("451 Cannot resolve <%s> at this time", address);
4885             break;
4886
4887           case FAIL:
4888             s = (addr->user_message != NULL)?
4889               string_sprintf("550 <%s> %s", address, addr->user_message) :
4890               string_sprintf("550 <%s> is not deliverable", address);
4891             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
4892               smtp_cmd_argument, host_and_ident(TRUE));
4893             break;
4894           }
4895
4896         smtp_printf("%s\r\n", s);
4897         }
4898       break;
4899       }
4900
4901
4902     case EXPN_CMD:
4903     HAD(SCH_EXPN);
4904     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
4905     if (rc != OK)
4906       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
4907     else
4908       {
4909       BOOL save_log_testing_mode = log_testing_mode;
4910       address_test_mode = log_testing_mode = TRUE;
4911       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
4912         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
4913         NULL, NULL, NULL);
4914       address_test_mode = FALSE;
4915       log_testing_mode = save_log_testing_mode;    /* true for -bh */
4916       }
4917     break;
4918
4919
4920     #ifdef SUPPORT_TLS
4921
4922     case STARTTLS_CMD:
4923     HAD(SCH_STARTTLS);
4924     if (!tls_advertised)
4925       {
4926       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4927         US"STARTTLS command used when not advertised");
4928       break;
4929       }
4930
4931     /* Apply an ACL check if one is defined */
4932
4933     if (  acl_smtp_starttls
4934        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
4935                   &user_msg, &log_msg)) != OK
4936        )
4937       {
4938       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
4939       break;
4940       }
4941
4942     /* RFC 2487 is not clear on when this command may be sent, though it
4943     does state that all information previously obtained from the client
4944     must be discarded if a TLS session is started. It seems reasonble to
4945     do an implied RSET when STARTTLS is received. */
4946
4947     incomplete_transaction_log(US"STARTTLS");
4948     smtp_reset(reset_point);
4949     toomany = FALSE;
4950     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
4951
4952     /* There's an attack where more data is read in past the STARTTLS command
4953     before TLS is negotiated, then assumed to be part of the secure session
4954     when used afterwards; we use segregated input buffers, so are not
4955     vulnerable, but we want to note when it happens and, for sheer paranoia,
4956     ensure that the buffer is "wiped".
4957     Pipelining sync checks will normally have protected us too, unless disabled
4958     by configuration. */
4959
4960     if (receive_smtp_buffered())
4961       {
4962       DEBUG(D_any)
4963         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
4964       if (tls_in.active < 0)
4965         smtp_inend = smtp_inptr = smtp_inbuffer;
4966       /* and if TLS is already active, tls_server_start() should fail */
4967       }
4968
4969     /* There is nothing we value in the input buffer and if TLS is succesfully
4970     negotiated, we won't use this buffer again; if TLS fails, we'll just read
4971     fresh content into it.  The buffer contains arbitrary content from an
4972     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
4973     It seems safest to just wipe away the content rather than leave it as a
4974     target to jump to. */
4975
4976     memset(smtp_inbuffer, 0, in_buffer_size);
4977
4978     /* Attempt to start up a TLS session, and if successful, discard all
4979     knowledge that was obtained previously. At least, that's what the RFC says,
4980     and that's what happens by default. However, in order to work round YAEB,
4981     there is an option to remember the esmtp state. Sigh.
4982
4983     We must allow for an extra EHLO command and an extra AUTH command after
4984     STARTTLS that don't add to the nonmail command count. */
4985
4986     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
4987       {
4988       if (!tls_remember_esmtp)
4989         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
4990       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4991       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
4992       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
4993       if (sender_helo_name != NULL)
4994         {
4995         store_free(sender_helo_name);
4996         sender_helo_name = NULL;
4997         host_build_sender_fullhost();  /* Rebuild */
4998         set_process_info("handling incoming TLS connection from %s",
4999           host_and_ident(FALSE));
5000         }
5001       received_protocol =
5002         (sender_host_address ? protocols : protocols_local)
5003           [ (esmtp
5004             ? pextend + (sender_host_authenticated ? pauthed : 0)
5005             : pnormal)
5006           + (tls_in.active >= 0 ? pcrpted : 0)
5007           ];
5008
5009       sender_host_authenticated = NULL;
5010       authenticated_id = NULL;
5011       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5012       DEBUG(D_tls) debug_printf("TLS active\n");
5013       break;     /* Successful STARTTLS */
5014       }
5015
5016     /* Some local configuration problem was discovered before actually trying
5017     to do a TLS handshake; give a temporary error. */
5018
5019     else if (rc == DEFER)
5020       {
5021       smtp_printf("454 TLS currently unavailable\r\n");
5022       break;
5023       }
5024
5025     /* Hard failure. Reject everything except QUIT or closed connection. One
5026     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5027     set, but we must still reject all incoming commands. */
5028
5029     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5030     while (done <= 0)
5031       {
5032       switch(smtp_read_command(FALSE))
5033         {
5034         case EOF_CMD:
5035         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5036           smtp_get_connection_info());
5037         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5038         done = 2;
5039         break;
5040
5041         /* It is perhaps arguable as to which exit ACL should be called here,
5042         but as it is probably a situation that almost never arises, it
5043         probably doesn't matter. We choose to call the real QUIT ACL, which in
5044         some sense is perhaps "right". */
5045
5046         case QUIT_CMD:
5047         user_msg = NULL;
5048         if (acl_smtp_quit != NULL)
5049           {
5050           rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5051             &log_msg);
5052           if (rc == ERROR)
5053             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5054               log_msg);
5055           }
5056         if (user_msg == NULL)
5057           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5058         else
5059           smtp_respond(US"221", 3, TRUE, user_msg);
5060         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5061           smtp_get_connection_info());
5062         done = 2;
5063         break;
5064
5065         default:
5066         smtp_printf("554 Security failure\r\n");
5067         break;
5068         }
5069       }
5070     tls_close(TRUE, TRUE);
5071     break;
5072     #endif
5073
5074
5075     /* The ACL for QUIT is provided for gathering statistical information or
5076     similar; it does not affect the response code, but it can supply a custom
5077     message. */
5078
5079     case QUIT_CMD:
5080     smtp_quit_handler(&user_msg, &log_msg);
5081     done = 2;
5082     break;
5083
5084
5085     case RSET_CMD:
5086     smtp_rset_handler();
5087     smtp_reset(reset_point);
5088     toomany = FALSE;
5089     break;
5090
5091
5092     case NOOP_CMD:
5093     HAD(SCH_NOOP);
5094     smtp_printf("250 OK\r\n");
5095     break;
5096
5097
5098     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5099     used, a check will be done for permitted hosts. Show STARTTLS only if not
5100     already in a TLS session and if it would be advertised in the EHLO
5101     response. */
5102
5103     case HELP_CMD:
5104     HAD(SCH_HELP);
5105     smtp_printf("214-Commands supported:\r\n");
5106       {
5107       uschar buffer[256];
5108       buffer[0] = 0;
5109       Ustrcat(buffer, " AUTH");
5110       #ifdef SUPPORT_TLS
5111       if (tls_in.active < 0 &&
5112           verify_check_host(&tls_advertise_hosts) != FAIL)
5113         Ustrcat(buffer, " STARTTLS");
5114       #endif
5115       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5116       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5117       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5118       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5119       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5120       smtp_printf("214%s\r\n", buffer);
5121       }
5122     break;
5123
5124
5125     case EOF_CMD:
5126     incomplete_transaction_log(US"connection lost");
5127     smtp_notquit_exit(US"connection-lost", US"421",
5128       US"%s lost input connection", smtp_active_hostname);
5129
5130     /* Don't log by default unless in the middle of a message, as some mailers
5131     just drop the call rather than sending QUIT, and it clutters up the logs.
5132     */
5133
5134     if (sender_address != NULL || recipients_count > 0)
5135       log_write(L_lost_incoming_connection,
5136           LOG_MAIN,
5137           "unexpected %s while reading SMTP command from %s%s",
5138           sender_host_unknown? "EOF" : "disconnection",
5139           host_and_ident(FALSE), smtp_read_error);
5140
5141     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5142       smtp_get_connection_info(), smtp_read_error);
5143
5144     done = 1;
5145     break;
5146
5147
5148     case ETRN_CMD:
5149     HAD(SCH_ETRN);
5150     if (sender_address != NULL)
5151       {
5152       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5153         US"ETRN is not permitted inside a transaction");
5154       break;
5155       }
5156
5157     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5158       host_and_ident(FALSE));
5159
5160     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5161                 &user_msg, &log_msg)) != OK)
5162       {
5163       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5164       break;
5165       }
5166
5167     /* Compute the serialization key for this command. */
5168
5169     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5170
5171     /* If a command has been specified for running as a result of ETRN, we
5172     permit any argument to ETRN. If not, only the # standard form is permitted,
5173     since that is strictly the only kind of ETRN that can be implemented
5174     according to the RFC. */
5175
5176     if (smtp_etrn_command != NULL)
5177       {
5178       uschar *error;
5179       BOOL rc;
5180       etrn_command = smtp_etrn_command;
5181       deliver_domain = smtp_cmd_data;
5182       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5183         US"ETRN processing", &error);
5184       deliver_domain = NULL;
5185       if (!rc)
5186         {
5187         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5188           error);
5189         smtp_printf("458 Internal failure\r\n");
5190         break;
5191         }
5192       }
5193
5194     /* Else set up to call Exim with the -R option. */
5195
5196     else
5197       {
5198       if (*smtp_cmd_data++ != '#')
5199         {
5200         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5201           US"argument must begin with #");
5202         break;
5203         }
5204       etrn_command = US"exim -R";
5205       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5206         *queue_name ? 4 : 2,
5207         US"-R", smtp_cmd_data,
5208         US"-MCG", queue_name);
5209       }
5210
5211     /* If we are host-testing, don't actually do anything. */
5212
5213     if (host_checking)
5214       {
5215       HDEBUG(D_any)
5216         {
5217         debug_printf("ETRN command is: %s\n", etrn_command);
5218         debug_printf("ETRN command execution skipped\n");
5219         }
5220       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5221         else smtp_user_msg(US"250", user_msg);
5222       break;
5223       }
5224
5225
5226     /* If ETRN queue runs are to be serialized, check the database to
5227     ensure one isn't already running. */
5228
5229     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5230       {
5231       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5232       break;
5233       }
5234
5235     /* Fork a child process and run the command. We don't want to have to
5236     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5237     forking. It should be set that way anyway for external incoming SMTP,
5238     but we save and restore to be tidy. If serialization is required, we
5239     actually run the command in yet another process, so we can wait for it
5240     to complete and then remove the serialization lock. */
5241
5242     oldsignal = signal(SIGCHLD, SIG_IGN);
5243
5244     if ((pid = fork()) == 0)
5245       {
5246       smtp_input = FALSE;       /* This process is not associated with the */
5247       (void)fclose(smtp_in);    /* SMTP call any more. */
5248       (void)fclose(smtp_out);
5249
5250       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5251
5252       /* If not serializing, do the exec right away. Otherwise, fork down
5253       into another process. */
5254
5255       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5256         {
5257         DEBUG(D_exec) debug_print_argv(argv);
5258         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5259         execv(CS argv[0], (char *const *)argv);
5260         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5261           etrn_command, strerror(errno));
5262         _exit(EXIT_FAILURE);         /* paranoia */
5263         }
5264
5265       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5266       is, we are in the first subprocess, after forking again. All we can do
5267       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5268       complete, before removing the serialization. */
5269
5270       if (pid < 0)
5271         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5272           "failed: %s", strerror(errno));
5273       else
5274         {
5275         int status;
5276         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5277           (int)pid);
5278         (void)wait(&status);
5279         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5280           (int)pid);
5281         }
5282
5283       enq_end(etrn_serialize_key);
5284       _exit(EXIT_SUCCESS);
5285       }
5286
5287     /* Back in the top level SMTP process. Check that we started a subprocess
5288     and restore the signal state. */
5289
5290     if (pid < 0)
5291       {
5292       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5293         strerror(errno));
5294       smtp_printf("458 Unable to fork process\r\n");
5295       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5296       }
5297     else
5298       {
5299       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5300         else smtp_user_msg(US"250", user_msg);
5301       }
5302
5303     signal(SIGCHLD, oldsignal);
5304     break;
5305
5306
5307     case BADARG_CMD:
5308     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5309       US"unexpected argument data");
5310     break;
5311
5312
5313     /* This currently happens only for NULLs, but could be extended. */
5314
5315     case BADCHAR_CMD:
5316     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5317       US"NULL character(s) present (shown as '?')");
5318     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5319     break;
5320
5321
5322     case BADSYN_CMD:
5323     SYNC_FAILURE:
5324     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
5325       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
5326     c = smtp_inend - smtp_inptr;
5327     if (c > 150) c = 150;
5328     smtp_inptr[c] = 0;
5329     incomplete_transaction_log(US"sync failure");
5330     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5331       "(next input sent too soon: pipelining was%s advertised): "
5332       "rejected \"%s\" %s next input=\"%s\"",
5333       pipelining_advertised? "" : " not",
5334       smtp_cmd_buffer, host_and_ident(TRUE),
5335       string_printing(smtp_inptr));
5336     smtp_notquit_exit(US"synchronization-error", US"554",
5337       US"SMTP synchronization error");
5338     done = 1;   /* Pretend eof - drops connection */
5339     break;
5340
5341
5342     case TOO_MANY_NONMAIL_CMD:
5343     s = smtp_cmd_buffer;
5344     while (*s != 0 && !isspace(*s)) s++;
5345     incomplete_transaction_log(US"too many non-mail commands");
5346     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5347       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5348       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5349     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5350     done = 1;   /* Pretend eof - drops connection */
5351     break;
5352
5353 #ifdef SUPPORT_PROXY
5354     case PROXY_FAIL_IGNORE_CMD:
5355     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5356     break;
5357 #endif
5358
5359     default:
5360     if (unknown_command_count++ >= smtp_max_unknown_commands)
5361       {
5362       log_write(L_smtp_syntax_error, LOG_MAIN,
5363         "SMTP syntax error in \"%s\" %s %s",
5364         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5365         US"unrecognized command");
5366       incomplete_transaction_log(US"unrecognized command");
5367       smtp_notquit_exit(US"bad-commands", US"500",
5368         US"Too many unrecognized commands");
5369       done = 2;
5370       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5371         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5372         string_printing(smtp_cmd_buffer));
5373       }
5374     else
5375       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5376         US"unrecognized command");
5377     break;
5378     }
5379
5380   /* This label is used by goto's inside loops that want to break out to
5381   the end of the command-processing loop. */
5382
5383   COMMAND_LOOP:
5384   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5385   last_was_rcpt = was_rcpt;             /* protocol error handling */
5386   continue;
5387   }
5388
5389 return done - 2;  /* Convert yield values */
5390 }
5391
5392 /* vi: aw ai sw=2
5393 */
5394 /* End of smtp_in.c */