9484105d60588622a55b5edcc937dcdd3a56ce5b
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define smtp_cmd_buffer_size  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define in_buffer_size  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
86   processed the message is sent using a series of BDAT commands"
87   implies that BDAT should be synchronized.  However, we see Google, at least,
88   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
89   processing of the RPCT response(s).  We shall do the same, and not require
90   synch for BDAT. */
91
92   BDAT_CMD,
93
94   /* This is a dummy to identify the non-sync commands when not pipelining */
95
96   NON_SYNC_CMD_NON_PIPELINING,
97
98   /* I have been unable to find a statement about the use of pipelining
99   with AUTH, so to be on the safe side it is here, though I kind of feel
100   it should be up there with the synchronized commands. */
101
102   AUTH_CMD,
103
104   /* I'm not sure about these, but I don't think they matter. */
105
106   QUIT_CMD, HELP_CMD,
107
108 #ifdef SUPPORT_PROXY
109   PROXY_FAIL_IGNORE_CMD,
110 #endif
111
112   /* These are specials that don't correspond to actual commands */
113
114   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
115   TOO_MANY_NONMAIL_CMD };
116
117
118 /* This is a convenience macro for adding the identity of an SMTP command
119 to the circular buffer that holds a list of the last n received. */
120
121 #define HAD(n) \
122     smtp_connection_had[smtp_ch_index++] = n; \
123     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
124
125
126 /*************************************************
127 *                Local static variables          *
128 *************************************************/
129
130 static auth_instance *authenticated_by;
131 static BOOL auth_advertised;
132 #ifdef SUPPORT_TLS
133 static BOOL tls_advertised;
134 #endif
135 static BOOL dsn_advertised;
136 static BOOL esmtp;
137 static BOOL helo_required = FALSE;
138 static BOOL helo_verify = FALSE;
139 static BOOL helo_seen;
140 static BOOL helo_accept_junk;
141 static BOOL count_nonmail;
142 static BOOL pipelining_advertised;
143 static BOOL rcpt_smtp_response_same;
144 static BOOL rcpt_in_progress;
145 static int  nonmail_command_count;
146 static BOOL smtp_exit_function_called = 0;
147 #ifdef SUPPORT_I18N
148 static BOOL smtputf8_advertised;
149 #endif
150 static int  synprot_error_count;
151 static int  unknown_command_count;
152 static int  sync_cmd_limit;
153 static int  smtp_write_error = 0;
154
155 static uschar *rcpt_smtp_response;
156 static uschar *smtp_data_buffer;
157 static uschar *smtp_cmd_data;
158
159 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
160 final fields of all except AUTH are forced TRUE at the start of a new message
161 setup, to allow one of each between messages that is not counted as a nonmail
162 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
163 allow a new EHLO after starting up TLS.
164
165 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
166 counted. However, the flag is changed when AUTH is received, so that multiple
167 failing AUTHs will eventually hit the limit. After a successful AUTH, another
168 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
169 forced TRUE, to allow for the re-authentication that can happen at that point.
170
171 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
172 count of non-mail commands and possibly provoke an error.
173
174 tls_auth is a pseudo-command, never expected in input.  It is activated
175 on TLS startup and looks for a tls authenticator. */
176
177 static smtp_cmd_list cmd_list[] = {
178   /* name         len                     cmd     has_arg is_mail_cmd */
179
180   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
181   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
182   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
183   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
184   #ifdef SUPPORT_TLS
185   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
186   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
187   #endif
188
189 /* If you change anything above here, also fix the definitions below. */
190
191   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
192   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
193   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
194   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
195   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
196   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
197   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
198   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
199   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
200   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
201 };
202
203 static smtp_cmd_list *cmd_list_end =
204   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
205
206 #define CMD_LIST_RSET      0
207 #define CMD_LIST_HELO      1
208 #define CMD_LIST_EHLO      2
209 #define CMD_LIST_AUTH      3
210 #define CMD_LIST_STARTTLS  4
211 #define CMD_LIST_TLS_AUTH  5
212
213 /* This list of names is used for performing the smtp_no_mail logging action.
214 It must be kept in step with the SCH_xxx enumerations. */
215
216 static uschar *smtp_names[] =
217   {
218   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
219   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
220   US"STARTTLS", US"VRFY" };
221
222 static uschar *protocols_local[] = {
223   US"local-smtp",        /* HELO */
224   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
225   US"local-esmtp",       /* EHLO */
226   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
227   US"local-esmtpa",      /* EHLO->AUTH */
228   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
229   };
230 static uschar *protocols[] = {
231   US"smtp",              /* HELO */
232   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
233   US"esmtp",             /* EHLO */
234   US"esmtps",            /* EHLO->STARTTLS->EHLO */
235   US"esmtpa",            /* EHLO->AUTH */
236   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
237   };
238
239 #define pnormal  0
240 #define pextend  2
241 #define pcrpted  1  /* added to pextend or pnormal */
242 #define pauthed  2  /* added to pextend */
243
244 /* Sanity check and validate optional args to MAIL FROM: envelope */
245 enum {
246   ENV_MAIL_OPT_NULL,
247   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
248 #ifndef DISABLE_PRDR
249   ENV_MAIL_OPT_PRDR,
250 #endif
251   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
252 #ifdef SUPPORT_I18N
253   ENV_MAIL_OPT_UTF8,
254 #endif
255   };
256 typedef struct {
257   uschar *   name;  /* option requested during MAIL cmd */
258   int       value;  /* enum type */
259   BOOL need_value;  /* TRUE requires value (name=value pair format)
260                        FALSE is a singleton */
261   } env_mail_type_t;
262 static env_mail_type_t env_mail_type_list[] = {
263     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
264     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
265     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
266 #ifndef DISABLE_PRDR
267     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
268 #endif
269     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
270     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
271 #ifdef SUPPORT_I18N
272     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
273 #endif
274     /* keep this the last entry */
275     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
276   };
277
278 /* When reading SMTP from a remote host, we have to use our own versions of the
279 C input-reading functions, in order to be able to flush the SMTP output only
280 when about to read more data from the socket. This is the only way to get
281 optimal performance when the client is using pipelining. Flushing for every
282 command causes a separate packet and reply packet each time; saving all the
283 responses up (when pipelining) combines them into one packet and one response.
284
285 For simplicity, these functions are used for *all* SMTP input, not only when
286 receiving over a socket. However, after setting up a secure socket (SSL), input
287 is read via the OpenSSL library, and another set of functions is used instead
288 (see tls.c).
289
290 These functions are set in the receive_getc etc. variables and called with the
291 same interface as the C functions. However, since there can only ever be
292 one incoming SMTP call, we just use a single buffer and flags. There is no need
293 to implement a complicated private FILE-like structure.*/
294
295 static uschar *smtp_inbuffer;
296 static uschar *smtp_inptr;
297 static uschar *smtp_inend;
298 static int     smtp_had_eof;
299 static int     smtp_had_error;
300
301
302 /* forward declarations */
303 int bdat_ungetc(int ch);
304 static int smtp_read_command(BOOL check_sync);
305 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
306 static void smtp_quit_handler(uschar **, uschar **);
307 static void smtp_rset_handler(void);
308
309 /*************************************************
310 *          SMTP version of getc()                *
311 *************************************************/
312
313 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
314 it flushes the output, and refills the buffer, with a timeout. The signal
315 handler is set appropriately by the calling function. This function is not used
316 after a connection has negotated itself into an TLS/SSL state.
317
318 Arguments:  none
319 Returns:    the next character or EOF
320 */
321
322 int
323 smtp_getc(void)
324 {
325 if (smtp_inptr >= smtp_inend)
326   {
327   int rc, save_errno;
328   if (!smtp_out) return EOF;
329   fflush(smtp_out);
330   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
331   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
332   save_errno = errno;
333   alarm(0);
334   if (rc <= 0)
335     {
336     /* Must put the error text in fixed store, because this might be during
337     header reading, where it releases unused store above the header. */
338     if (rc < 0)
339       {
340       smtp_had_error = save_errno;
341       smtp_read_error = string_copy_malloc(
342         string_sprintf(" (error: %s)", strerror(save_errno)));
343       }
344     else smtp_had_eof = 1;
345     return EOF;
346     }
347 #ifndef DISABLE_DKIM
348   dkim_exim_verify_feed(smtp_inbuffer, rc);
349 #endif
350   smtp_inend = smtp_inbuffer + rc;
351   smtp_inptr = smtp_inbuffer;
352   }
353 return *smtp_inptr++;
354 }
355
356 void
357 smtp_get_cache(void)
358 {
359 #ifndef DISABLE_DKIM
360 int n = smtp_inend - smtp_inptr;
361 if (n > 0)
362   dkim_exim_verify_feed(smtp_inptr, n);
363 #endif
364 }
365
366
367 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
368 previous BDAT chunk and getting new ones when we run out.  Uses the
369 underlying smtp_getc or tls_getc both for that and for getting the
370 (buffered) data byte.  EOD signals (an expected) no further data.
371 ERR signals a protocol error, and EOF a closed input stream.
372
373 Called from read_bdat_smtp() in receive.c for the message body, but also
374 by the headers read loop in receive_msg(); manipulates chunking_state
375 to handle the BDAT command/response.
376 Placed here due to the correlation with the above smtp_getc(), which it wraps,
377 and also by the need to do smtp command/response handling.
378
379 Arguments:  none
380 Returns:    the next character or ERR, EOD or EOF
381 */
382
383 int
384 bdat_getc(void)
385 {
386 uschar * user_msg = NULL;
387 uschar * log_msg;
388
389 for(;;)
390   {
391   if (chunking_data_left-- > 0)
392     return lwr_receive_getc();
393
394   receive_getc = lwr_receive_getc;
395   receive_ungetc = lwr_receive_ungetc;
396
397   /* If not the last, ack the received chunk.  The last response is delayed
398   until after the data ACL decides on it */
399
400   if (chunking_state == CHUNKING_LAST)
401     {
402 #ifndef DISABLE_DKIM
403     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
404 #endif
405     return EOD;
406     }
407
408   chunking_state = CHUNKING_OFFERED;
409   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
410
411   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
412   QUIT, RSET or NOOP but handling them seems obvious */
413
414 next_cmd:
415   switch(smtp_read_command(TRUE))
416     {
417     default:
418       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
419         US"only BDAT permissible after non-LAST BDAT");
420
421   repeat_until_rset:
422       switch(smtp_read_command(TRUE))
423         {
424         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
425         case EOF_CMD:   return EOF;
426         case RSET_CMD:  smtp_rset_handler(); return ERR;
427         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
428                                           US"only RSET accepted now") > 0)
429                           return EOF;
430                         goto repeat_until_rset;
431         }
432
433     case QUIT_CMD:
434       smtp_quit_handler(&user_msg, &log_msg);
435       /*FALLTHROUGH*/
436     case EOF_CMD:
437       return EOF;
438
439     case RSET_CMD:
440       smtp_rset_handler();
441       return ERR;
442
443     case NOOP_CMD:
444       HAD(SCH_NOOP);
445       smtp_printf("250 OK\r\n");
446       goto next_cmd;
447
448     case BDAT_CMD:
449       {
450       int n;
451
452       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
453         {
454         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
455           US"missing size for BDAT command");
456         return ERR;
457         }
458       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
459         ? CHUNKING_LAST : CHUNKING_ACTIVE;
460       chunking_data_left = chunking_datasize;
461
462       if (chunking_datasize == 0)
463         if (chunking_state == CHUNKING_LAST)
464           return EOD;
465         else
466           {
467           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
468             US"zero size for BDAT command");
469           goto repeat_until_rset;
470           }
471
472       receive_getc = bdat_getc;
473       receive_ungetc = bdat_ungetc;
474       break;    /* to top of main loop */
475       }
476     }
477   }
478 }
479
480 static void
481 bdat_flush_data(void)
482 {
483 while (chunking_data_left-- > 0)
484   if (lwr_receive_getc() < 0)
485     break;
486
487 receive_getc = lwr_receive_getc;
488 receive_ungetc = lwr_receive_ungetc;
489
490 if (chunking_state != CHUNKING_LAST)
491   chunking_state = CHUNKING_OFFERED;
492 }
493
494
495
496
497 /*************************************************
498 *          SMTP version of ungetc()              *
499 *************************************************/
500
501 /* Puts a character back in the input buffer. Only ever
502 called once.
503
504 Arguments:
505   ch           the character
506
507 Returns:       the character
508 */
509
510 int
511 smtp_ungetc(int ch)
512 {
513 *--smtp_inptr = ch;
514 return ch;
515 }
516
517
518 int
519 bdat_ungetc(int ch)
520 {
521 chunking_data_left++;
522 return lwr_receive_ungetc(ch);
523 }
524
525
526
527 /*************************************************
528 *          SMTP version of feof()                *
529 *************************************************/
530
531 /* Tests for a previous EOF
532
533 Arguments:     none
534 Returns:       non-zero if the eof flag is set
535 */
536
537 int
538 smtp_feof(void)
539 {
540 return smtp_had_eof;
541 }
542
543
544
545
546 /*************************************************
547 *          SMTP version of ferror()              *
548 *************************************************/
549
550 /* Tests for a previous read error, and returns with errno
551 restored to what it was when the error was detected.
552
553 Arguments:     none
554 Returns:       non-zero if the error flag is set
555 */
556
557 int
558 smtp_ferror(void)
559 {
560 errno = smtp_had_error;
561 return smtp_had_error;
562 }
563
564
565
566 /*************************************************
567 *      Test for characters in the SMTP buffer    *
568 *************************************************/
569
570 /* Used at the end of a message
571
572 Arguments:     none
573 Returns:       TRUE/FALSE
574 */
575
576 BOOL
577 smtp_buffered(void)
578 {
579 return smtp_inptr < smtp_inend;
580 }
581
582
583
584 /*************************************************
585 *     Write formatted string to SMTP channel     *
586 *************************************************/
587
588 /* This is a separate function so that we don't have to repeat everything for
589 TLS support or debugging. It is global so that the daemon and the
590 authentication functions can use it. It does not return any error indication,
591 because major problems such as dropped connections won't show up till an output
592 flush for non-TLS connections. The smtp_fflush() function is available for
593 checking that: for convenience, TLS output errors are remembered here so that
594 they are also picked up later by smtp_fflush().
595
596 Arguments:
597   format      format string
598   ...         optional arguments
599
600 Returns:      nothing
601 */
602
603 void
604 smtp_printf(const char *format, ...)
605 {
606 va_list ap;
607
608 va_start(ap, format);
609 smtp_vprintf(format, ap);
610 va_end(ap);
611 }
612
613 /* This is split off so that verify.c:respond_printf() can, in effect, call
614 smtp_printf(), bearing in mind that in C a vararg function can't directly
615 call another vararg function, only a function which accepts a va_list. */
616
617 void
618 smtp_vprintf(const char *format, va_list ap)
619 {
620 BOOL yield;
621
622 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
623
624 DEBUG(D_receive)
625   {
626   void *reset_point = store_get(0);
627   uschar *msg_copy, *cr, *end;
628   msg_copy = string_copy(big_buffer);
629   end = msg_copy + Ustrlen(msg_copy);
630   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
631   memmove(cr, cr + 1, (end--) - cr);
632   debug_printf("SMTP>> %s", msg_copy);
633   store_reset(reset_point);
634   }
635
636 if (!yield)
637   {
638   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
639   smtp_closedown(US"Unexpected error");
640   exim_exit(EXIT_FAILURE);
641   }
642
643 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
644 have had the same. Note: this code is also present in smtp_respond(). It would
645 be tidier to have it only in one place, but when it was added, it was easier to
646 do it that way, so as not to have to mess with the code for the RCPT command,
647 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
648
649 if (rcpt_in_progress)
650   {
651   if (rcpt_smtp_response == NULL)
652     rcpt_smtp_response = string_copy(big_buffer);
653   else if (rcpt_smtp_response_same &&
654            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
655     rcpt_smtp_response_same = FALSE;
656   rcpt_in_progress = FALSE;
657   }
658
659 /* Now write the string */
660
661 #ifdef SUPPORT_TLS
662 if (tls_in.active >= 0)
663   {
664   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
665     smtp_write_error = -1;
666   }
667 else
668 #endif
669
670 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
671 }
672
673
674
675 /*************************************************
676 *        Flush SMTP out and check for error      *
677 *************************************************/
678
679 /* This function isn't currently used within Exim (it detects errors when it
680 tries to read the next SMTP input), but is available for use in local_scan().
681 For non-TLS connections, it flushes the output and checks for errors. For
682 TLS-connections, it checks for a previously-detected TLS write error.
683
684 Arguments:  none
685 Returns:    0 for no error; -1 after an error
686 */
687
688 int
689 smtp_fflush(void)
690 {
691 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
692 return smtp_write_error;
693 }
694
695
696
697 /*************************************************
698 *          SMTP command read timeout             *
699 *************************************************/
700
701 /* Signal handler for timing out incoming SMTP commands. This attempts to
702 finish off tidily.
703
704 Argument: signal number (SIGALRM)
705 Returns:  nothing
706 */
707
708 static void
709 command_timeout_handler(int sig)
710 {
711 sig = sig;    /* Keep picky compilers happy */
712 log_write(L_lost_incoming_connection,
713           LOG_MAIN, "SMTP command timeout on%s connection from %s",
714           (tls_in.active >= 0)? " TLS" : "",
715           host_and_ident(FALSE));
716 if (smtp_batched_input)
717   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
718 smtp_notquit_exit(US"command-timeout", US"421",
719   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
720 exim_exit(EXIT_FAILURE);
721 }
722
723
724
725 /*************************************************
726 *               SIGTERM received                 *
727 *************************************************/
728
729 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
730
731 Argument: signal number (SIGTERM)
732 Returns:  nothing
733 */
734
735 static void
736 command_sigterm_handler(int sig)
737 {
738 sig = sig;    /* Keep picky compilers happy */
739 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
740 if (smtp_batched_input)
741   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
742 smtp_notquit_exit(US"signal-exit", US"421",
743   US"%s: Service not available - closing connection", smtp_active_hostname);
744 exim_exit(EXIT_FAILURE);
745 }
746
747
748
749
750 #ifdef SUPPORT_PROXY
751 /*************************************************
752 *     Restore socket timeout to previous value   *
753 *************************************************/
754 /* If the previous value was successfully retrieved, restore
755 it before returning control to the non-proxy routines
756
757 Arguments: fd     - File descriptor for input
758            get_ok - Successfully retrieved previous values
759            tvtmp  - Time struct with previous values
760            vslen  - Length of time struct
761 Returns:   none
762 */
763 static void
764 restore_socket_timeout(int fd, int get_ok, struct timeval tvtmp, socklen_t vslen)
765 {
766 if (get_ok == 0)
767   setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp, vslen);
768 }
769
770 /*************************************************
771 *       Check if host is required proxy host     *
772 *************************************************/
773 /* The function determines if inbound host will be a regular smtp host
774 or if it is configured that it must use Proxy Protocol.
775
776 Arguments: none
777 Returns:   bool
778 */
779
780 static BOOL
781 check_proxy_protocol_host()
782 {
783 int rc;
784 /* Cannot configure local connection as a proxy inbound */
785 if (sender_host_address == NULL) return proxy_session;
786
787 rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
788                            sender_host_address, NULL);
789 if (rc == OK)
790   {
791   DEBUG(D_receive)
792     debug_printf("Detected proxy protocol configured host\n");
793   proxy_session = TRUE;
794   }
795 return proxy_session;
796 }
797
798
799 /*************************************************
800 *         Setup host for proxy protocol          *
801 *************************************************/
802 /* The function configures the connection based on a header from the
803 inbound host to use Proxy Protocol. The specification is very exact
804 so exit with an error if do not find the exact required pieces. This
805 includes an incorrect number of spaces separating args.
806
807 Arguments: none
808 Returns:   int
809 */
810
811 static BOOL
812 setup_proxy_protocol_host()
813 {
814 union {
815   struct {
816     uschar line[108];
817   } v1;
818   struct {
819     uschar sig[12];
820     uint8_t ver_cmd;
821     uint8_t fam;
822     uint16_t len;
823     union {
824       struct { /* TCP/UDP over IPv4, len = 12 */
825         uint32_t src_addr;
826         uint32_t dst_addr;
827         uint16_t src_port;
828         uint16_t dst_port;
829       } ip4;
830       struct { /* TCP/UDP over IPv6, len = 36 */
831         uint8_t  src_addr[16];
832         uint8_t  dst_addr[16];
833         uint16_t src_port;
834         uint16_t dst_port;
835       } ip6;
836       struct { /* AF_UNIX sockets, len = 216 */
837         uschar   src_addr[108];
838         uschar   dst_addr[108];
839       } unx;
840     } addr;
841   } v2;
842 } hdr;
843
844 /* Temp variables used in PPv2 address:port parsing */
845 uint16_t tmpport;
846 char tmpip[INET_ADDRSTRLEN];
847 struct sockaddr_in tmpaddr;
848 char tmpip6[INET6_ADDRSTRLEN];
849 struct sockaddr_in6 tmpaddr6;
850
851 int get_ok = 0;
852 int size, ret, fd;
853 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
854 uschar *iptype;  /* To display debug info */
855 struct timeval tv;
856 socklen_t vslen = 0;
857 struct timeval tvtmp;
858
859 vslen = sizeof(struct timeval);
860
861 fd = fileno(smtp_in);
862
863 /* Save current socket timeout values */
864 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp,
865                     &vslen);
866
867 /* Proxy Protocol host must send header within a short time
868 (default 3 seconds) or it's considered invalid */
869 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
870 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
871 setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tv,
872            sizeof(struct timeval));
873
874 do
875   {
876   /* The inbound host was declared to be a Proxy Protocol host, so
877      don't do a PEEK into the data, actually slurp it up. */
878   ret = recv(fd, &hdr, sizeof(hdr), 0);
879   }
880   while (ret == -1 && errno == EINTR);
881
882 if (ret == -1)
883   {
884   restore_socket_timeout(fd, get_ok, tvtmp, vslen);
885   return (errno == EAGAIN) ? 0 : ERRNO_PROXYFAIL;
886   }
887
888 if (ret >= 16 &&
889     memcmp(&hdr.v2, v2sig, 12) == 0)
890   {
891   uint8_t ver, cmd;
892
893   /* May 2014: haproxy combined the version and command into one byte to
894      allow two full bytes for the length field in order to proxy SSL
895      connections.  SSL Proxy is not supported in this version of Exim, but
896      must still seperate values here. */
897   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
898   cmd = (hdr.v2.ver_cmd & 0x0f);
899
900   if (ver != 0x02)
901     {
902     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
903     goto proxyfail;
904     }
905   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
906   /* The v2 header will always be 16 bytes per the spec. */
907   size = 16 + hdr.v2.len;
908   if (ret < size)
909     {
910     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
911                                   ret, size);
912     goto proxyfail;
913     }
914   switch (cmd)
915     {
916     case 0x01: /* PROXY command */
917       switch (hdr.v2.fam)
918         {
919         case 0x11:  /* TCPv4 address type */
920           iptype = US"IPv4";
921           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
922           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
923           if (!string_is_ip_address(US tmpip,NULL))
924             {
925             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
926             return ERRNO_PROXYFAIL;
927             }
928           proxy_local_address = sender_host_address;
929           sender_host_address = string_copy(US tmpip);
930           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
931           proxy_local_port    = sender_host_port;
932           sender_host_port    = tmpport;
933           /* Save dest ip/port */
934           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
935           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
936           if (!string_is_ip_address(US tmpip,NULL))
937             {
938             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
939             return ERRNO_PROXYFAIL;
940             }
941           proxy_external_address = string_copy(US tmpip);
942           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
943           proxy_external_port  = tmpport;
944           goto done;
945         case 0x21:  /* TCPv6 address type */
946           iptype = US"IPv6";
947           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
948           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
949           if (!string_is_ip_address(US tmpip6,NULL))
950             {
951             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
952             return ERRNO_PROXYFAIL;
953             }
954           proxy_local_address = sender_host_address;
955           sender_host_address = string_copy(US tmpip6);
956           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
957           proxy_local_port    = sender_host_port;
958           sender_host_port    = tmpport;
959           /* Save dest ip/port */
960           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
961           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
962           if (!string_is_ip_address(US tmpip6,NULL))
963             {
964             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
965             return ERRNO_PROXYFAIL;
966             }
967           proxy_external_address = string_copy(US tmpip6);
968           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
969           proxy_external_port  = tmpport;
970           goto done;
971         default:
972           DEBUG(D_receive)
973             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
974                          hdr.v2.fam);
975           goto proxyfail;
976         }
977       /* Unsupported protocol, keep local connection address */
978       break;
979     case 0x00: /* LOCAL command */
980       /* Keep local connection address for LOCAL */
981       break;
982     default:
983       DEBUG(D_receive)
984         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
985       goto proxyfail;
986     }
987   }
988 else if (ret >= 8 &&
989          memcmp(hdr.v1.line, "PROXY", 5) == 0)
990   {
991   uschar *p = string_copy(hdr.v1.line);
992   uschar *end = memchr(p, '\r', ret - 1);
993   uschar *sp;     /* Utility variables follow */
994   int     tmp_port;
995   char   *endc;
996
997   if (!end || end[1] != '\n')
998     {
999     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1000     goto proxyfail;
1001     }
1002   *end = '\0'; /* Terminate the string */
1003   size = end + 2 - hdr.v1.line; /* Skip header + CRLF */
1004   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1005   /* Step through the string looking for the required fields. Ensure
1006      strict adherance to required formatting, exit for any error. */
1007   p += 5;
1008   if (!isspace(*(p++)))
1009     {
1010     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1011     goto proxyfail;
1012     }
1013   if (!Ustrncmp(p, CCS"TCP4", 4))
1014     iptype = US"IPv4";
1015   else if (!Ustrncmp(p,CCS"TCP6", 4))
1016     iptype = US"IPv6";
1017   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1018     {
1019     iptype = US"Unknown";
1020     goto done;
1021     }
1022   else
1023     {
1024     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1025     goto proxyfail;
1026     }
1027
1028   p += Ustrlen(iptype);
1029   if (!isspace(*(p++)))
1030     {
1031     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1032     goto proxyfail;
1033     }
1034   /* Find the end of the arg */
1035   if ((sp = Ustrchr(p, ' ')) == NULL)
1036     {
1037     DEBUG(D_receive)
1038       debug_printf("Did not find proxied src %s\n", iptype);
1039     goto proxyfail;
1040     }
1041   *sp = '\0';
1042   if(!string_is_ip_address(p,NULL))
1043     {
1044     DEBUG(D_receive)
1045       debug_printf("Proxied src arg is not an %s address\n", iptype);
1046     goto proxyfail;
1047     }
1048   proxy_local_address = sender_host_address;
1049   sender_host_address = p;
1050   p = sp + 1;
1051   if ((sp = Ustrchr(p, ' ')) == NULL)
1052     {
1053     DEBUG(D_receive)
1054       debug_printf("Did not find proxy dest %s\n", iptype);
1055     goto proxyfail;
1056     }
1057   *sp = '\0';
1058   if(!string_is_ip_address(p,NULL))
1059     {
1060     DEBUG(D_receive)
1061       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1062     goto proxyfail;
1063     }
1064   proxy_external_address = p;
1065   p = sp + 1;
1066   if ((sp = Ustrchr(p, ' ')) == NULL)
1067     {
1068     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1069     goto proxyfail;
1070     }
1071   *sp = '\0';
1072   tmp_port = strtol(CCS p,&endc,10);
1073   if (*endc || tmp_port == 0)
1074     {
1075     DEBUG(D_receive)
1076       debug_printf("Proxied src port '%s' not an integer\n", p);
1077     goto proxyfail;
1078     }
1079   proxy_local_port = sender_host_port;
1080   sender_host_port = tmp_port;
1081   p = sp + 1;
1082   if ((sp = Ustrchr(p, '\0')) == NULL)
1083     {
1084     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1085     goto proxyfail;
1086     }
1087   tmp_port = strtol(CCS p,&endc,10);
1088   if (*endc || tmp_port == 0)
1089     {
1090     DEBUG(D_receive)
1091       debug_printf("Proxy dest port '%s' not an integer\n", p);
1092     goto proxyfail;
1093     }
1094   proxy_external_port = tmp_port;
1095   /* Already checked for /r /n above. Good V1 header received. */
1096   goto done;
1097   }
1098 else
1099   {
1100   /* Wrong protocol */
1101   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1102   goto proxyfail;
1103   }
1104
1105 proxyfail:
1106 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1107 /* Don't flush any potential buffer contents. Any input should cause a
1108    synchronization failure */
1109 return FALSE;
1110
1111 done:
1112 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1113 DEBUG(D_receive)
1114   debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1115 return proxy_session;
1116 }
1117 #endif
1118
1119 /*************************************************
1120 *           Read one command line                *
1121 *************************************************/
1122
1123 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1124 There are sites that don't do this, and in any case internal SMTP probably
1125 should check only for LF. Consequently, we check here for LF only. The line
1126 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1127 an unknown command. The command is read into the global smtp_cmd_buffer so that
1128 it is available via $smtp_command.
1129
1130 The character reading routine sets up a timeout for each block actually read
1131 from the input (which may contain more than one command). We set up a special
1132 signal handler that closes down the session on a timeout. Control does not
1133 return when it runs.
1134
1135 Arguments:
1136   check_sync   if TRUE, check synchronization rules if global option is TRUE
1137
1138 Returns:       a code identifying the command (enumerated above)
1139 */
1140
1141 static int
1142 smtp_read_command(BOOL check_sync)
1143 {
1144 int c;
1145 int ptr = 0;
1146 smtp_cmd_list *p;
1147 BOOL hadnull = FALSE;
1148
1149 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1150
1151 while ((c = (receive_getc)()) != '\n' && c != EOF)
1152   {
1153   if (ptr >= smtp_cmd_buffer_size)
1154     {
1155     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1156     return OTHER_CMD;
1157     }
1158   if (c == 0)
1159     {
1160     hadnull = TRUE;
1161     c = '?';
1162     }
1163   smtp_cmd_buffer[ptr++] = c;
1164   }
1165
1166 receive_linecount++;    /* For BSMTP errors */
1167 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1168
1169 /* If hit end of file, return pseudo EOF command. Whether we have a
1170 part-line already read doesn't matter, since this is an error state. */
1171
1172 if (c == EOF) return EOF_CMD;
1173
1174 /* Remove any CR and white space at the end of the line, and terminate the
1175 string. */
1176
1177 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1178 smtp_cmd_buffer[ptr] = 0;
1179
1180 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1181
1182 /* NULLs are not allowed in SMTP commands */
1183
1184 if (hadnull) return BADCHAR_CMD;
1185
1186 /* Scan command list and return identity, having set the data pointer
1187 to the start of the actual data characters. Check for SMTP synchronization
1188 if required. */
1189
1190 for (p = cmd_list; p < cmd_list_end; p++)
1191   {
1192   #ifdef SUPPORT_PROXY
1193   /* Only allow QUIT command if Proxy Protocol parsing failed */
1194   if (proxy_session && proxy_session_failed)
1195     {
1196     if (p->cmd != QUIT_CMD)
1197       continue;
1198     }
1199   #endif
1200   if (  p->len
1201      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1202      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1203         || smtp_cmd_buffer[p->len] == 0
1204         || smtp_cmd_buffer[p->len] == ' '
1205      )  )
1206     {
1207     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1208         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1209         check_sync &&                                  /* Local flag set */
1210         smtp_enforce_sync &&                           /* Global flag set */
1211         sender_host_address != NULL &&                 /* Not local input */
1212         !sender_host_notsocket)                        /* Really is a socket */
1213       return BADSYN_CMD;
1214
1215     /* The variables $smtp_command and $smtp_command_argument point into the
1216     unmodified input buffer. A copy of the latter is taken for actual
1217     processing, so that it can be chopped up into separate parts if necessary,
1218     for example, when processing a MAIL command options such as SIZE that can
1219     follow the sender address. */
1220
1221     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1222     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1223     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1224     smtp_cmd_data = smtp_data_buffer;
1225
1226     /* Count non-mail commands from those hosts that are controlled in this
1227     way. The default is all hosts. We don't waste effort checking the list
1228     until we get a non-mail command, but then cache the result to save checking
1229     again. If there's a DEFER while checking the host, assume it's in the list.
1230
1231     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1232     start of each incoming message by fiddling with the value in the table. */
1233
1234     if (!p->is_mail_cmd)
1235       {
1236       if (count_nonmail == TRUE_UNSET) count_nonmail =
1237         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1238       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1239         return TOO_MANY_NONMAIL_CMD;
1240       }
1241
1242     /* If there is data for a command that does not expect it, generate the
1243     error here. */
1244
1245     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1246     }
1247   }
1248
1249 #ifdef SUPPORT_PROXY
1250 /* Only allow QUIT command if Proxy Protocol parsing failed */
1251 if (proxy_session && proxy_session_failed)
1252   return PROXY_FAIL_IGNORE_CMD;
1253 #endif
1254
1255 /* Enforce synchronization for unknown commands */
1256
1257 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1258     check_sync &&                                  /* Local flag set */
1259     smtp_enforce_sync &&                           /* Global flag set */
1260     sender_host_address != NULL &&                 /* Not local input */
1261     !sender_host_notsocket)                        /* Really is a socket */
1262   return BADSYN_CMD;
1263
1264 return OTHER_CMD;
1265 }
1266
1267
1268
1269 /*************************************************
1270 *          Recheck synchronization               *
1271 *************************************************/
1272
1273 /* Synchronization checks can never be perfect because a packet may be on its
1274 way but not arrived when the check is done. Such checks can in any case only be
1275 done when TLS is not in use. Normally, the checks happen when commands are
1276 read: Exim ensures that there is no more input in the input buffer. In normal
1277 cases, the response to the command will be fast, and there is no further check.
1278
1279 However, for some commands an ACL is run, and that can include delays. In those
1280 cases, it is useful to do another check on the input just before sending the
1281 response. This also applies at the start of a connection. This function does
1282 that check by means of the select() function, as long as the facility is not
1283 disabled or inappropriate. A failure of select() is ignored.
1284
1285 When there is unwanted input, we read it so that it appears in the log of the
1286 error.
1287
1288 Arguments: none
1289 Returns:   TRUE if all is well; FALSE if there is input pending
1290 */
1291
1292 static BOOL
1293 check_sync(void)
1294 {
1295 int fd, rc;
1296 fd_set fds;
1297 struct timeval tzero;
1298
1299 if (!smtp_enforce_sync || sender_host_address == NULL ||
1300     sender_host_notsocket || tls_in.active >= 0)
1301   return TRUE;
1302
1303 fd = fileno(smtp_in);
1304 FD_ZERO(&fds);
1305 FD_SET(fd, &fds);
1306 tzero.tv_sec = 0;
1307 tzero.tv_usec = 0;
1308 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
1309
1310 if (rc <= 0) return TRUE;     /* Not ready to read */
1311 rc = smtp_getc();
1312 if (rc < 0) return TRUE;      /* End of file or error */
1313
1314 smtp_ungetc(rc);
1315 rc = smtp_inend - smtp_inptr;
1316 if (rc > 150) rc = 150;
1317 smtp_inptr[rc] = 0;
1318 return FALSE;
1319 }
1320
1321
1322
1323 /*************************************************
1324 *          Forced closedown of call              *
1325 *************************************************/
1326
1327 /* This function is called from log.c when Exim is dying because of a serious
1328 disaster, and also from some other places. If an incoming non-batched SMTP
1329 channel is open, it swallows the rest of the incoming message if in the DATA
1330 phase, sends the reply string, and gives an error to all subsequent commands
1331 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1332 smtp_in.
1333
1334 Arguments:
1335   message   SMTP reply string to send, excluding the code
1336
1337 Returns:    nothing
1338 */
1339
1340 void
1341 smtp_closedown(uschar *message)
1342 {
1343 if (smtp_in == NULL || smtp_batched_input) return;
1344 receive_swallow_smtp();
1345 smtp_printf("421 %s\r\n", message);
1346
1347 for (;;) switch(smtp_read_command(FALSE))
1348   {
1349   case EOF_CMD:
1350   return;
1351
1352   case QUIT_CMD:
1353   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1354   mac_smtp_fflush();
1355   return;
1356
1357   case RSET_CMD:
1358   smtp_printf("250 Reset OK\r\n");
1359   break;
1360
1361   default:
1362   smtp_printf("421 %s\r\n", message);
1363   break;
1364   }
1365 }
1366
1367
1368
1369
1370 /*************************************************
1371 *        Set up connection info for logging      *
1372 *************************************************/
1373
1374 /* This function is called when logging information about an SMTP connection.
1375 It sets up appropriate source information, depending on the type of connection.
1376 If sender_fullhost is NULL, we are at a very early stage of the connection;
1377 just use the IP address.
1378
1379 Argument:    none
1380 Returns:     a string describing the connection
1381 */
1382
1383 uschar *
1384 smtp_get_connection_info(void)
1385 {
1386 uschar *hostname = (sender_fullhost == NULL)?
1387   sender_host_address : sender_fullhost;
1388
1389 if (host_checking)
1390   return string_sprintf("SMTP connection from %s", hostname);
1391
1392 if (sender_host_unknown || sender_host_notsocket)
1393   return string_sprintf("SMTP connection from %s", sender_ident);
1394
1395 if (is_inetd)
1396   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1397
1398 if (LOGGING(incoming_interface) && interface_address != NULL)
1399   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1400     interface_address, interface_port);
1401
1402 return string_sprintf("SMTP connection from %s", hostname);
1403 }
1404
1405
1406
1407 #ifdef SUPPORT_TLS
1408 /* Append TLS-related information to a log line
1409
1410 Arguments:
1411   s             String under construction: allocated string to extend, or NULL
1412   sizep         Pointer to current allocation size (update on return), or NULL
1413   ptrp          Pointer to index for new entries in string (update on return), or NULL
1414
1415 Returns:        Allocated string or NULL
1416 */
1417 static uschar *
1418 s_tlslog(uschar * s, int * sizep, int * ptrp)
1419 {
1420   int size = sizep ? *sizep : 0;
1421   int ptr = ptrp ? *ptrp : 0;
1422
1423   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1424     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1425   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1426     s = string_append(s, &size, &ptr, 2, US" CV=",
1427       tls_in.certificate_verified? "yes":"no");
1428   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1429     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1430       string_printing(tls_in.peerdn), US"\"");
1431   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1432     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1433       string_printing(tls_in.sni), US"\"");
1434
1435   if (s)
1436     {
1437     s[ptr] = '\0';
1438     if (sizep) *sizep = size;
1439     if (ptrp) *ptrp = ptr;
1440     }
1441   return s;
1442 }
1443 #endif
1444
1445 /*************************************************
1446 *      Log lack of MAIL if so configured         *
1447 *************************************************/
1448
1449 /* This function is called when an SMTP session ends. If the log selector
1450 smtp_no_mail is set, write a log line giving some details of what has happened
1451 in the SMTP session.
1452
1453 Arguments:   none
1454 Returns:     nothing
1455 */
1456
1457 void
1458 smtp_log_no_mail(void)
1459 {
1460 int size, ptr, i;
1461 uschar *s, *sep;
1462
1463 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1464   return;
1465
1466 s = NULL;
1467 size = ptr = 0;
1468
1469 if (sender_host_authenticated != NULL)
1470   {
1471   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1472   if (authenticated_id != NULL)
1473     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1474   }
1475
1476 #ifdef SUPPORT_TLS
1477 s = s_tlslog(s, &size, &ptr);
1478 #endif
1479
1480 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1481   US" C=..." : US" C=";
1482 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1483   {
1484   if (smtp_connection_had[i] != SCH_NONE)
1485     {
1486     s = string_append(s, &size, &ptr, 2, sep,
1487       smtp_names[smtp_connection_had[i]]);
1488     sep = US",";
1489     }
1490   }
1491
1492 for (i = 0; i < smtp_ch_index; i++)
1493   {
1494   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1495   sep = US",";
1496   }
1497
1498 if (s != NULL) s[ptr] = 0; else s = US"";
1499 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1500   host_and_ident(FALSE),
1501   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1502   s);
1503 }
1504
1505
1506
1507 /*************************************************
1508 *   Check HELO line and set sender_helo_name     *
1509 *************************************************/
1510
1511 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1512 the domain name of the sending host, or an ip literal in square brackets. The
1513 arrgument is placed in sender_helo_name, which is in malloc store, because it
1514 must persist over multiple incoming messages. If helo_accept_junk is set, this
1515 host is permitted to send any old junk (needed for some broken hosts).
1516 Otherwise, helo_allow_chars can be used for rogue characters in general
1517 (typically people want to let in underscores).
1518
1519 Argument:
1520   s       the data portion of the line (already past any white space)
1521
1522 Returns:  TRUE or FALSE
1523 */
1524
1525 static BOOL
1526 check_helo(uschar *s)
1527 {
1528 uschar *start = s;
1529 uschar *end = s + Ustrlen(s);
1530 BOOL yield = helo_accept_junk;
1531
1532 /* Discard any previous helo name */
1533
1534 if (sender_helo_name != NULL)
1535   {
1536   store_free(sender_helo_name);
1537   sender_helo_name = NULL;
1538   }
1539
1540 /* Skip tests if junk is permitted. */
1541
1542 if (!yield)
1543   {
1544   /* Allow the new standard form for IPv6 address literals, namely,
1545   [IPv6:....], and because someone is bound to use it, allow an equivalent
1546   IPv4 form. Allow plain addresses as well. */
1547
1548   if (*s == '[')
1549     {
1550     if (end[-1] == ']')
1551       {
1552       end[-1] = 0;
1553       if (strncmpic(s, US"[IPv6:", 6) == 0)
1554         yield = (string_is_ip_address(s+6, NULL) == 6);
1555       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1556         yield = (string_is_ip_address(s+6, NULL) == 4);
1557       else
1558         yield = (string_is_ip_address(s+1, NULL) != 0);
1559       end[-1] = ']';
1560       }
1561     }
1562
1563   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1564   that have been configured (usually underscore - sigh). */
1565
1566   else if (*s != 0)
1567     {
1568     yield = TRUE;
1569     while (*s != 0)
1570       {
1571       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1572           Ustrchr(helo_allow_chars, *s) == NULL)
1573         {
1574         yield = FALSE;
1575         break;
1576         }
1577       s++;
1578       }
1579     }
1580   }
1581
1582 /* Save argument if OK */
1583
1584 if (yield) sender_helo_name = string_copy_malloc(start);
1585 return yield;
1586 }
1587
1588
1589
1590
1591
1592 /*************************************************
1593 *         Extract SMTP command option            *
1594 *************************************************/
1595
1596 /* This function picks the next option setting off the end of smtp_cmd_data. It
1597 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1598 things that can appear there.
1599
1600 Arguments:
1601    name           point this at the name
1602    value          point this at the data string
1603
1604 Returns:          TRUE if found an option
1605 */
1606
1607 static BOOL
1608 extract_option(uschar **name, uschar **value)
1609 {
1610 uschar *n;
1611 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1612 while (isspace(*v)) v--;
1613 v[1] = 0;
1614 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
1615
1616 n = v;
1617 if (*v == '=')
1618 {
1619   while(isalpha(n[-1])) n--;
1620   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1621   if (!isspace(n[-1])) return FALSE;
1622   n[-1] = 0;
1623 }
1624 else
1625 {
1626   n++;
1627   if (v == smtp_cmd_data) return FALSE;
1628 }
1629 *v++ = 0;
1630 *name = n;
1631 *value = v;
1632 return TRUE;
1633 }
1634
1635
1636
1637
1638
1639 /*************************************************
1640 *         Reset for new message                  *
1641 *************************************************/
1642
1643 /* This function is called whenever the SMTP session is reset from
1644 within either of the setup functions.
1645
1646 Argument:   the stacking pool storage reset point
1647 Returns:    nothing
1648 */
1649
1650 static void
1651 smtp_reset(void *reset_point)
1652 {
1653 store_reset(reset_point);
1654 recipients_list = NULL;
1655 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1656   raw_recipients_count = recipients_count = recipients_list_max = 0;
1657 cancel_cutthrough_connection("smtp reset");
1658 message_linecount = 0;
1659 message_size = -1;
1660 acl_added_headers = NULL;
1661 acl_removed_headers = NULL;
1662 queue_only_policy = FALSE;
1663 rcpt_smtp_response = NULL;
1664 rcpt_smtp_response_same = TRUE;
1665 rcpt_in_progress = FALSE;
1666 deliver_freeze = FALSE;                              /* Can be set by ACL */
1667 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1668 fake_response = OK;                                  /* Can be set by ACL */
1669 #ifdef WITH_CONTENT_SCAN
1670 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1671 #endif
1672 submission_mode = FALSE;                             /* Can be set by ACL */
1673 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1674 active_local_from_check = local_from_check;          /* Can be set by ACL */
1675 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1676 sender_address = NULL;
1677 submission_name = NULL;                              /* Can be set by ACL */
1678 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1679 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1680 sender_verified_list = NULL;        /* No senders verified */
1681 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1682 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1683
1684 authenticated_sender = NULL;
1685 #ifdef EXPERIMENTAL_BRIGHTMAIL
1686 bmi_run = 0;
1687 bmi_verdicts = NULL;
1688 #endif
1689 #ifndef DISABLE_DKIM
1690 dkim_signers = NULL;
1691 dkim_disable_verify = FALSE;
1692 dkim_collect_input = FALSE;
1693 #endif
1694 dsn_ret = 0;
1695 dsn_envid = NULL;
1696 #ifndef DISABLE_PRDR
1697 prdr_requested = FALSE;
1698 #endif
1699 #ifdef EXPERIMENTAL_SPF
1700 spf_header_comment = NULL;
1701 spf_received = NULL;
1702 spf_result = NULL;
1703 spf_smtp_comment = NULL;
1704 #endif
1705 #ifdef SUPPORT_I18N
1706 message_smtputf8 = FALSE;
1707 #endif
1708 body_linecount = body_zerocount = 0;
1709
1710 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1711 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1712                    /* Note that ratelimiters_conn persists across resets. */
1713
1714 /* Reset message ACL variables */
1715
1716 acl_var_m = NULL;
1717
1718 /* The message body variables use malloc store. They may be set if this is
1719 not the first message in an SMTP session and the previous message caused them
1720 to be referenced in an ACL. */
1721
1722 if (message_body != NULL)
1723   {
1724   store_free(message_body);
1725   message_body = NULL;
1726   }
1727
1728 if (message_body_end != NULL)
1729   {
1730   store_free(message_body_end);
1731   message_body_end = NULL;
1732   }
1733
1734 /* Warning log messages are also saved in malloc store. They are saved to avoid
1735 repetition in the same message, but it seems right to repeat them for different
1736 messages. */
1737
1738 while (acl_warn_logged != NULL)
1739   {
1740   string_item *this = acl_warn_logged;
1741   acl_warn_logged = acl_warn_logged->next;
1742   store_free(this);
1743   }
1744 }
1745
1746
1747
1748
1749
1750 /*************************************************
1751 *  Initialize for incoming batched SMTP message  *
1752 *************************************************/
1753
1754 /* This function is called from smtp_setup_msg() in the case when
1755 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1756 of messages in one file with SMTP commands between them. All errors must be
1757 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1758 relevant. After an error on a sender, or an invalid recipient, the remainder
1759 of the message is skipped. The value of received_protocol is already set.
1760
1761 Argument: none
1762 Returns:  > 0 message successfully started (reached DATA)
1763           = 0 QUIT read or end of file reached
1764           < 0 should not occur
1765 */
1766
1767 static int
1768 smtp_setup_batch_msg(void)
1769 {
1770 int done = 0;
1771 void *reset_point = store_get(0);
1772
1773 /* Save the line count at the start of each transaction - single commands
1774 like HELO and RSET count as whole transactions. */
1775
1776 bsmtp_transaction_linecount = receive_linecount;
1777
1778 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1779
1780 smtp_reset(reset_point);                /* Reset for start of message */
1781
1782 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1783 value. The values are 2 larger than the required yield of the function. */
1784
1785 while (done <= 0)
1786   {
1787   uschar *errmess;
1788   uschar *recipient = NULL;
1789   int start, end, sender_domain, recipient_domain;
1790
1791   switch(smtp_read_command(FALSE))
1792     {
1793     /* The HELO/EHLO commands set sender_address_helo if they have
1794     valid data; otherwise they are ignored, except that they do
1795     a reset of the state. */
1796
1797     case HELO_CMD:
1798     case EHLO_CMD:
1799
1800     check_helo(smtp_cmd_data);
1801     /* Fall through */
1802
1803     case RSET_CMD:
1804     smtp_reset(reset_point);
1805     bsmtp_transaction_linecount = receive_linecount;
1806     break;
1807
1808
1809     /* The MAIL FROM command requires an address as an operand. All we
1810     do here is to parse it for syntactic correctness. The form "<>" is
1811     a special case which converts into an empty string. The start/end
1812     pointers in the original are not used further for this address, as
1813     it is the canonical extracted address which is all that is kept. */
1814
1815     case MAIL_CMD:
1816     smtp_mailcmd_count++;              /* Count for no-mail log */
1817     if (sender_address != NULL)
1818       /* The function moan_smtp_batch() does not return. */
1819       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1820
1821     if (smtp_cmd_data[0] == 0)
1822       /* The function moan_smtp_batch() does not return. */
1823       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1824
1825     /* Reset to start of message */
1826
1827     smtp_reset(reset_point);
1828
1829     /* Apply SMTP rewrite */
1830
1831     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1832       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1833         US"", global_rewrite_rules) : smtp_cmd_data;
1834
1835     /* Extract the address; the TRUE flag allows <> as valid */
1836
1837     raw_sender =
1838       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1839         TRUE);
1840
1841     if (raw_sender == NULL)
1842       /* The function moan_smtp_batch() does not return. */
1843       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1844
1845     sender_address = string_copy(raw_sender);
1846
1847     /* Qualify unqualified sender addresses if permitted to do so. */
1848
1849     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1850       {
1851       if (allow_unqualified_sender)
1852         {
1853         sender_address = rewrite_address_qualify(sender_address, FALSE);
1854         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1855           "and rewritten\n", raw_sender);
1856         }
1857       /* The function moan_smtp_batch() does not return. */
1858       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1859         "a domain");
1860       }
1861     break;
1862
1863
1864     /* The RCPT TO command requires an address as an operand. All we do
1865     here is to parse it for syntactic correctness. There may be any number
1866     of RCPT TO commands, specifying multiple senders. We build them all into
1867     a data structure that is in argc/argv format. The start/end values
1868     given by parse_extract_address are not used, as we keep only the
1869     extracted address. */
1870
1871     case RCPT_CMD:
1872     if (sender_address == NULL)
1873       /* The function moan_smtp_batch() does not return. */
1874       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1875
1876     if (smtp_cmd_data[0] == 0)
1877       /* The function moan_smtp_batch() does not return. */
1878       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1879
1880     /* Check maximum number allowed */
1881
1882     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1883       /* The function moan_smtp_batch() does not return. */
1884       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1885         recipients_max_reject? "552": "452");
1886
1887     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1888     recipient address */
1889
1890     recipient = rewrite_existflags & rewrite_smtp
1891       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1892                     global_rewrite_rules)
1893       : smtp_cmd_data;
1894
1895     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1896       &recipient_domain, FALSE);
1897
1898     if (!recipient)
1899       /* The function moan_smtp_batch() does not return. */
1900       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1901
1902     /* If the recipient address is unqualified, qualify it if permitted. Then
1903     add it to the list of recipients. */
1904
1905     if (recipient_domain == 0)
1906       {
1907       if (allow_unqualified_recipient)
1908         {
1909         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1910           recipient);
1911         recipient = rewrite_address_qualify(recipient, TRUE);
1912         }
1913       /* The function moan_smtp_batch() does not return. */
1914       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1915         "a domain");
1916       }
1917     receive_add_recipient(recipient, -1);
1918     break;
1919
1920
1921     /* The DATA command is legal only if it follows successful MAIL FROM
1922     and RCPT TO commands. This function is complete when a valid DATA
1923     command is encountered. */
1924
1925     case DATA_CMD:
1926     if (sender_address == NULL || recipients_count <= 0)
1927       {
1928       /* The function moan_smtp_batch() does not return. */
1929       if (sender_address == NULL)
1930         moan_smtp_batch(smtp_cmd_buffer,
1931           "503 MAIL FROM:<sender> command must precede DATA");
1932       else
1933         moan_smtp_batch(smtp_cmd_buffer,
1934           "503 RCPT TO:<recipient> must precede DATA");
1935       }
1936     else
1937       {
1938       done = 3;                      /* DATA successfully achieved */
1939       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1940       }
1941     break;
1942
1943
1944     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1945
1946     case VRFY_CMD:
1947     case EXPN_CMD:
1948     case HELP_CMD:
1949     case NOOP_CMD:
1950     case ETRN_CMD:
1951     bsmtp_transaction_linecount = receive_linecount;
1952     break;
1953
1954
1955     case EOF_CMD:
1956     case QUIT_CMD:
1957     done = 2;
1958     break;
1959
1960
1961     case BADARG_CMD:
1962     /* The function moan_smtp_batch() does not return. */
1963     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1964     break;
1965
1966
1967     case BADCHAR_CMD:
1968     /* The function moan_smtp_batch() does not return. */
1969     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1970     break;
1971
1972
1973     default:
1974     /* The function moan_smtp_batch() does not return. */
1975     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1976     break;
1977     }
1978   }
1979
1980 return done - 2;  /* Convert yield values */
1981 }
1982
1983
1984
1985
1986 /*************************************************
1987 *          Start an SMTP session                 *
1988 *************************************************/
1989
1990 /* This function is called at the start of an SMTP session. Thereafter,
1991 smtp_setup_msg() is called to initiate each separate message. This
1992 function does host-specific testing, and outputs the banner line.
1993
1994 Arguments:     none
1995 Returns:       FALSE if the session can not continue; something has
1996                gone wrong, or the connection to the host is blocked
1997 */
1998
1999 BOOL
2000 smtp_start_session(void)
2001 {
2002 int size = 256;
2003 int ptr, esclen;
2004 uschar *user_msg, *log_msg;
2005 uschar *code, *esc;
2006 uschar *p, *s, *ss;
2007
2008 smtp_connection_start = time(NULL);
2009 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2010   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2011 smtp_ch_index = 0;
2012
2013 /* Default values for certain variables */
2014
2015 helo_seen = esmtp = helo_accept_junk = FALSE;
2016 smtp_mailcmd_count = 0;
2017 count_nonmail = TRUE_UNSET;
2018 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2019 smtp_delay_mail = smtp_rlm_base;
2020 auth_advertised = FALSE;
2021 pipelining_advertised = FALSE;
2022 pipelining_enable = TRUE;
2023 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2024 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2025
2026 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2027 authentication settings from -oMaa to remain in force. */
2028
2029 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2030 authenticated_by = NULL;
2031
2032 #ifdef SUPPORT_TLS
2033 tls_in.cipher = tls_in.peerdn = NULL;
2034 tls_in.ourcert = tls_in.peercert = NULL;
2035 tls_in.sni = NULL;
2036 tls_in.ocsp = OCSP_NOT_REQ;
2037 tls_advertised = FALSE;
2038 #endif
2039 dsn_advertised = FALSE;
2040 #ifdef SUPPORT_I18N
2041 smtputf8_advertised = FALSE;
2042 #endif
2043
2044 /* Reset ACL connection variables */
2045
2046 acl_var_c = NULL;
2047
2048 /* Allow for trailing 0 in the command and data buffers. */
2049
2050 if (!(smtp_cmd_buffer = US malloc(2*smtp_cmd_buffer_size + 2)))
2051   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2052     "malloc() failed for SMTP command buffer");
2053
2054 smtp_cmd_buffer[0] = 0;
2055 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
2056
2057 /* For batched input, the protocol setting can be overridden from the
2058 command line by a trusted caller. */
2059
2060 if (smtp_batched_input)
2061   {
2062   if (!received_protocol) received_protocol = US"local-bsmtp";
2063   }
2064
2065 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2066 reset later if any of EHLO/AUTH/STARTTLS are received. */
2067
2068 else
2069   received_protocol =
2070     (sender_host_address ? protocols : protocols_local) [pnormal];
2071
2072 /* Set up the buffer for inputting using direct read() calls, and arrange to
2073 call the local functions instead of the standard C ones. */
2074
2075 if (!(smtp_inbuffer = (uschar *)malloc(in_buffer_size)))
2076   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2077
2078 receive_getc = smtp_getc;
2079 receive_get_cache = smtp_get_cache;
2080 receive_ungetc = smtp_ungetc;
2081 receive_feof = smtp_feof;
2082 receive_ferror = smtp_ferror;
2083 receive_smtp_buffered = smtp_buffered;
2084 smtp_inptr = smtp_inend = smtp_inbuffer;
2085 smtp_had_eof = smtp_had_error = 0;
2086
2087 /* Set up the message size limit; this may be host-specific */
2088
2089 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2090 if (expand_string_message != NULL)
2091   {
2092   if (thismessage_size_limit == -1)
2093     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2094       "%s", expand_string_message);
2095   else
2096     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2097       "%s", expand_string_message);
2098   smtp_closedown(US"Temporary local problem - please try later");
2099   return FALSE;
2100   }
2101
2102 /* When a message is input locally via the -bs or -bS options, sender_host_
2103 unknown is set unless -oMa was used to force an IP address, in which case it
2104 is checked like a real remote connection. When -bs is used from inetd, this
2105 flag is not set, causing the sending host to be checked. The code that deals
2106 with IP source routing (if configured) is never required for -bs or -bS and
2107 the flag sender_host_notsocket is used to suppress it.
2108
2109 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2110 reserve for certain hosts and/or networks. */
2111
2112 if (!sender_host_unknown)
2113   {
2114   int rc;
2115   BOOL reserved_host = FALSE;
2116
2117   /* Look up IP options (source routing info) on the socket if this is not an
2118   -oMa "host", and if any are found, log them and drop the connection.
2119
2120   Linux (and others now, see below) is different to everyone else, so there
2121   has to be some conditional compilation here. Versions of Linux before 2.1.15
2122   used a structure whose name was "options". Somebody finally realized that
2123   this name was silly, and it got changed to "ip_options". I use the
2124   newer name here, but there is a fudge in the script that sets up os.h
2125   to define a macro in older Linux systems.
2126
2127   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2128   glibc 2, which has chosen ip_opts for the structure name. This is now
2129   really a glibc thing rather than a Linux thing, so the condition name
2130   has been changed to reflect this. It is relevant also to GNU/Hurd.
2131
2132   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2133   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2134   a special macro defined in the os.h file.
2135
2136   Some DGUX versions on older hardware appear not to support IP options at
2137   all, so there is now a general macro which can be set to cut out this
2138   support altogether.
2139
2140   How to do this properly in IPv6 is not yet known. */
2141
2142   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2143
2144   #ifdef GLIBC_IP_OPTIONS
2145     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2146     #define OPTSTYLE 1
2147     #else
2148     #define OPTSTYLE 2
2149     #endif
2150   #elif defined DARWIN_IP_OPTIONS
2151     #define OPTSTYLE 2
2152   #else
2153     #define OPTSTYLE 3
2154   #endif
2155
2156   if (!host_checking && !sender_host_notsocket)
2157     {
2158     #if OPTSTYLE == 1
2159     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2160     struct ip_options *ipopt = store_get(optlen);
2161     #elif OPTSTYLE == 2
2162     struct ip_opts ipoptblock;
2163     struct ip_opts *ipopt = &ipoptblock;
2164     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2165     #else
2166     struct ipoption ipoptblock;
2167     struct ipoption *ipopt = &ipoptblock;
2168     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2169     #endif
2170
2171     /* Occasional genuine failures of getsockopt() have been seen - for
2172     example, "reset by peer". Therefore, just log and give up on this
2173     call, unless the error is ENOPROTOOPT. This error is given by systems
2174     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2175     of writing. So for that error, carry on - we just can't do an IP options
2176     check. */
2177
2178     DEBUG(D_receive) debug_printf("checking for IP options\n");
2179
2180     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2181           &optlen) < 0)
2182       {
2183       if (errno != ENOPROTOOPT)
2184         {
2185         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2186           host_and_ident(FALSE), strerror(errno));
2187         smtp_printf("451 SMTP service not available\r\n");
2188         return FALSE;
2189         }
2190       }
2191
2192     /* Deal with any IP options that are set. On the systems I have looked at,
2193     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2194     more logging data than will fit in big_buffer. Nevertheless, after somebody
2195     questioned this code, I've added in some paranoid checking. */
2196
2197     else if (optlen > 0)
2198       {
2199       uschar *p = big_buffer;
2200       uschar *pend = big_buffer + big_buffer_size;
2201       uschar *opt, *adptr;
2202       int optcount;
2203       struct in_addr addr;
2204
2205       #if OPTSTYLE == 1
2206       uschar *optstart = (uschar *)(ipopt->__data);
2207       #elif OPTSTYLE == 2
2208       uschar *optstart = (uschar *)(ipopt->ip_opts);
2209       #else
2210       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2211       #endif
2212
2213       DEBUG(D_receive) debug_printf("IP options exist\n");
2214
2215       Ustrcpy(p, "IP options on incoming call:");
2216       p += Ustrlen(p);
2217
2218       for (opt = optstart; opt != NULL &&
2219            opt < (uschar *)(ipopt) + optlen;)
2220         {
2221         switch (*opt)
2222           {
2223           case IPOPT_EOL:
2224           opt = NULL;
2225           break;
2226
2227           case IPOPT_NOP:
2228           opt++;
2229           break;
2230
2231           case IPOPT_SSRR:
2232           case IPOPT_LSRR:
2233           if (!string_format(p, pend-p, " %s [@%s",
2234                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2235                #if OPTSTYLE == 1
2236                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2237                #elif OPTSTYLE == 2
2238                inet_ntoa(ipopt->ip_dst)))
2239                #else
2240                inet_ntoa(ipopt->ipopt_dst)))
2241                #endif
2242             {
2243             opt = NULL;
2244             break;
2245             }
2246
2247           p += Ustrlen(p);
2248           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2249           adptr = opt + 3;
2250           while (optcount-- > 0)
2251             {
2252             memcpy(&addr, adptr, sizeof(addr));
2253             if (!string_format(p, pend - p - 1, "%s%s",
2254                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2255               {
2256               opt = NULL;
2257               break;
2258               }
2259             p += Ustrlen(p);
2260             adptr += sizeof(struct in_addr);
2261             }
2262           *p++ = ']';
2263           opt += opt[1];
2264           break;
2265
2266           default:
2267             {
2268             int i;
2269             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2270             Ustrcat(p, "[ ");
2271             p += 2;
2272             for (i = 0; i < opt[1]; i++)
2273               {
2274               sprintf(CS p, "%2.2x ", opt[i]);
2275               p += 3;
2276               }
2277             *p++ = ']';
2278             }
2279           opt += opt[1];
2280           break;
2281           }
2282         }
2283
2284       *p = 0;
2285       log_write(0, LOG_MAIN, "%s", big_buffer);
2286
2287       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2288
2289       log_write(0, LOG_MAIN|LOG_REJECT,
2290         "connection from %s refused (IP options)", host_and_ident(FALSE));
2291
2292       smtp_printf("554 SMTP service not available\r\n");
2293       return FALSE;
2294       }
2295
2296     /* Length of options = 0 => there are no options */
2297
2298     else DEBUG(D_receive) debug_printf("no IP options found\n");
2299     }
2300   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2301
2302   /* Set keep-alive in socket options. The option is on by default. This
2303   setting is an attempt to get rid of some hanging connections that stick in
2304   read() when the remote end (usually a dialup) goes away. */
2305
2306   if (smtp_accept_keepalive && !sender_host_notsocket)
2307     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2308
2309   /* If the current host matches host_lookup, set the name by doing a
2310   reverse lookup. On failure, sender_host_name will be NULL and
2311   host_lookup_failed will be TRUE. This may or may not be serious - optional
2312   checks later. */
2313
2314   if (verify_check_host(&host_lookup) == OK)
2315     {
2316     (void)host_name_lookup();
2317     host_build_sender_fullhost();
2318     }
2319
2320   /* Delay this until we have the full name, if it is looked up. */
2321
2322   set_process_info("handling incoming connection from %s",
2323     host_and_ident(FALSE));
2324
2325   /* Expand smtp_receive_timeout, if needed */
2326
2327   if (smtp_receive_timeout_s)
2328     {
2329     uschar * exp;
2330     if (  !(exp = expand_string(smtp_receive_timeout_s))
2331        || !(*exp)
2332        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2333        )
2334       log_write(0, LOG_MAIN|LOG_PANIC,
2335         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2336     }
2337
2338   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2339   smtps port for use with older style SSL MTAs. */
2340
2341   #ifdef SUPPORT_TLS
2342   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2343     return FALSE;
2344   #endif
2345
2346   /* Test for explicit connection rejection */
2347
2348   if (verify_check_host(&host_reject_connection) == OK)
2349     {
2350     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2351       "from %s (host_reject_connection)", host_and_ident(FALSE));
2352     smtp_printf("554 SMTP service not available\r\n");
2353     return FALSE;
2354     }
2355
2356   /* Test with TCP Wrappers if so configured. There is a problem in that
2357   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2358   such as disks dying. In these cases, it is desirable to reject with a 4xx
2359   error instead of a 5xx error. There isn't a "right" way to detect such
2360   problems. The following kludge is used: errno is zeroed before calling
2361   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2362   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2363   not exist). */
2364
2365   #ifdef USE_TCP_WRAPPERS
2366   errno = 0;
2367   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
2368   if (tcp_wrappers_name == NULL)
2369     {
2370     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2371       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2372         expand_string_message);
2373     }
2374   if (!hosts_ctl(tcp_wrappers_name,
2375          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
2376          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
2377          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
2378     {
2379     if (errno == 0 || errno == ENOENT)
2380       {
2381       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2382       log_write(L_connection_reject,
2383                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2384                 "(tcp wrappers)", host_and_ident(FALSE));
2385       smtp_printf("554 SMTP service not available\r\n");
2386       }
2387     else
2388       {
2389       int save_errno = errno;
2390       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2391         "errno value %d\n", save_errno);
2392       log_write(L_connection_reject,
2393                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2394                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2395       smtp_printf("451 Temporary local problem - please try later\r\n");
2396       }
2397     return FALSE;
2398     }
2399   #endif
2400
2401   /* Check for reserved slots. The value of smtp_accept_count has already been
2402   incremented to include this process. */
2403
2404   if (smtp_accept_max > 0 &&
2405       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2406     {
2407     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2408       {
2409       log_write(L_connection_reject,
2410         LOG_MAIN, "temporarily refused connection from %s: not in "
2411         "reserve list: connected=%d max=%d reserve=%d%s",
2412         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2413         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2414       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2415         "please try again later\r\n", smtp_active_hostname);
2416       return FALSE;
2417       }
2418     reserved_host = TRUE;
2419     }
2420
2421   /* If a load level above which only messages from reserved hosts are
2422   accepted is set, check the load. For incoming calls via the daemon, the
2423   check is done in the superior process if there are no reserved hosts, to
2424   save a fork. In all cases, the load average will already be available
2425   in a global variable at this point. */
2426
2427   if (smtp_load_reserve >= 0 &&
2428        load_average > smtp_load_reserve &&
2429        !reserved_host &&
2430        verify_check_host(&smtp_reserve_hosts) != OK)
2431     {
2432     log_write(L_connection_reject,
2433       LOG_MAIN, "temporarily refused connection from %s: not in "
2434       "reserve list and load average = %.2f", host_and_ident(FALSE),
2435       (double)load_average/1000.0);
2436     smtp_printf("421 %s: Too much load; please try again later\r\n",
2437       smtp_active_hostname);
2438     return FALSE;
2439     }
2440
2441   /* Determine whether unqualified senders or recipients are permitted
2442   for this host. Unfortunately, we have to do this every time, in order to
2443   set the flags so that they can be inspected when considering qualifying
2444   addresses in the headers. For a site that permits no qualification, this
2445   won't take long, however. */
2446
2447   allow_unqualified_sender =
2448     verify_check_host(&sender_unqualified_hosts) == OK;
2449
2450   allow_unqualified_recipient =
2451     verify_check_host(&recipient_unqualified_hosts) == OK;
2452
2453   /* Determine whether HELO/EHLO is required for this host. The requirement
2454   can be hard or soft. */
2455
2456   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2457   if (!helo_required)
2458     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2459
2460   /* Determine whether this hosts is permitted to send syntactic junk
2461   after a HELO or EHLO command. */
2462
2463   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2464   }
2465
2466 /* For batch SMTP input we are now done. */
2467
2468 if (smtp_batched_input) return TRUE;
2469
2470 #ifdef SUPPORT_PROXY
2471 /* If valid Proxy Protocol source is connecting, set up session.
2472  * Failure will not allow any SMTP function other than QUIT. */
2473 proxy_session = FALSE;
2474 proxy_session_failed = FALSE;
2475 if (check_proxy_protocol_host())
2476   {
2477   if (setup_proxy_protocol_host() == FALSE)
2478     {
2479     proxy_session_failed = TRUE;
2480     DEBUG(D_receive)
2481       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
2482     }
2483   else
2484     {
2485     sender_host_name = NULL;
2486     (void)host_name_lookup();
2487     host_build_sender_fullhost();
2488     }
2489   }
2490 #endif
2491
2492 /* Run the ACL if it exists */
2493
2494 user_msg = NULL;
2495 if (acl_smtp_connect != NULL)
2496   {
2497   int rc;
2498   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2499     &log_msg);
2500   if (rc != OK)
2501     {
2502     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2503     return FALSE;
2504     }
2505   }
2506
2507 /* Output the initial message for a two-way SMTP connection. It may contain
2508 newlines, which then cause a multi-line response to be given. */
2509
2510 code = US"220";   /* Default status code */
2511 esc = US"";       /* Default extended status code */
2512 esclen = 0;       /* Length of esc */
2513
2514 if (!user_msg)
2515   {
2516   if (!(s = expand_string(smtp_banner)))
2517     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2518       "failed: %s", smtp_banner, expand_string_message);
2519   }
2520 else
2521   {
2522   int codelen = 3;
2523   s = user_msg;
2524   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2525   if (codelen > 4)
2526     {
2527     esc = code + 4;
2528     esclen = codelen - 4;
2529     }
2530   }
2531
2532 /* Remove any terminating newlines; might as well remove trailing space too */
2533
2534 p = s + Ustrlen(s);
2535 while (p > s && isspace(p[-1])) p--;
2536 *p = 0;
2537
2538 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2539 is all contained in a single IP packet. The original code wrote out the
2540 greeting using several calls to fprint/fputc, and on busy servers this could
2541 cause it to be split over more than one packet - which caused CC:Mail to fall
2542 over when it got the second part of the greeting after sending its first
2543 command. Sigh. To try to avoid this, build the complete greeting message
2544 first, and output it in one fell swoop. This gives a better chance of it
2545 ending up as a single packet. */
2546
2547 ss = store_get(size);
2548 ptr = 0;
2549
2550 p = s;
2551 do       /* At least once, in case we have an empty string */
2552   {
2553   int len;
2554   uschar *linebreak = Ustrchr(p, '\n');
2555   ss = string_catn(ss, &size, &ptr, code, 3);
2556   if (linebreak == NULL)
2557     {
2558     len = Ustrlen(p);
2559     ss = string_catn(ss, &size, &ptr, US" ", 1);
2560     }
2561   else
2562     {
2563     len = linebreak - p;
2564     ss = string_catn(ss, &size, &ptr, US"-", 1);
2565     }
2566   ss = string_catn(ss, &size, &ptr, esc, esclen);
2567   ss = string_catn(ss, &size, &ptr, p, len);
2568   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2569   p += len;
2570   if (linebreak != NULL) p++;
2571   }
2572 while (*p != 0);
2573
2574 ss[ptr] = 0;  /* string_cat leaves room for this */
2575
2576 /* Before we write the banner, check that there is no input pending, unless
2577 this synchronisation check is disabled. */
2578
2579 if (!check_sync())
2580   {
2581   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2582     "synchronization error (input sent without waiting for greeting): "
2583     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2584     string_printing(smtp_inptr));
2585   smtp_printf("554 SMTP synchronization error\r\n");
2586   return FALSE;
2587   }
2588
2589 /* Now output the banner */
2590
2591 smtp_printf("%s", ss);
2592 return TRUE;
2593 }
2594
2595
2596
2597
2598
2599 /*************************************************
2600 *     Handle SMTP syntax and protocol errors     *
2601 *************************************************/
2602
2603 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2604 to do so. Then transmit the error response. The return value depends on the
2605 number of syntax and protocol errors in this SMTP session.
2606
2607 Arguments:
2608   type      error type, given as a log flag bit
2609   code      response code; <= 0 means don't send a response
2610   data      data to reflect in the response (can be NULL)
2611   errmess   the error message
2612
2613 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2614             +1   limit of syntax/protocol errors IS exceeded
2615
2616 These values fit in with the values of the "done" variable in the main
2617 processing loop in smtp_setup_msg(). */
2618
2619 static int
2620 synprot_error(int type, int code, uschar *data, uschar *errmess)
2621 {
2622 int yield = -1;
2623
2624 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2625   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2626   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2627
2628 if (++synprot_error_count > smtp_max_synprot_errors)
2629   {
2630   yield = 1;
2631   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2632     "syntax or protocol errors (last command was \"%s\")",
2633     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2634   }
2635
2636 if (code > 0)
2637   {
2638   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2639     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2640   if (yield == 1)
2641     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2642   }
2643
2644 return yield;
2645 }
2646
2647
2648
2649
2650 /*************************************************
2651 *          Log incomplete transactions           *
2652 *************************************************/
2653
2654 /* This function is called after a transaction has been aborted by RSET, QUIT,
2655 connection drops or other errors. It logs the envelope information received
2656 so far in order to preserve address verification attempts.
2657
2658 Argument:   string to indicate what aborted the transaction
2659 Returns:    nothing
2660 */
2661
2662 static void
2663 incomplete_transaction_log(uschar *what)
2664 {
2665 if (sender_address == NULL ||                 /* No transaction in progress */
2666     !LOGGING(smtp_incomplete_transaction))
2667   return;
2668
2669 /* Build list of recipients for logging */
2670
2671 if (recipients_count > 0)
2672   {
2673   int i;
2674   raw_recipients = store_get(recipients_count * sizeof(uschar *));
2675   for (i = 0; i < recipients_count; i++)
2676     raw_recipients[i] = recipients_list[i].address;
2677   raw_recipients_count = recipients_count;
2678   }
2679
2680 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
2681   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
2682 }
2683
2684
2685
2686
2687 /*************************************************
2688 *    Send SMTP response, possibly multiline      *
2689 *************************************************/
2690
2691 /* There are, it seems, broken clients out there that cannot handle multiline
2692 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2693 output nothing for non-final calls, and only the first line for anything else.
2694
2695 Arguments:
2696   code          SMTP code, may involve extended status codes
2697   codelen       length of smtp code; if > 4 there's an ESC
2698   final         FALSE if the last line isn't the final line
2699   msg           message text, possibly containing newlines
2700
2701 Returns:        nothing
2702 */
2703
2704 void
2705 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2706 {
2707 int esclen = 0;
2708 uschar *esc = US"";
2709
2710 if (!final && no_multiline_responses) return;
2711
2712 if (codelen > 4)
2713   {
2714   esc = code + 4;
2715   esclen = codelen - 4;
2716   }
2717
2718 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2719 have had the same. Note: this code is also present in smtp_printf(). It would
2720 be tidier to have it only in one place, but when it was added, it was easier to
2721 do it that way, so as not to have to mess with the code for the RCPT command,
2722 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2723
2724 if (rcpt_in_progress)
2725   {
2726   if (rcpt_smtp_response == NULL)
2727     rcpt_smtp_response = string_copy(msg);
2728   else if (rcpt_smtp_response_same &&
2729            Ustrcmp(rcpt_smtp_response, msg) != 0)
2730     rcpt_smtp_response_same = FALSE;
2731   rcpt_in_progress = FALSE;
2732   }
2733
2734 /* Not output the message, splitting it up into multiple lines if necessary. */
2735
2736 for (;;)
2737   {
2738   uschar *nl = Ustrchr(msg, '\n');
2739   if (nl == NULL)
2740     {
2741     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2742     return;
2743     }
2744   else if (nl[1] == 0 || no_multiline_responses)
2745     {
2746     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2747       (int)(nl - msg), msg);
2748     return;
2749     }
2750   else
2751     {
2752     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2753     msg = nl + 1;
2754     while (isspace(*msg)) msg++;
2755     }
2756   }
2757 }
2758
2759
2760
2761
2762 /*************************************************
2763 *            Parse user SMTP message             *
2764 *************************************************/
2765
2766 /* This function allows for user messages overriding the response code details
2767 by providing a suitable response code string at the start of the message
2768 user_msg. Check the message for starting with a response code and optionally an
2769 extended status code. If found, check that the first digit is valid, and if so,
2770 change the code pointer and length to use the replacement. An invalid code
2771 causes a panic log; in this case, if the log messages is the same as the user
2772 message, we must also adjust the value of the log message to show the code that
2773 is actually going to be used (the original one).
2774
2775 This function is global because it is called from receive.c as well as within
2776 this module.
2777
2778 Note that the code length returned includes the terminating whitespace
2779 character, which is always included in the regex match.
2780
2781 Arguments:
2782   code          SMTP code, may involve extended status codes
2783   codelen       length of smtp code; if > 4 there's an ESC
2784   msg           message text
2785   log_msg       optional log message, to be adjusted with the new SMTP code
2786   check_valid   if true, verify the response code
2787
2788 Returns:        nothing
2789 */
2790
2791 void
2792 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2793   BOOL check_valid)
2794 {
2795 int n;
2796 int ovector[3];
2797
2798 if (!msg || !*msg) return;
2799
2800 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2801   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2802
2803 if (check_valid && (*msg)[0] != (*code)[0])
2804   {
2805   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2806     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2807   if (log_msg != NULL && *log_msg == *msg)
2808     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2809   }
2810 else
2811   {
2812   *code = *msg;
2813   *codelen = ovector[1];    /* Includes final space */
2814   }
2815 *msg += ovector[1];         /* Chop the code off the message */
2816 return;
2817 }
2818
2819
2820
2821
2822 /*************************************************
2823 *           Handle an ACL failure                *
2824 *************************************************/
2825
2826 /* This function is called when acl_check() fails. As well as calls from within
2827 this module, it is called from receive.c for an ACL after DATA. It sorts out
2828 logging the incident, and sets up the error response. A message containing
2829 newlines is turned into a multiline SMTP response, but for logging, only the
2830 first line is used.
2831
2832 There's a table of default permanent failure response codes to use in
2833 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2834 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2835 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2836 state, because there are broken clients that try VRFY before RCPT. A 5xx
2837 response should be given only when the address is positively known to be
2838 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2839 no explicit code, but if there is one we let it know best.
2840 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2841
2842 From Exim 4.63, it is possible to override the response code details by
2843 providing a suitable response code string at the start of the message provided
2844 in user_msg. The code's first digit is checked for validity.
2845
2846 Arguments:
2847   where        where the ACL was called from
2848   rc           the failure code
2849   user_msg     a message that can be included in an SMTP response
2850   log_msg      a message for logging
2851
2852 Returns:     0 in most cases
2853              2 if the failure code was FAIL_DROP, in which case the
2854                SMTP connection should be dropped (this value fits with the
2855                "done" variable in smtp_setup_msg() below)
2856 */
2857
2858 int
2859 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2860 {
2861 BOOL drop = rc == FAIL_DROP;
2862 int codelen = 3;
2863 uschar *smtp_code;
2864 uschar *lognl;
2865 uschar *sender_info = US"";
2866 uschar *what =
2867 #ifdef WITH_CONTENT_SCAN
2868   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
2869 #endif
2870   (where == ACL_WHERE_PREDATA)? US"DATA" :
2871   (where == ACL_WHERE_DATA)? US"after DATA" :
2872 #ifndef DISABLE_PRDR
2873   (where == ACL_WHERE_PRDR)? US"after DATA PRDR" :
2874 #endif
2875   (smtp_cmd_data == NULL)?
2876     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
2877     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data);
2878
2879 if (drop) rc = FAIL;
2880
2881 /* Set the default SMTP code, and allow a user message to change it. */
2882
2883 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2884 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2885   where != ACL_WHERE_VRFY);
2886
2887 /* We used to have sender_address here; however, there was a bug that was not
2888 updating sender_address after a rewrite during a verify. When this bug was
2889 fixed, sender_address at this point became the rewritten address. I'm not sure
2890 this is what should be logged, so I've changed to logging the unrewritten
2891 address to retain backward compatibility. */
2892
2893 #ifndef WITH_CONTENT_SCAN
2894 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2895 #else
2896 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2897 #endif
2898   {
2899   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2900     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2901     sender_host_authenticated ? US" A="                                    : US"",
2902     sender_host_authenticated ? sender_host_authenticated                  : US"",
2903     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2904     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2905     );
2906   }
2907
2908 /* If there's been a sender verification failure with a specific message, and
2909 we have not sent a response about it yet, do so now, as a preliminary line for
2910 failures, but not defers. However, always log it for defer, and log it for fail
2911 unless the sender_verify_fail log selector has been turned off. */
2912
2913 if (sender_verified_failed != NULL &&
2914     !testflag(sender_verified_failed, af_sverify_told))
2915   {
2916   BOOL save_rcpt_in_progress = rcpt_in_progress;
2917   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2918
2919   setflag(sender_verified_failed, af_sverify_told);
2920
2921   if (rc != FAIL || LOGGING(sender_verify_fail))
2922     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2923       host_and_ident(TRUE),
2924       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2925       sender_verified_failed->address,
2926       (sender_verified_failed->message == NULL)? US"" :
2927       string_sprintf(": %s", sender_verified_failed->message));
2928
2929   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2930     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2931         testflag(sender_verified_failed, af_verify_pmfail)?
2932           "Postmaster verification failed while checking <%s>\n%s\n"
2933           "Several RFCs state that you are required to have a postmaster\n"
2934           "mailbox for each mail domain. This host does not accept mail\n"
2935           "from domains whose servers reject the postmaster address."
2936           :
2937         testflag(sender_verified_failed, af_verify_nsfail)?
2938           "Callback setup failed while verifying <%s>\n%s\n"
2939           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2940           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2941           "RFC requirements, and stops you from receiving standard bounce\n"
2942           "messages. This host does not accept mail from domains whose servers\n"
2943           "refuse bounces."
2944           :
2945           "Verification failed for <%s>\n%s",
2946         sender_verified_failed->address,
2947         sender_verified_failed->user_message));
2948
2949   rcpt_in_progress = save_rcpt_in_progress;
2950   }
2951
2952 /* Sort out text for logging */
2953
2954 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
2955 lognl = Ustrchr(log_msg, '\n');
2956 if (lognl != NULL) *lognl = 0;
2957
2958 /* Send permanent failure response to the command, but the code used isn't
2959 always a 5xx one - see comments at the start of this function. If the original
2960 rc was FAIL_DROP we drop the connection and yield 2. */
2961
2962 if (rc == FAIL)
2963   smtp_respond(smtp_code, codelen, TRUE,
2964     user_msg ? user_msg : US"Administrative prohibition");
2965
2966 /* Send temporary failure response to the command. Don't give any details,
2967 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2968 verb, and for a header verify when smtp_return_error_details is set.
2969
2970 This conditional logic is all somewhat of a mess because of the odd
2971 interactions between temp_details and return_error_details. One day it should
2972 be re-implemented in a tidier fashion. */
2973
2974 else
2975   if (acl_temp_details && user_msg)
2976     {
2977     if (  smtp_return_error_details
2978        && sender_verified_failed
2979        && sender_verified_failed->message
2980        )
2981       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2982
2983     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2984     }
2985   else
2986     smtp_respond(smtp_code, codelen, TRUE,
2987       US"Temporary local problem - please try later");
2988
2989 /* Log the incident to the logs that are specified by log_reject_target
2990 (default main, reject). This can be empty to suppress logging of rejections. If
2991 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2992 is closing if required and return 2.  */
2993
2994 if (log_reject_target != 0)
2995   {
2996 #ifdef SUPPORT_TLS
2997   uschar * tls = s_tlslog(NULL, NULL, NULL);
2998   if (!tls) tls = US"";
2999 #else
3000   uschar * tls = US"";
3001 #endif
3002   log_write(0, log_reject_target, "%s%s%s %s%srejected %s%s",
3003     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3004     host_and_ident(TRUE),
3005     tls,
3006     sender_info,
3007     rc == FAIL ? US"" : US"temporarily ",
3008     what, log_msg);
3009   }
3010
3011 if (!drop) return 0;
3012
3013 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3014   smtp_get_connection_info());
3015
3016 /* Run the not-quit ACL, but without any custom messages. This should not be a
3017 problem, because we get here only if some other ACL has issued "drop", and
3018 in that case, *its* custom messages will have been used above. */
3019
3020 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3021 return 2;
3022 }
3023
3024
3025
3026
3027 /*************************************************
3028 *     Handle SMTP exit when QUIT is not given    *
3029 *************************************************/
3030
3031 /* This function provides a logging/statistics hook for when an SMTP connection
3032 is dropped on the floor or the other end goes away. It's a global function
3033 because it's called from receive.c as well as this module. As well as running
3034 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3035 response, either with a custom message from the ACL, or using a default. There
3036 is one case, however, when no message is output - after "drop". In that case,
3037 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3038 passed to this function.
3039
3040 In case things go wrong while processing this function, causing an error that
3041 may re-enter this funtion, there is a recursion check.
3042
3043 Arguments:
3044   reason          What $smtp_notquit_reason will be set to in the ACL;
3045                     if NULL, the ACL is not run
3046   code            The error code to return as part of the response
3047   defaultrespond  The default message if there's no user_msg
3048
3049 Returns:          Nothing
3050 */
3051
3052 void
3053 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3054 {
3055 int rc;
3056 uschar *user_msg = NULL;
3057 uschar *log_msg = NULL;
3058
3059 /* Check for recursive acll */
3060
3061 if (smtp_exit_function_called)
3062   {
3063   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3064     reason);
3065   return;
3066   }
3067 smtp_exit_function_called = TRUE;
3068
3069 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3070
3071 if (acl_smtp_notquit && reason)
3072   {
3073   smtp_notquit_reason = reason;
3074   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3075                       &log_msg)) == ERROR)
3076     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3077       log_msg);
3078   }
3079
3080 /* Write an SMTP response if we are expected to give one. As the default
3081 responses are all internal, they should always fit in the buffer, but code a
3082 warning, just in case. Note that string_vformat() still leaves a complete
3083 string, even if it is incomplete. */
3084
3085 if (code && defaultrespond)
3086   {
3087   if (user_msg)
3088     smtp_respond(code, 3, TRUE, user_msg);
3089   else
3090     {
3091     uschar buffer[128];
3092     va_list ap;
3093     va_start(ap, defaultrespond);
3094     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3095       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3096     smtp_printf("%s %s\r\n", code, buffer);
3097     va_end(ap);
3098     }
3099   mac_smtp_fflush();
3100   }
3101 }
3102
3103
3104
3105
3106 /*************************************************
3107 *             Verify HELO argument               *
3108 *************************************************/
3109
3110 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3111 matched. It is also called from ACL processing if verify = helo is used and
3112 verification was not previously tried (i.e. helo_try_verify_hosts was not
3113 matched). The result of its processing is to set helo_verified and
3114 helo_verify_failed. These variables should both be FALSE for this function to
3115 be called.
3116
3117 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3118 for IPv6 ::ffff: literals.
3119
3120 Argument:   none
3121 Returns:    TRUE if testing was completed;
3122             FALSE on a temporary failure
3123 */
3124
3125 BOOL
3126 smtp_verify_helo(void)
3127 {
3128 BOOL yield = TRUE;
3129
3130 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3131   sender_helo_name);
3132
3133 if (sender_helo_name == NULL)
3134   {
3135   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3136   }
3137
3138 /* Deal with the case of -bs without an IP address */
3139
3140 else if (sender_host_address == NULL)
3141   {
3142   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3143   helo_verified = TRUE;
3144   }
3145
3146 /* Deal with the more common case when there is a sending IP address */
3147
3148 else if (sender_helo_name[0] == '[')
3149   {
3150   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3151     Ustrlen(sender_host_address)) == 0;
3152
3153   #if HAVE_IPV6
3154   if (!helo_verified)
3155     {
3156     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3157       helo_verified = Ustrncmp(sender_helo_name + 1,
3158         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3159     }
3160   #endif
3161
3162   HDEBUG(D_receive)
3163     { if (helo_verified) debug_printf("matched host address\n"); }
3164   }
3165
3166 /* Do a reverse lookup if one hasn't already given a positive or negative
3167 response. If that fails, or the name doesn't match, try checking with a forward
3168 lookup. */
3169
3170 else
3171   {
3172   if (sender_host_name == NULL && !host_lookup_failed)
3173     yield = host_name_lookup() != DEFER;
3174
3175   /* If a host name is known, check it and all its aliases. */
3176
3177   if (sender_host_name)
3178     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3179       {
3180       sender_helo_dnssec = sender_host_dnssec;
3181       HDEBUG(D_receive) debug_printf("matched host name\n");
3182       }
3183     else
3184       {
3185       uschar **aliases = sender_host_aliases;
3186       while (*aliases)
3187         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3188           {
3189           sender_helo_dnssec = sender_host_dnssec;
3190           break;
3191           }
3192
3193       HDEBUG(D_receive) if (helo_verified)
3194           debug_printf("matched alias %s\n", *(--aliases));
3195       }
3196
3197   /* Final attempt: try a forward lookup of the helo name */
3198
3199   if (!helo_verified)
3200     {
3201     int rc;
3202     host_item h;
3203     dnssec_domains d;
3204     host_item *hh;
3205
3206     h.name = sender_helo_name;
3207     h.address = NULL;
3208     h.mx = MX_NONE;
3209     h.next = NULL;
3210     d.request = US"*";
3211     d.require = US"";
3212
3213     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3214       sender_helo_name);
3215     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3216                           NULL, NULL, NULL, &d, NULL, NULL);
3217     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3218       for (hh = &h; hh; hh = hh->next)
3219         if (Ustrcmp(hh->address, sender_host_address) == 0)
3220           {
3221           helo_verified = TRUE;
3222           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3223           HDEBUG(D_receive)
3224             {
3225             debug_printf("IP address for %s matches calling address\n"
3226               "Forward DNS security status: %sverified\n",
3227               sender_helo_name, sender_helo_dnssec ? "" : "un");
3228             }
3229           break;
3230           }
3231     }
3232   }
3233
3234 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3235 return yield;
3236 }
3237
3238
3239
3240
3241 /*************************************************
3242 *        Send user response message              *
3243 *************************************************/
3244
3245 /* This function is passed a default response code and a user message. It calls
3246 smtp_message_code() to check and possibly modify the response code, and then
3247 calls smtp_respond() to transmit the response. I put this into a function
3248 just to avoid a lot of repetition.
3249
3250 Arguments:
3251   code         the response code
3252   user_msg     the user message
3253
3254 Returns:       nothing
3255 */
3256
3257 static void
3258 smtp_user_msg(uschar *code, uschar *user_msg)
3259 {
3260 int len = 3;
3261 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3262 smtp_respond(code, len, TRUE, user_msg);
3263 }
3264
3265
3266
3267 static int
3268 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3269 {
3270 const uschar *set_id = NULL;
3271 int rc, i;
3272
3273 /* Run the checking code, passing the remainder of the command line as
3274 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3275 it as the only set numerical variable. The authenticator may set $auth<n>
3276 and also set other numeric variables. The $auth<n> variables are preferred
3277 nowadays; the numerical variables remain for backwards compatibility.
3278
3279 Afterwards, have a go at expanding the set_id string, even if
3280 authentication failed - for bad passwords it can be useful to log the
3281 userid. On success, require set_id to expand and exist, and put it in
3282 authenticated_id. Save this in permanent store, as the working store gets
3283 reset at HELO, RSET, etc. */
3284
3285 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3286 expand_nmax = 0;
3287 expand_nlength[0] = 0;   /* $0 contains nothing */
3288
3289 rc = (au->info->servercode)(au, smtp_cmd_data);
3290 if (au->set_id) set_id = expand_string(au->set_id);
3291 expand_nmax = -1;        /* Reset numeric variables */
3292 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3293
3294 /* The value of authenticated_id is stored in the spool file and printed in
3295 log lines. It must not contain binary zeros or newline characters. In
3296 normal use, it never will, but when playing around or testing, this error
3297 can (did) happen. To guard against this, ensure that the id contains only
3298 printing characters. */
3299
3300 if (set_id) set_id = string_printing(set_id);
3301
3302 /* For the non-OK cases, set up additional logging data if set_id
3303 is not empty. */
3304
3305 if (rc != OK)
3306   set_id = set_id && *set_id
3307     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3308
3309 /* Switch on the result */
3310
3311 switch(rc)
3312   {
3313   case OK:
3314   if (!au->set_id || set_id)    /* Complete success */
3315     {
3316     if (set_id) authenticated_id = string_copy_malloc(set_id);
3317     sender_host_authenticated = au->name;
3318     authentication_failed = FALSE;
3319     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3320
3321     received_protocol =
3322       (sender_host_address ? protocols : protocols_local)
3323         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3324     *s = *ss = US"235 Authentication succeeded";
3325     authenticated_by = au;
3326     break;
3327     }
3328
3329   /* Authentication succeeded, but we failed to expand the set_id string.
3330   Treat this as a temporary error. */
3331
3332   auth_defer_msg = expand_string_message;
3333   /* Fall through */
3334
3335   case DEFER:
3336   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3337   *s = string_sprintf("435 Unable to authenticate at present%s",
3338     auth_defer_user_msg);
3339   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3340     set_id, auth_defer_msg);
3341   break;
3342
3343   case BAD64:
3344   *s = *ss = US"501 Invalid base64 data";
3345   break;
3346
3347   case CANCELLED:
3348   *s = *ss = US"501 Authentication cancelled";
3349   break;
3350
3351   case UNEXPECTED:
3352   *s = *ss = US"553 Initial data not expected";
3353   break;
3354
3355   case FAIL:
3356   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3357   *s = US"535 Incorrect authentication data";
3358   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3359   break;
3360
3361   default:
3362   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3363   *s = US"435 Internal error";
3364   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3365     "check", set_id, rc);
3366   break;
3367   }
3368
3369 return rc;
3370 }
3371
3372
3373
3374
3375
3376 static int
3377 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3378 {
3379 int rd;
3380 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3381   {
3382   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3383     *recipient);
3384   rd = Ustrlen(recipient) + 1;
3385   *recipient = rewrite_address_qualify(*recipient, TRUE);
3386   return rd;
3387   }
3388 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3389   smtp_cmd_data);
3390 log_write(L_smtp_syntax_error,
3391   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3392   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3393 return 0;
3394 }
3395
3396
3397
3398
3399 static void
3400 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3401 {
3402 HAD(SCH_QUIT);
3403 incomplete_transaction_log(US"QUIT");
3404 if (acl_smtp_quit)
3405   {
3406   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3407   if (rc == ERROR)
3408     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3409       *log_msgp);
3410   }
3411 if (*user_msgp)
3412   smtp_respond(US"221", 3, TRUE, *user_msgp);
3413 else
3414   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3415
3416 #ifdef SUPPORT_TLS
3417 tls_close(TRUE, TRUE);
3418 #endif
3419
3420 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3421   smtp_get_connection_info());
3422 }
3423
3424
3425 static void
3426 smtp_rset_handler(void)
3427 {
3428 HAD(SCH_RSET);
3429 incomplete_transaction_log(US"RSET");
3430 smtp_printf("250 Reset OK\r\n");
3431 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3432 }
3433
3434
3435
3436 /*************************************************
3437 *       Initialize for SMTP incoming message     *
3438 *************************************************/
3439
3440 /* This function conducts the initial dialogue at the start of an incoming SMTP
3441 message, and builds a list of recipients. However, if the incoming message
3442 is part of a batch (-bS option) a separate function is called since it would
3443 be messy having tests splattered about all over this function. This function
3444 therefore handles the case where interaction is occurring. The input and output
3445 files are set up in smtp_in and smtp_out.
3446
3447 The global recipients_list is set to point to a vector of recipient_item
3448 blocks, whose number is given by recipients_count. This is extended by the
3449 receive_add_recipient() function. The global variable sender_address is set to
3450 the sender's address. The yield is +1 if a message has been successfully
3451 started, 0 if a QUIT command was encountered or the connection was refused from
3452 the particular host, or -1 if the connection was lost.
3453
3454 Argument: none
3455
3456 Returns:  > 0 message successfully started (reached DATA)
3457           = 0 QUIT read or end of file reached or call refused
3458           < 0 lost connection
3459 */
3460
3461 int
3462 smtp_setup_msg(void)
3463 {
3464 int done = 0;
3465 BOOL toomany = FALSE;
3466 BOOL discarded = FALSE;
3467 BOOL last_was_rej_mail = FALSE;
3468 BOOL last_was_rcpt = FALSE;
3469 void *reset_point = store_get(0);
3470
3471 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3472
3473 /* Reset for start of new message. We allow one RSET not to be counted as a
3474 nonmail command, for those MTAs that insist on sending it between every
3475 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3476 TLS between messages (an Exim client may do this if it has messages queued up
3477 for the host). Note: we do NOT reset AUTH at this point. */
3478
3479 smtp_reset(reset_point);
3480 message_ended = END_NOTSTARTED;
3481
3482 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3483
3484 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3485 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3486 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3487 #ifdef SUPPORT_TLS
3488 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3489 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3490 #endif
3491
3492 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3493
3494 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3495
3496 /* Batched SMTP is handled in a different function. */
3497
3498 if (smtp_batched_input) return smtp_setup_batch_msg();
3499
3500 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3501 value. The values are 2 larger than the required yield of the function. */
3502
3503 while (done <= 0)
3504   {
3505   const uschar **argv;
3506   uschar *etrn_command;
3507   uschar *etrn_serialize_key;
3508   uschar *errmess;
3509   uschar *log_msg, *smtp_code;
3510   uschar *user_msg = NULL;
3511   uschar *recipient = NULL;
3512   uschar *hello = NULL;
3513   uschar *s, *ss;
3514   BOOL was_rej_mail = FALSE;
3515   BOOL was_rcpt = FALSE;
3516   void (*oldsignal)(int);
3517   pid_t pid;
3518   int start, end, sender_domain, recipient_domain;
3519   int ptr, size, rc;
3520   int c;
3521   auth_instance *au;
3522   uschar *orcpt = NULL;
3523   int flags;
3524
3525 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3526   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3527   if (  tls_in.active >= 0
3528      && tls_in.peercert
3529      && tls_in.certificate_verified
3530      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3531      )
3532     {
3533     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3534     if (  acl_smtp_auth
3535        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3536                   &user_msg, &log_msg)) != OK
3537        )
3538       {
3539       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3540       continue;
3541       }
3542
3543     for (au = auths; au; au = au->next)
3544       if (strcmpic(US"tls", au->driver_name) == 0)
3545         {
3546         smtp_cmd_data = NULL;
3547
3548         if (smtp_in_auth(au, &s, &ss) == OK)
3549           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3550         else
3551           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3552         break;
3553         }
3554     }
3555 #endif
3556
3557   switch(smtp_read_command(TRUE))
3558     {
3559     /* The AUTH command is not permitted to occur inside a transaction, and may
3560     occur successfully only once per connection. Actually, that isn't quite
3561     true. When TLS is started, all previous information about a connection must
3562     be discarded, so a new AUTH is permitted at that time.
3563
3564     AUTH may only be used when it has been advertised. However, it seems that
3565     there are clients that send AUTH when it hasn't been advertised, some of
3566     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3567     So there's a get-out that allows this to happen.
3568
3569     AUTH is initially labelled as a "nonmail command" so that one occurrence
3570     doesn't get counted. We change the label here so that multiple failing
3571     AUTHS will eventually hit the nonmail threshold. */
3572
3573     case AUTH_CMD:
3574     HAD(SCH_AUTH);
3575     authentication_failed = TRUE;
3576     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3577
3578     if (!auth_advertised && !allow_auth_unadvertised)
3579       {
3580       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3581         US"AUTH command used when not advertised");
3582       break;
3583       }
3584     if (sender_host_authenticated)
3585       {
3586       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3587         US"already authenticated");
3588       break;
3589       }
3590     if (sender_address)
3591       {
3592       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3593         US"not permitted in mail transaction");
3594       break;
3595       }
3596
3597     /* Check the ACL */
3598
3599     if (  acl_smtp_auth
3600        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3601                   &user_msg, &log_msg)) != OK
3602        )
3603       {
3604       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3605       break;
3606       }
3607
3608     /* Find the name of the requested authentication mechanism. */
3609
3610     s = smtp_cmd_data;
3611     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3612       {
3613       if (!isalnum(c) && c != '-' && c != '_')
3614         {
3615         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3616           US"invalid character in authentication mechanism name");
3617         goto COMMAND_LOOP;
3618         }
3619       smtp_cmd_data++;
3620       }
3621
3622     /* If not at the end of the line, we must be at white space. Terminate the
3623     name and move the pointer on to any data that may be present. */
3624
3625     if (*smtp_cmd_data != 0)
3626       {
3627       *smtp_cmd_data++ = 0;
3628       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3629       }
3630
3631     /* Search for an authentication mechanism which is configured for use
3632     as a server and which has been advertised (unless, sigh, allow_auth_
3633     unadvertised is set). */
3634
3635     for (au = auths; au; au = au->next)
3636       if (strcmpic(s, au->public_name) == 0 && au->server &&
3637           (au->advertised || allow_auth_unadvertised))
3638         break;
3639
3640     if (au)
3641       {
3642       c = smtp_in_auth(au, &s, &ss);
3643
3644       smtp_printf("%s\r\n", s);
3645       if (c != OK)
3646         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3647           au->name, host_and_ident(FALSE), ss);
3648       }
3649     else
3650       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3651         string_sprintf("%s authentication mechanism not supported", s));
3652
3653     break;  /* AUTH_CMD */
3654
3655     /* The HELO/EHLO commands are permitted to appear in the middle of a
3656     session as well as at the beginning. They have the effect of a reset in
3657     addition to their other functions. Their absence at the start cannot be
3658     taken to be an error.
3659
3660     RFC 2821 says:
3661
3662       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3663       or 502 failure replies MUST be returned as appropriate.  The SMTP
3664       server MUST stay in the same state after transmitting these replies
3665       that it was in before the EHLO was received.
3666
3667     Therefore, we do not do the reset until after checking the command for
3668     acceptability. This change was made for Exim release 4.11. Previously
3669     it did the reset first. */
3670
3671     case HELO_CMD:
3672     HAD(SCH_HELO);
3673     hello = US"HELO";
3674     esmtp = FALSE;
3675     goto HELO_EHLO;
3676
3677     case EHLO_CMD:
3678     HAD(SCH_EHLO);
3679     hello = US"EHLO";
3680     esmtp = TRUE;
3681
3682     HELO_EHLO:      /* Common code for HELO and EHLO */
3683     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3684     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3685
3686     /* Reject the HELO if its argument was invalid or non-existent. A
3687     successful check causes the argument to be saved in malloc store. */
3688
3689     if (!check_helo(smtp_cmd_data))
3690       {
3691       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3692
3693       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3694         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3695         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3696                            string_printing(smtp_cmd_argument));
3697
3698       if (++synprot_error_count > smtp_max_synprot_errors)
3699         {
3700         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3701           "syntax or protocol errors (last command was \"%s\")",
3702           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3703         done = 1;
3704         }
3705
3706       break;
3707       }
3708
3709     /* If sender_host_unknown is true, we have got here via the -bs interface,
3710     not called from inetd. Otherwise, we are running an IP connection and the
3711     host address will be set. If the helo name is the primary name of this
3712     host and we haven't done a reverse lookup, force one now. If helo_required
3713     is set, ensure that the HELO name matches the actual host. If helo_verify
3714     is set, do the same check, but softly. */
3715
3716     if (!sender_host_unknown)
3717       {
3718       BOOL old_helo_verified = helo_verified;
3719       uschar *p = smtp_cmd_data;
3720
3721       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3722       *p = 0;
3723
3724       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3725       because otherwise the log can be confusing. */
3726
3727       if (sender_host_name == NULL &&
3728            (deliver_domain = sender_helo_name,  /* set $domain */
3729             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3730               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3731         (void)host_name_lookup();
3732
3733       /* Rebuild the fullhost info to include the HELO name (and the real name
3734       if it was looked up.) */
3735
3736       host_build_sender_fullhost();  /* Rebuild */
3737       set_process_info("handling%s incoming connection from %s",
3738         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3739
3740       /* Verify if configured. This doesn't give much security, but it does
3741       make some people happy to be able to do it. If helo_required is set,
3742       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3743       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3744       now obsolescent, since the verification can now be requested selectively
3745       at ACL time. */
3746
3747       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3748       if (helo_required || helo_verify)
3749         {
3750         BOOL tempfail = !smtp_verify_helo();
3751         if (!helo_verified)
3752           {
3753           if (helo_required)
3754             {
3755             smtp_printf("%d %s argument does not match calling host\r\n",
3756               tempfail? 451 : 550, hello);
3757             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3758               tempfail? "temporarily " : "",
3759               hello, sender_helo_name, host_and_ident(FALSE));
3760             helo_verified = old_helo_verified;
3761             break;                   /* End of HELO/EHLO processing */
3762             }
3763           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3764             "helo_try_verify_hosts\n", hello);
3765           }
3766         }
3767       }
3768
3769 #ifdef EXPERIMENTAL_SPF
3770     /* set up SPF context */
3771     spf_init(sender_helo_name, sender_host_address);
3772 #endif
3773
3774     /* Apply an ACL check if one is defined; afterwards, recheck
3775     synchronization in case the client started sending in a delay. */
3776
3777     if (acl_smtp_helo)
3778       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3779                 &user_msg, &log_msg)) != OK)
3780         {
3781         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3782         sender_helo_name = NULL;
3783         host_build_sender_fullhost();  /* Rebuild */
3784         break;
3785         }
3786       else if (!check_sync()) goto SYNC_FAILURE;
3787
3788     /* Generate an OK reply. The default string includes the ident if present,
3789     and also the IP address if present. Reflecting back the ident is intended
3790     as a deterrent to mail forgers. For maximum efficiency, and also because
3791     some broken systems expect each response to be in a single packet, arrange
3792     that the entire reply is sent in one write(). */
3793
3794     auth_advertised = FALSE;
3795     pipelining_advertised = FALSE;
3796 #ifdef SUPPORT_TLS
3797     tls_advertised = FALSE;
3798 #endif
3799     dsn_advertised = FALSE;
3800 #ifdef SUPPORT_I18N
3801     smtputf8_advertised = FALSE;
3802 #endif
3803
3804     smtp_code = US"250 ";        /* Default response code plus space*/
3805     if (user_msg == NULL)
3806       {
3807       s = string_sprintf("%.3s %s Hello %s%s%s",
3808         smtp_code,
3809         smtp_active_hostname,
3810         (sender_ident == NULL)?  US"" : sender_ident,
3811         (sender_ident == NULL)?  US"" : US" at ",
3812         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3813
3814       ptr = Ustrlen(s);
3815       size = ptr + 1;
3816
3817       if (sender_host_address != NULL)
3818         {
3819         s = string_catn(s, &size, &ptr, US" [", 2);
3820         s = string_cat (s, &size, &ptr, sender_host_address);
3821         s = string_catn(s, &size, &ptr, US"]", 1);
3822         }
3823       }
3824
3825     /* A user-supplied EHLO greeting may not contain more than one line. Note
3826     that the code returned by smtp_message_code() includes the terminating
3827     whitespace character. */
3828
3829     else
3830       {
3831       char *ss;
3832       int codelen = 4;
3833       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3834       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3835       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3836         {
3837         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3838           "newlines: message truncated: %s", string_printing(s));
3839         *ss = 0;
3840         }
3841       ptr = Ustrlen(s);
3842       size = ptr + 1;
3843       }
3844
3845     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3846
3847     /* If we received EHLO, we must create a multiline response which includes
3848     the functions supported. */
3849
3850     if (esmtp)
3851       {
3852       s[3] = '-';
3853
3854       /* I'm not entirely happy with this, as an MTA is supposed to check
3855       that it has enough room to accept a message of maximum size before
3856       it sends this. However, there seems little point in not sending it.
3857       The actual size check happens later at MAIL FROM time. By postponing it
3858       till then, VRFY and EXPN can be used after EHLO when space is short. */
3859
3860       if (thismessage_size_limit > 0)
3861         {
3862         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3863           thismessage_size_limit);
3864         s = string_cat(s, &size, &ptr, big_buffer);
3865         }
3866       else
3867         {
3868         s = string_catn(s, &size, &ptr, smtp_code, 3);
3869         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3870         }
3871
3872       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3873       clean; if it has an 8-bit character in its hand, it just sends it. It
3874       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3875       However, some users want this option simply in order to stop MUAs
3876       mangling messages that contain top-bit-set characters. It is therefore
3877       provided as an option. */
3878
3879       if (accept_8bitmime)
3880         {
3881         s = string_catn(s, &size, &ptr, smtp_code, 3);
3882         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3883         }
3884
3885       /* Advertise DSN support if configured to do so. */
3886       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3887         {
3888         s = string_catn(s, &size, &ptr, smtp_code, 3);
3889         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3890         dsn_advertised = TRUE;
3891         }
3892
3893       /* Advertise ETRN if there's an ACL checking whether a host is
3894       permitted to issue it; a check is made when any host actually tries. */
3895
3896       if (acl_smtp_etrn != NULL)
3897         {
3898         s = string_catn(s, &size, &ptr, smtp_code, 3);
3899         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
3900         }
3901
3902       /* Advertise EXPN if there's an ACL checking whether a host is
3903       permitted to issue it; a check is made when any host actually tries. */
3904
3905       if (acl_smtp_expn != NULL)
3906         {
3907         s = string_catn(s, &size, &ptr, smtp_code, 3);
3908         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
3909         }
3910
3911       /* Exim is quite happy with pipelining, so let the other end know that
3912       it is safe to use it, unless advertising is disabled. */
3913
3914       if (pipelining_enable &&
3915           verify_check_host(&pipelining_advertise_hosts) == OK)
3916         {
3917         s = string_catn(s, &size, &ptr, smtp_code, 3);
3918         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3919         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3920         pipelining_advertised = TRUE;
3921         }
3922
3923
3924       /* If any server authentication mechanisms are configured, advertise
3925       them if the current host is in auth_advertise_hosts. The problem with
3926       advertising always is that some clients then require users to
3927       authenticate (and aren't configurable otherwise) even though it may not
3928       be necessary (e.g. if the host is in host_accept_relay).
3929
3930       RFC 2222 states that SASL mechanism names contain only upper case
3931       letters, so output the names in upper case, though we actually recognize
3932       them in either case in the AUTH command. */
3933
3934       if (  auths
3935 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3936          && !sender_host_authenticated
3937 #endif
3938          && verify_check_host(&auth_advertise_hosts) == OK
3939          )
3940         {
3941         auth_instance *au;
3942         BOOL first = TRUE;
3943         for (au = auths; au; au = au->next)
3944           if (au->server && (au->advertise_condition == NULL ||
3945               expand_check_condition(au->advertise_condition, au->name,
3946               US"authenticator")))
3947             {
3948             int saveptr;
3949             if (first)
3950               {
3951               s = string_catn(s, &size, &ptr, smtp_code, 3);
3952               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
3953               first = FALSE;
3954               auth_advertised = TRUE;
3955               }
3956             saveptr = ptr;
3957             s = string_catn(s, &size, &ptr, US" ", 1);
3958             s = string_cat (s, &size, &ptr, au->public_name);
3959             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3960             au->advertised = TRUE;
3961             }
3962           else
3963             au->advertised = FALSE;
3964
3965         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
3966         }
3967
3968       /* RFC 3030 CHUNKING */
3969
3970       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
3971         {
3972         s = string_catn(s, &size, &ptr, smtp_code, 3);
3973         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
3974         chunking_offered = TRUE;
3975         chunking_state = CHUNKING_OFFERED;
3976         }
3977
3978       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3979       if it has been included in the binary, and the host matches
3980       tls_advertise_hosts. We must *not* advertise if we are already in a
3981       secure connection. */
3982
3983 #ifdef SUPPORT_TLS
3984       if (tls_in.active < 0 &&
3985           verify_check_host(&tls_advertise_hosts) != FAIL)
3986         {
3987         s = string_catn(s, &size, &ptr, smtp_code, 3);
3988         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3989         tls_advertised = TRUE;
3990         }
3991 #endif
3992
3993 #ifndef DISABLE_PRDR
3994       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
3995       if (prdr_enable)
3996         {
3997         s = string_catn(s, &size, &ptr, smtp_code, 3);
3998         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
3999         }
4000 #endif
4001
4002 #ifdef SUPPORT_I18N
4003       if (  accept_8bitmime
4004          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4005         {
4006         s = string_catn(s, &size, &ptr, smtp_code, 3);
4007         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4008         smtputf8_advertised = TRUE;
4009         }
4010 #endif
4011
4012       /* Finish off the multiline reply with one that is always available. */
4013
4014       s = string_catn(s, &size, &ptr, smtp_code, 3);
4015       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4016       }
4017
4018     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4019     has been seen. */
4020
4021     s[ptr] = 0;
4022
4023 #ifdef SUPPORT_TLS
4024     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4025 #endif
4026
4027       {
4028       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4029       }
4030     DEBUG(D_receive)
4031       {
4032       uschar *cr;
4033       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4034         memmove(cr, cr + 1, (ptr--) - (cr - s));
4035       debug_printf("SMTP>> %s", s);
4036       }
4037     helo_seen = TRUE;
4038
4039     /* Reset the protocol and the state, abandoning any previous message. */
4040     received_protocol =
4041       (sender_host_address ? protocols : protocols_local)
4042         [ (esmtp
4043           ? pextend + (sender_host_authenticated ? pauthed : 0)
4044           : pnormal)
4045         + (tls_in.active >= 0 ? pcrpted : 0)
4046         ];
4047     smtp_reset(reset_point);
4048     toomany = FALSE;
4049     break;   /* HELO/EHLO */
4050
4051
4052     /* The MAIL command requires an address as an operand. All we do
4053     here is to parse it for syntactic correctness. The form "<>" is
4054     a special case which converts into an empty string. The start/end
4055     pointers in the original are not used further for this address, as
4056     it is the canonical extracted address which is all that is kept. */
4057
4058     case MAIL_CMD:
4059     HAD(SCH_MAIL);
4060     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4061     was_rej_mail = TRUE;               /* Reset if accepted */
4062     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4063
4064     if (helo_required && !helo_seen)
4065       {
4066       smtp_printf("503 HELO or EHLO required\r\n");
4067       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4068         "HELO/EHLO given", host_and_ident(FALSE));
4069       break;
4070       }
4071
4072     if (sender_address != NULL)
4073       {
4074       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4075         US"sender already given");
4076       break;
4077       }
4078
4079     if (smtp_cmd_data[0] == 0)
4080       {
4081       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4082         US"MAIL must have an address operand");
4083       break;
4084       }
4085
4086     /* Check to see if the limit for messages per connection would be
4087     exceeded by accepting further messages. */
4088
4089     if (smtp_accept_max_per_connection > 0 &&
4090         smtp_mailcmd_count > smtp_accept_max_per_connection)
4091       {
4092       smtp_printf("421 too many messages in this connection\r\n");
4093       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4094         "messages in one connection", host_and_ident(TRUE));
4095       break;
4096       }
4097
4098     /* Reset for start of message - even if this is going to fail, we
4099     obviously need to throw away any previous data. */
4100
4101     smtp_reset(reset_point);
4102     toomany = FALSE;
4103     sender_data = recipient_data = NULL;
4104
4105     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4106
4107     if (esmtp) for(;;)
4108       {
4109       uschar *name, *value, *end;
4110       unsigned long int size;
4111       BOOL arg_error = FALSE;
4112
4113       if (!extract_option(&name, &value)) break;
4114
4115       for (mail_args = env_mail_type_list;
4116            mail_args->value != ENV_MAIL_OPT_NULL;
4117            mail_args++
4118           )
4119         if (strcmpic(name, mail_args->name) == 0)
4120           break;
4121       if (mail_args->need_value && strcmpic(value, US"") == 0)
4122         break;
4123
4124       switch(mail_args->value)
4125         {
4126         /* Handle SIZE= by reading the value. We don't do the check till later,
4127         in order to be able to log the sender address on failure. */
4128         case ENV_MAIL_OPT_SIZE:
4129           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4130             {
4131             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4132               size = INT_MAX;
4133             message_size = (int)size;
4134             }
4135           else
4136             arg_error = TRUE;
4137           break;
4138
4139         /* If this session was initiated with EHLO and accept_8bitmime is set,
4140         Exim will have indicated that it supports the BODY=8BITMIME option. In
4141         fact, it does not support this according to the RFCs, in that it does not
4142         take any special action for forwarding messages containing 8-bit
4143         characters. That is why accept_8bitmime is not the default setting, but
4144         some sites want the action that is provided. We recognize both "8BITMIME"
4145         and "7BIT" as body types, but take no action. */
4146         case ENV_MAIL_OPT_BODY:
4147           if (accept_8bitmime) {
4148             if (strcmpic(value, US"8BITMIME") == 0)
4149               body_8bitmime = 8;
4150             else if (strcmpic(value, US"7BIT") == 0)
4151               body_8bitmime = 7;
4152             else
4153               {
4154               body_8bitmime = 0;
4155               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4156                 US"invalid data for BODY");
4157               goto COMMAND_LOOP;
4158               }
4159             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4160             break;
4161           }
4162           arg_error = TRUE;
4163           break;
4164
4165         /* Handle the two DSN options, but only if configured to do so (which
4166         will have caused "DSN" to be given in the EHLO response). The code itself
4167         is included only if configured in at build time. */
4168
4169         case ENV_MAIL_OPT_RET:
4170           if (dsn_advertised)
4171             {
4172             /* Check if RET has already been set */
4173             if (dsn_ret > 0)
4174               {
4175               synprot_error(L_smtp_syntax_error, 501, NULL,
4176                 US"RET can be specified once only");
4177               goto COMMAND_LOOP;
4178               }
4179             dsn_ret = strcmpic(value, US"HDRS") == 0
4180               ? dsn_ret_hdrs
4181               : strcmpic(value, US"FULL") == 0
4182               ? dsn_ret_full
4183               : 0;
4184             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4185             /* Check for invalid invalid value, and exit with error */
4186             if (dsn_ret == 0)
4187               {
4188               synprot_error(L_smtp_syntax_error, 501, NULL,
4189                 US"Value for RET is invalid");
4190               goto COMMAND_LOOP;
4191               }
4192             }
4193           break;
4194         case ENV_MAIL_OPT_ENVID:
4195           if (dsn_advertised)
4196             {
4197             /* Check if the dsn envid has been already set */
4198             if (dsn_envid != NULL)
4199               {
4200               synprot_error(L_smtp_syntax_error, 501, NULL,
4201                 US"ENVID can be specified once only");
4202               goto COMMAND_LOOP;
4203               }
4204             dsn_envid = string_copy(value);
4205             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4206             }
4207           break;
4208
4209         /* Handle the AUTH extension. If the value given is not "<>" and either
4210         the ACL says "yes" or there is no ACL but the sending host is
4211         authenticated, we set it up as the authenticated sender. However, if the
4212         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4213         the condition is met. The value of AUTH is an xtext, which means that +,
4214         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4215         coding. */
4216         case ENV_MAIL_OPT_AUTH:
4217           if (Ustrcmp(value, "<>") != 0)
4218             {
4219             int rc;
4220             uschar *ignore_msg;
4221
4222             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4223               {
4224               /* Put back terminator overrides for error message */
4225               value[-1] = '=';
4226               name[-1] = ' ';
4227               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4228                 US"invalid data for AUTH");
4229               goto COMMAND_LOOP;
4230               }
4231             if (acl_smtp_mailauth == NULL)
4232               {
4233               ignore_msg = US"client not authenticated";
4234               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4235               }
4236             else
4237               {
4238               ignore_msg = US"rejected by ACL";
4239               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4240                 &user_msg, &log_msg);
4241               }
4242
4243             switch (rc)
4244               {
4245               case OK:
4246                 if (authenticated_by == NULL ||
4247                     authenticated_by->mail_auth_condition == NULL ||
4248                     expand_check_condition(authenticated_by->mail_auth_condition,
4249                         authenticated_by->name, US"authenticator"))
4250                   break;     /* Accept the AUTH */
4251
4252                 ignore_msg = US"server_mail_auth_condition failed";
4253                 if (authenticated_id != NULL)
4254                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4255                     ignore_msg, authenticated_id);
4256
4257               /* Fall through */
4258
4259               case FAIL:
4260                 authenticated_sender = NULL;
4261                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4262                   value, host_and_ident(TRUE), ignore_msg);
4263                 break;
4264
4265               /* Should only get DEFER or ERROR here. Put back terminator
4266               overrides for error message */
4267
4268               default:
4269                 value[-1] = '=';
4270                 name[-1] = ' ';
4271                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4272                   log_msg);
4273                 goto COMMAND_LOOP;
4274               }
4275             }
4276             break;
4277
4278 #ifndef DISABLE_PRDR
4279         case ENV_MAIL_OPT_PRDR:
4280           if (prdr_enable)
4281             prdr_requested = TRUE;
4282           break;
4283 #endif
4284
4285 #ifdef SUPPORT_I18N
4286         case ENV_MAIL_OPT_UTF8:
4287           if (smtputf8_advertised)
4288             {
4289             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4290             message_smtputf8 = allow_utf8_domains = TRUE;
4291             received_protocol = string_sprintf("utf8%s", received_protocol);
4292             }
4293           break;
4294 #endif
4295         /* No valid option. Stick back the terminator characters and break
4296         the loop.  Do the name-terminator second as extract_option sets
4297         value==name when it found no equal-sign.
4298         An error for a malformed address will occur. */
4299         case ENV_MAIL_OPT_NULL:
4300           value[-1] = '=';
4301           name[-1] = ' ';
4302           arg_error = TRUE;
4303           break;
4304
4305         default:  assert(0);
4306         }
4307       /* Break out of for loop if switch() had bad argument or
4308          when start of the email address is reached */
4309       if (arg_error) break;
4310       }
4311
4312     /* If we have passed the threshold for rate limiting, apply the current
4313     delay, and update it for next time, provided this is a limited host. */
4314
4315     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4316         verify_check_host(&smtp_ratelimit_hosts) == OK)
4317       {
4318       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4319         smtp_delay_mail/1000.0);
4320       millisleep((int)smtp_delay_mail);
4321       smtp_delay_mail *= smtp_rlm_factor;
4322       if (smtp_delay_mail > (double)smtp_rlm_limit)
4323         smtp_delay_mail = (double)smtp_rlm_limit;
4324       }
4325
4326     /* Now extract the address, first applying any SMTP-time rewriting. The
4327     TRUE flag allows "<>" as a sender address. */
4328
4329     raw_sender = rewrite_existflags & rewrite_smtp
4330       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4331                     global_rewrite_rules)
4332       : smtp_cmd_data;
4333
4334     raw_sender =
4335       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4336         TRUE);
4337
4338     if (!raw_sender)
4339       {
4340       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4341       break;
4342       }
4343
4344     sender_address = raw_sender;
4345
4346     /* If there is a configured size limit for mail, check that this message
4347     doesn't exceed it. The check is postponed to this point so that the sender
4348     can be logged. */
4349
4350     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4351       {
4352       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4353       log_write(L_size_reject,
4354           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4355           "message too big: size%s=%d max=%d",
4356           sender_address,
4357           host_and_ident(TRUE),
4358           (message_size == INT_MAX)? ">" : "",
4359           message_size,
4360           thismessage_size_limit);
4361       sender_address = NULL;
4362       break;
4363       }
4364
4365     /* Check there is enough space on the disk unless configured not to.
4366     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4367     plus the current message - i.e. we accept the message only if it won't
4368     reduce the space below the threshold. Add 5000 to the size to allow for
4369     overheads such as the Received: line and storing of recipients, etc.
4370     By putting the check here, even when SIZE is not given, it allow VRFY
4371     and EXPN etc. to be used when space is short. */
4372
4373     if (!receive_check_fs(
4374          (smtp_check_spool_space && message_size >= 0)?
4375             message_size + 5000 : 0))
4376       {
4377       smtp_printf("452 Space shortage, please try later\r\n");
4378       sender_address = NULL;
4379       break;
4380       }
4381
4382     /* If sender_address is unqualified, reject it, unless this is a locally
4383     generated message, or the sending host or net is permitted to send
4384     unqualified addresses - typically local machines behaving as MUAs -
4385     in which case just qualify the address. The flag is set above at the start
4386     of the SMTP connection. */
4387
4388     if (sender_domain == 0 && sender_address[0] != 0)
4389       {
4390       if (allow_unqualified_sender)
4391         {
4392         sender_domain = Ustrlen(sender_address) + 1;
4393         sender_address = rewrite_address_qualify(sender_address, FALSE);
4394         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4395           raw_sender);
4396         }
4397       else
4398         {
4399         smtp_printf("501 %s: sender address must contain a domain\r\n",
4400           smtp_cmd_data);
4401         log_write(L_smtp_syntax_error,
4402           LOG_MAIN|LOG_REJECT,
4403           "unqualified sender rejected: <%s> %s%s",
4404           raw_sender,
4405           host_and_ident(TRUE),
4406           host_lookup_msg);
4407         sender_address = NULL;
4408         break;
4409         }
4410       }
4411
4412     /* Apply an ACL check if one is defined, before responding. Afterwards,
4413     when pipelining is not advertised, do another sync check in case the ACL
4414     delayed and the client started sending in the meantime. */
4415
4416     if (acl_smtp_mail)
4417       {
4418       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4419       if (rc == OK && !pipelining_advertised && !check_sync())
4420         goto SYNC_FAILURE;
4421       }
4422     else
4423       rc = OK;
4424
4425     if (rc == OK || rc == DISCARD)
4426       {
4427       if (!user_msg)
4428         smtp_printf("%s%s%s", US"250 OK",
4429                   #ifndef DISABLE_PRDR
4430                     prdr_requested ? US", PRDR Requested" : US"",
4431                   #else
4432                     US"",
4433                   #endif
4434                     US"\r\n");
4435       else
4436         {
4437       #ifndef DISABLE_PRDR
4438         if (prdr_requested)
4439            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4440       #endif
4441         smtp_user_msg(US"250", user_msg);
4442         }
4443       smtp_delay_rcpt = smtp_rlr_base;
4444       recipients_discarded = (rc == DISCARD);
4445       was_rej_mail = FALSE;
4446       }
4447     else
4448       {
4449       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4450       sender_address = NULL;
4451       }
4452     break;
4453
4454
4455     /* The RCPT command requires an address as an operand. There may be any
4456     number of RCPT commands, specifying multiple recipients. We build them all
4457     into a data structure. The start/end values given by parse_extract_address
4458     are not used, as we keep only the extracted address. */
4459
4460     case RCPT_CMD:
4461     HAD(SCH_RCPT);
4462     rcpt_count++;
4463     was_rcpt = rcpt_in_progress = TRUE;
4464
4465     /* There must be a sender address; if the sender was rejected and
4466     pipelining was advertised, we assume the client was pipelining, and do not
4467     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4468     get the same treatment. */
4469
4470     if (sender_address == NULL)
4471       {
4472       if (pipelining_advertised && last_was_rej_mail)
4473         {
4474         smtp_printf("503 sender not yet given\r\n");
4475         was_rej_mail = TRUE;
4476         }
4477       else
4478         {
4479         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4480           US"sender not yet given");
4481         was_rcpt = FALSE;             /* Not a valid RCPT */
4482         }
4483       rcpt_fail_count++;
4484       break;
4485       }
4486
4487     /* Check for an operand */
4488
4489     if (smtp_cmd_data[0] == 0)
4490       {
4491       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4492         US"RCPT must have an address operand");
4493       rcpt_fail_count++;
4494       break;
4495       }
4496
4497     /* Set the DSN flags orcpt and dsn_flags from the session*/
4498     orcpt = NULL;
4499     flags = 0;
4500
4501     if (esmtp) for(;;)
4502       {
4503       uschar *name, *value;
4504
4505       if (!extract_option(&name, &value))
4506         break;
4507
4508       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4509         {
4510         /* Check whether orcpt has been already set */
4511         if (orcpt)
4512           {
4513           synprot_error(L_smtp_syntax_error, 501, NULL,
4514             US"ORCPT can be specified once only");
4515           goto COMMAND_LOOP;
4516           }
4517         orcpt = string_copy(value);
4518         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4519         }
4520
4521       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4522         {
4523         /* Check if the notify flags have been already set */
4524         if (flags > 0)
4525           {
4526           synprot_error(L_smtp_syntax_error, 501, NULL,
4527               US"NOTIFY can be specified once only");
4528           goto COMMAND_LOOP;
4529           }
4530         if (strcmpic(value, US"NEVER") == 0)
4531           flags |= rf_notify_never;
4532         else
4533           {
4534           uschar *p = value;
4535           while (*p != 0)
4536             {
4537             uschar *pp = p;
4538             while (*pp != 0 && *pp != ',') pp++;
4539             if (*pp == ',') *pp++ = 0;
4540             if (strcmpic(p, US"SUCCESS") == 0)
4541               {
4542               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4543               flags |= rf_notify_success;
4544               }
4545             else if (strcmpic(p, US"FAILURE") == 0)
4546               {
4547               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4548               flags |= rf_notify_failure;
4549               }
4550             else if (strcmpic(p, US"DELAY") == 0)
4551               {
4552               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4553               flags |= rf_notify_delay;
4554               }
4555             else
4556               {
4557               /* Catch any strange values */
4558               synprot_error(L_smtp_syntax_error, 501, NULL,
4559                 US"Invalid value for NOTIFY parameter");
4560               goto COMMAND_LOOP;
4561               }
4562             p = pp;
4563             }
4564             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4565           }
4566         }
4567
4568       /* Unknown option. Stick back the terminator characters and break
4569       the loop. An error for a malformed address will occur. */
4570
4571       else
4572         {
4573         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4574         name[-1] = ' ';
4575         value[-1] = '=';
4576         break;
4577         }
4578       }
4579
4580     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4581     as a recipient address */
4582
4583     recipient = rewrite_existflags & rewrite_smtp
4584       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4585           global_rewrite_rules)
4586       : smtp_cmd_data;
4587
4588     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4589       &recipient_domain, FALSE)))
4590       {
4591       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4592       rcpt_fail_count++;
4593       break;
4594       }
4595
4596     /* If the recipient address is unqualified, reject it, unless this is a
4597     locally generated message. However, unqualified addresses are permitted
4598     from a configured list of hosts and nets - typically when behaving as
4599     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4600     really. The flag is set at the start of the SMTP connection.
4601
4602     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4603     assumed this meant "reserved local part", but the revision of RFC 821 and
4604     friends now makes it absolutely clear that it means *mailbox*. Consequently
4605     we must always qualify this address, regardless. */
4606
4607     if (recipient_domain == 0)
4608       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4609                                   US"recipient")))
4610         {
4611         rcpt_fail_count++;
4612         break;
4613         }
4614
4615     /* Check maximum allowed */
4616
4617     if (rcpt_count > recipients_max && recipients_max > 0)
4618       {
4619       if (recipients_max_reject)
4620         {
4621         rcpt_fail_count++;
4622         smtp_printf("552 too many recipients\r\n");
4623         if (!toomany)
4624           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4625             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4626         }
4627       else
4628         {
4629         rcpt_defer_count++;
4630         smtp_printf("452 too many recipients\r\n");
4631         if (!toomany)
4632           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4633             "temporarily rejected: sender=<%s> %s", sender_address,
4634             host_and_ident(TRUE));
4635         }
4636
4637       toomany = TRUE;
4638       break;
4639       }
4640
4641     /* If we have passed the threshold for rate limiting, apply the current
4642     delay, and update it for next time, provided this is a limited host. */
4643
4644     if (rcpt_count > smtp_rlr_threshold &&
4645         verify_check_host(&smtp_ratelimit_hosts) == OK)
4646       {
4647       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4648         smtp_delay_rcpt/1000.0);
4649       millisleep((int)smtp_delay_rcpt);
4650       smtp_delay_rcpt *= smtp_rlr_factor;
4651       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4652         smtp_delay_rcpt = (double)smtp_rlr_limit;
4653       }
4654
4655     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4656     for them. Otherwise, check the access control list for this recipient. As
4657     there may be a delay in this, re-check for a synchronization error
4658     afterwards, unless pipelining was advertised. */
4659
4660     if (recipients_discarded) rc = DISCARD; else
4661       {
4662       rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4663         &log_msg);
4664       if (rc == OK && !pipelining_advertised && !check_sync())
4665         goto SYNC_FAILURE;
4666       }
4667
4668     /* The ACL was happy */
4669
4670     if (rc == OK)
4671       {
4672       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4673         else smtp_user_msg(US"250", user_msg);
4674       receive_add_recipient(recipient, -1);
4675
4676       /* Set the dsn flags in the recipients_list */
4677       recipients_list[recipients_count-1].orcpt = orcpt;
4678       recipients_list[recipients_count-1].dsn_flags = flags;
4679
4680       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4681         recipients_list[recipients_count-1].orcpt,
4682         recipients_list[recipients_count-1].dsn_flags);
4683       }
4684
4685     /* The recipient was discarded */
4686
4687     else if (rc == DISCARD)
4688       {
4689       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4690         else smtp_user_msg(US"250", user_msg);
4691       rcpt_fail_count++;
4692       discarded = TRUE;
4693       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4694         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4695         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4696         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4697         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4698       }
4699
4700     /* Either the ACL failed the address, or it was deferred. */
4701
4702     else
4703       {
4704       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4705       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4706       }
4707     break;
4708
4709
4710     /* The DATA command is legal only if it follows successful MAIL FROM
4711     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4712     not counted as a protocol error if it follows RCPT (which must have been
4713     rejected if there are no recipients.) This function is complete when a
4714     valid DATA command is encountered.
4715
4716     Note concerning the code used: RFC 2821 says this:
4717
4718      -  If there was no MAIL, or no RCPT, command, or all such commands
4719         were rejected, the server MAY return a "command out of sequence"
4720         (503) or "no valid recipients" (554) reply in response to the
4721         DATA command.
4722
4723     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4724     because it is the same whether pipelining is in use or not.
4725
4726     If all the RCPT commands that precede DATA provoked the same error message
4727     (often indicating some kind of system error), it is helpful to include it
4728     with the DATA rejection (an idea suggested by Tony Finch). */
4729
4730     case BDAT_CMD:
4731     HAD(SCH_BDAT);
4732       {
4733       int n;
4734
4735       if (chunking_state != CHUNKING_OFFERED)
4736         {
4737         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4738           US"BDAT command used when CHUNKING not advertised");
4739         break;
4740         }
4741
4742       /* grab size, endmarker */
4743
4744       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4745         {
4746         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4747           US"missing size for BDAT command");
4748         break;
4749         }
4750       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4751         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4752       chunking_data_left = chunking_datasize;
4753
4754       lwr_receive_getc = receive_getc;
4755       lwr_receive_ungetc = receive_ungetc;
4756       receive_getc = bdat_getc;
4757       receive_ungetc = bdat_ungetc;
4758
4759       DEBUG(D_any)
4760         debug_printf("chunking state %d\n", (int)chunking_state);
4761       goto DATA_BDAT;
4762       }
4763
4764     case DATA_CMD:
4765     HAD(SCH_DATA);
4766
4767     DATA_BDAT:          /* Common code for DATA and BDAT */
4768     if (!discarded && recipients_count <= 0)
4769       {
4770       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4771         {
4772         uschar *code = US"503";
4773         int len = Ustrlen(rcpt_smtp_response);
4774         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4775           "this error:");
4776         /* Responses from smtp_printf() will have \r\n on the end */
4777         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4778           rcpt_smtp_response[len-2] = 0;
4779         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4780         }
4781       if (pipelining_advertised && last_was_rcpt)
4782         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4783           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4784       else
4785         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4786           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4787           ? US"valid RCPT command must precede DATA"
4788           : US"valid RCPT command must precede BDAT");
4789
4790       if (chunking_state > CHUNKING_OFFERED)
4791         bdat_flush_data();
4792       break;
4793       }
4794
4795     if (toomany && recipients_max_reject)
4796       {
4797       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4798       sender_address_unrewritten = NULL;
4799       smtp_printf("554 Too many recipients\r\n");
4800       break;
4801       }
4802
4803     if (chunking_state > CHUNKING_OFFERED)
4804       {                         /* No predata ACL or go-ahead output for BDAT */
4805       rc = OK;
4806       }
4807     else
4808       {
4809       /* If there is an ACL, re-check the synchronization afterwards, since the
4810       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4811       to get the DATA command sent. */
4812
4813       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4814         rc = OK;
4815       else
4816         {
4817         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4818         enable_dollar_recipients = TRUE;
4819         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4820           &log_msg);
4821         enable_dollar_recipients = FALSE;
4822         if (rc == OK && !check_sync())
4823           goto SYNC_FAILURE;
4824
4825         if (rc != OK)
4826           {     /* Either the ACL failed the address, or it was deferred. */
4827           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4828           break;
4829           }
4830         }
4831
4832       if (user_msg)
4833         smtp_user_msg(US"354", user_msg);
4834       else
4835         smtp_printf(
4836           "354 Enter message, ending with \".\" on a line by itself\r\n");
4837       }
4838
4839     done = 3;
4840     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4841
4842     break;
4843
4844
4845     case VRFY_CMD:
4846       {
4847       uschar * address;
4848
4849       HAD(SCH_VRFY);
4850
4851       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4852             &start, &end, &recipient_domain, FALSE)))
4853         {
4854         smtp_printf("501 %s\r\n", errmess);
4855         break;
4856         }
4857
4858       if (recipient_domain == 0)
4859         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4860                                     US"verify")))
4861           break;
4862
4863       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4864                     &user_msg, &log_msg)) != OK)
4865         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4866       else
4867         {
4868         uschar * s = NULL;
4869         address_item * addr = deliver_make_addr(address, FALSE);
4870
4871         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4872                -1, -1, NULL, NULL, NULL))
4873           {
4874           case OK:
4875             s = string_sprintf("250 <%s> is deliverable", address);
4876             break;
4877
4878           case DEFER:
4879             s = (addr->user_message != NULL)?
4880               string_sprintf("451 <%s> %s", address, addr->user_message) :
4881               string_sprintf("451 Cannot resolve <%s> at this time", address);
4882             break;
4883
4884           case FAIL:
4885             s = (addr->user_message != NULL)?
4886               string_sprintf("550 <%s> %s", address, addr->user_message) :
4887               string_sprintf("550 <%s> is not deliverable", address);
4888             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
4889               smtp_cmd_argument, host_and_ident(TRUE));
4890             break;
4891           }
4892
4893         smtp_printf("%s\r\n", s);
4894         }
4895       break;
4896       }
4897
4898
4899     case EXPN_CMD:
4900     HAD(SCH_EXPN);
4901     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
4902     if (rc != OK)
4903       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
4904     else
4905       {
4906       BOOL save_log_testing_mode = log_testing_mode;
4907       address_test_mode = log_testing_mode = TRUE;
4908       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
4909         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
4910         NULL, NULL, NULL);
4911       address_test_mode = FALSE;
4912       log_testing_mode = save_log_testing_mode;    /* true for -bh */
4913       }
4914     break;
4915
4916
4917     #ifdef SUPPORT_TLS
4918
4919     case STARTTLS_CMD:
4920     HAD(SCH_STARTTLS);
4921     if (!tls_advertised)
4922       {
4923       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4924         US"STARTTLS command used when not advertised");
4925       break;
4926       }
4927
4928     /* Apply an ACL check if one is defined */
4929
4930     if (  acl_smtp_starttls
4931        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
4932                   &user_msg, &log_msg)) != OK
4933        )
4934       {
4935       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
4936       break;
4937       }
4938
4939     /* RFC 2487 is not clear on when this command may be sent, though it
4940     does state that all information previously obtained from the client
4941     must be discarded if a TLS session is started. It seems reasonble to
4942     do an implied RSET when STARTTLS is received. */
4943
4944     incomplete_transaction_log(US"STARTTLS");
4945     smtp_reset(reset_point);
4946     toomany = FALSE;
4947     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
4948
4949     /* There's an attack where more data is read in past the STARTTLS command
4950     before TLS is negotiated, then assumed to be part of the secure session
4951     when used afterwards; we use segregated input buffers, so are not
4952     vulnerable, but we want to note when it happens and, for sheer paranoia,
4953     ensure that the buffer is "wiped".
4954     Pipelining sync checks will normally have protected us too, unless disabled
4955     by configuration. */
4956
4957     if (receive_smtp_buffered())
4958       {
4959       DEBUG(D_any)
4960         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
4961       if (tls_in.active < 0)
4962         smtp_inend = smtp_inptr = smtp_inbuffer;
4963       /* and if TLS is already active, tls_server_start() should fail */
4964       }
4965
4966     /* There is nothing we value in the input buffer and if TLS is succesfully
4967     negotiated, we won't use this buffer again; if TLS fails, we'll just read
4968     fresh content into it.  The buffer contains arbitrary content from an
4969     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
4970     It seems safest to just wipe away the content rather than leave it as a
4971     target to jump to. */
4972
4973     memset(smtp_inbuffer, 0, in_buffer_size);
4974
4975     /* Attempt to start up a TLS session, and if successful, discard all
4976     knowledge that was obtained previously. At least, that's what the RFC says,
4977     and that's what happens by default. However, in order to work round YAEB,
4978     there is an option to remember the esmtp state. Sigh.
4979
4980     We must allow for an extra EHLO command and an extra AUTH command after
4981     STARTTLS that don't add to the nonmail command count. */
4982
4983     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
4984       {
4985       if (!tls_remember_esmtp)
4986         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
4987       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4988       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
4989       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
4990       if (sender_helo_name != NULL)
4991         {
4992         store_free(sender_helo_name);
4993         sender_helo_name = NULL;
4994         host_build_sender_fullhost();  /* Rebuild */
4995         set_process_info("handling incoming TLS connection from %s",
4996           host_and_ident(FALSE));
4997         }
4998       received_protocol =
4999         (sender_host_address ? protocols : protocols_local)
5000           [ (esmtp
5001             ? pextend + (sender_host_authenticated ? pauthed : 0)
5002             : pnormal)
5003           + (tls_in.active >= 0 ? pcrpted : 0)
5004           ];
5005
5006       sender_host_authenticated = NULL;
5007       authenticated_id = NULL;
5008       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5009       DEBUG(D_tls) debug_printf("TLS active\n");
5010       break;     /* Successful STARTTLS */
5011       }
5012
5013     /* Some local configuration problem was discovered before actually trying
5014     to do a TLS handshake; give a temporary error. */
5015
5016     else if (rc == DEFER)
5017       {
5018       smtp_printf("454 TLS currently unavailable\r\n");
5019       break;
5020       }
5021
5022     /* Hard failure. Reject everything except QUIT or closed connection. One
5023     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5024     set, but we must still reject all incoming commands. */
5025
5026     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5027     while (done <= 0) switch(smtp_read_command(FALSE))
5028       {
5029       case EOF_CMD:
5030         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5031           smtp_get_connection_info());
5032         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5033         done = 2;
5034         break;
5035
5036       /* It is perhaps arguable as to which exit ACL should be called here,
5037       but as it is probably a situation that almost never arises, it
5038       probably doesn't matter. We choose to call the real QUIT ACL, which in
5039       some sense is perhaps "right". */
5040
5041       case QUIT_CMD:
5042         user_msg = NULL;
5043         if (  acl_smtp_quit
5044            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5045                               &log_msg)) == ERROR))
5046             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5047               log_msg);
5048         if (user_msg)
5049           smtp_respond(US"221", 3, TRUE, user_msg);
5050         else
5051           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5052         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5053           smtp_get_connection_info());
5054         done = 2;
5055         break;
5056
5057       default:
5058         smtp_printf("554 Security failure\r\n");
5059         break;
5060       }
5061     tls_close(TRUE, TRUE);
5062     break;
5063     #endif
5064
5065
5066     /* The ACL for QUIT is provided for gathering statistical information or
5067     similar; it does not affect the response code, but it can supply a custom
5068     message. */
5069
5070     case QUIT_CMD:
5071     smtp_quit_handler(&user_msg, &log_msg);
5072     done = 2;
5073     break;
5074
5075
5076     case RSET_CMD:
5077     smtp_rset_handler();
5078     smtp_reset(reset_point);
5079     toomany = FALSE;
5080     break;
5081
5082
5083     case NOOP_CMD:
5084     HAD(SCH_NOOP);
5085     smtp_printf("250 OK\r\n");
5086     break;
5087
5088
5089     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5090     used, a check will be done for permitted hosts. Show STARTTLS only if not
5091     already in a TLS session and if it would be advertised in the EHLO
5092     response. */
5093
5094     case HELP_CMD:
5095     HAD(SCH_HELP);
5096     smtp_printf("214-Commands supported:\r\n");
5097       {
5098       uschar buffer[256];
5099       buffer[0] = 0;
5100       Ustrcat(buffer, " AUTH");
5101       #ifdef SUPPORT_TLS
5102       if (tls_in.active < 0 &&
5103           verify_check_host(&tls_advertise_hosts) != FAIL)
5104         Ustrcat(buffer, " STARTTLS");
5105       #endif
5106       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5107       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5108       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5109       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5110       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5111       smtp_printf("214%s\r\n", buffer);
5112       }
5113     break;
5114
5115
5116     case EOF_CMD:
5117     incomplete_transaction_log(US"connection lost");
5118     smtp_notquit_exit(US"connection-lost", US"421",
5119       US"%s lost input connection", smtp_active_hostname);
5120
5121     /* Don't log by default unless in the middle of a message, as some mailers
5122     just drop the call rather than sending QUIT, and it clutters up the logs.
5123     */
5124
5125     if (sender_address != NULL || recipients_count > 0)
5126       log_write(L_lost_incoming_connection,
5127           LOG_MAIN,
5128           "unexpected %s while reading SMTP command from %s%s",
5129           sender_host_unknown? "EOF" : "disconnection",
5130           host_and_ident(FALSE), smtp_read_error);
5131
5132     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5133       smtp_get_connection_info(), smtp_read_error);
5134
5135     done = 1;
5136     break;
5137
5138
5139     case ETRN_CMD:
5140     HAD(SCH_ETRN);
5141     if (sender_address != NULL)
5142       {
5143       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5144         US"ETRN is not permitted inside a transaction");
5145       break;
5146       }
5147
5148     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5149       host_and_ident(FALSE));
5150
5151     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5152                 &user_msg, &log_msg)) != OK)
5153       {
5154       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5155       break;
5156       }
5157
5158     /* Compute the serialization key for this command. */
5159
5160     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5161
5162     /* If a command has been specified for running as a result of ETRN, we
5163     permit any argument to ETRN. If not, only the # standard form is permitted,
5164     since that is strictly the only kind of ETRN that can be implemented
5165     according to the RFC. */
5166
5167     if (smtp_etrn_command != NULL)
5168       {
5169       uschar *error;
5170       BOOL rc;
5171       etrn_command = smtp_etrn_command;
5172       deliver_domain = smtp_cmd_data;
5173       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5174         US"ETRN processing", &error);
5175       deliver_domain = NULL;
5176       if (!rc)
5177         {
5178         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5179           error);
5180         smtp_printf("458 Internal failure\r\n");
5181         break;
5182         }
5183       }
5184
5185     /* Else set up to call Exim with the -R option. */
5186
5187     else
5188       {
5189       if (*smtp_cmd_data++ != '#')
5190         {
5191         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5192           US"argument must begin with #");
5193         break;
5194         }
5195       etrn_command = US"exim -R";
5196       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5197         *queue_name ? 4 : 2,
5198         US"-R", smtp_cmd_data,
5199         US"-MCG", queue_name);
5200       }
5201
5202     /* If we are host-testing, don't actually do anything. */
5203
5204     if (host_checking)
5205       {
5206       HDEBUG(D_any)
5207         {
5208         debug_printf("ETRN command is: %s\n", etrn_command);
5209         debug_printf("ETRN command execution skipped\n");
5210         }
5211       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5212         else smtp_user_msg(US"250", user_msg);
5213       break;
5214       }
5215
5216
5217     /* If ETRN queue runs are to be serialized, check the database to
5218     ensure one isn't already running. */
5219
5220     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5221       {
5222       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5223       break;
5224       }
5225
5226     /* Fork a child process and run the command. We don't want to have to
5227     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5228     forking. It should be set that way anyway for external incoming SMTP,
5229     but we save and restore to be tidy. If serialization is required, we
5230     actually run the command in yet another process, so we can wait for it
5231     to complete and then remove the serialization lock. */
5232
5233     oldsignal = signal(SIGCHLD, SIG_IGN);
5234
5235     if ((pid = fork()) == 0)
5236       {
5237       smtp_input = FALSE;       /* This process is not associated with the */
5238       (void)fclose(smtp_in);    /* SMTP call any more. */
5239       (void)fclose(smtp_out);
5240
5241       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5242
5243       /* If not serializing, do the exec right away. Otherwise, fork down
5244       into another process. */
5245
5246       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5247         {
5248         DEBUG(D_exec) debug_print_argv(argv);
5249         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5250         execv(CS argv[0], (char *const *)argv);
5251         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5252           etrn_command, strerror(errno));
5253         _exit(EXIT_FAILURE);         /* paranoia */
5254         }
5255
5256       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5257       is, we are in the first subprocess, after forking again. All we can do
5258       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5259       complete, before removing the serialization. */
5260
5261       if (pid < 0)
5262         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5263           "failed: %s", strerror(errno));
5264       else
5265         {
5266         int status;
5267         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5268           (int)pid);
5269         (void)wait(&status);
5270         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5271           (int)pid);
5272         }
5273
5274       enq_end(etrn_serialize_key);
5275       _exit(EXIT_SUCCESS);
5276       }
5277
5278     /* Back in the top level SMTP process. Check that we started a subprocess
5279     and restore the signal state. */
5280
5281     if (pid < 0)
5282       {
5283       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5284         strerror(errno));
5285       smtp_printf("458 Unable to fork process\r\n");
5286       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5287       }
5288     else
5289       {
5290       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5291         else smtp_user_msg(US"250", user_msg);
5292       }
5293
5294     signal(SIGCHLD, oldsignal);
5295     break;
5296
5297
5298     case BADARG_CMD:
5299     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5300       US"unexpected argument data");
5301     break;
5302
5303
5304     /* This currently happens only for NULLs, but could be extended. */
5305
5306     case BADCHAR_CMD:
5307     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5308       US"NULL character(s) present (shown as '?')");
5309     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5310     break;
5311
5312
5313     case BADSYN_CMD:
5314     SYNC_FAILURE:
5315     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
5316       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
5317     c = smtp_inend - smtp_inptr;
5318     if (c > 150) c = 150;
5319     smtp_inptr[c] = 0;
5320     incomplete_transaction_log(US"sync failure");
5321     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5322       "(next input sent too soon: pipelining was%s advertised): "
5323       "rejected \"%s\" %s next input=\"%s\"",
5324       pipelining_advertised? "" : " not",
5325       smtp_cmd_buffer, host_and_ident(TRUE),
5326       string_printing(smtp_inptr));
5327     smtp_notquit_exit(US"synchronization-error", US"554",
5328       US"SMTP synchronization error");
5329     done = 1;   /* Pretend eof - drops connection */
5330     break;
5331
5332
5333     case TOO_MANY_NONMAIL_CMD:
5334     s = smtp_cmd_buffer;
5335     while (*s != 0 && !isspace(*s)) s++;
5336     incomplete_transaction_log(US"too many non-mail commands");
5337     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5338       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5339       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5340     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5341     done = 1;   /* Pretend eof - drops connection */
5342     break;
5343
5344 #ifdef SUPPORT_PROXY
5345     case PROXY_FAIL_IGNORE_CMD:
5346     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5347     break;
5348 #endif
5349
5350     default:
5351     if (unknown_command_count++ >= smtp_max_unknown_commands)
5352       {
5353       log_write(L_smtp_syntax_error, LOG_MAIN,
5354         "SMTP syntax error in \"%s\" %s %s",
5355         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5356         US"unrecognized command");
5357       incomplete_transaction_log(US"unrecognized command");
5358       smtp_notquit_exit(US"bad-commands", US"500",
5359         US"Too many unrecognized commands");
5360       done = 2;
5361       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5362         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5363         string_printing(smtp_cmd_buffer));
5364       }
5365     else
5366       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5367         US"unrecognized command");
5368     break;
5369     }
5370
5371   /* This label is used by goto's inside loops that want to break out to
5372   the end of the command-processing loop. */
5373
5374   COMMAND_LOOP:
5375   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5376   last_was_rcpt = was_rcpt;             /* protocol error handling */
5377   continue;
5378   }
5379
5380 return done - 2;  /* Convert yield values */
5381 }
5382
5383 /* vi: aw ai sw=2
5384 */
5385 /* End of smtp_in.c */