Logging: connection_reject log selector should apply also to the connect acl
[exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define smtp_cmd_buffer_size  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define in_buffer_size  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
86   processed the message is sent using a series of BDAT commands"
87   implies that BDAT should be synchronized.  However, we see Google, at least,
88   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
89   processing of the RPCT response(s).  We shall do the same, and not require
90   synch for BDAT. */
91
92   BDAT_CMD,
93
94   /* This is a dummy to identify the non-sync commands when not pipelining */
95
96   NON_SYNC_CMD_NON_PIPELINING,
97
98   /* I have been unable to find a statement about the use of pipelining
99   with AUTH, so to be on the safe side it is here, though I kind of feel
100   it should be up there with the synchronized commands. */
101
102   AUTH_CMD,
103
104   /* I'm not sure about these, but I don't think they matter. */
105
106   QUIT_CMD, HELP_CMD,
107
108 #ifdef SUPPORT_PROXY
109   PROXY_FAIL_IGNORE_CMD,
110 #endif
111
112   /* These are specials that don't correspond to actual commands */
113
114   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
115   TOO_MANY_NONMAIL_CMD };
116
117
118 /* This is a convenience macro for adding the identity of an SMTP command
119 to the circular buffer that holds a list of the last n received. */
120
121 #define HAD(n) \
122     smtp_connection_had[smtp_ch_index++] = n; \
123     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
124
125
126 /*************************************************
127 *                Local static variables          *
128 *************************************************/
129
130 static auth_instance *authenticated_by;
131 static BOOL auth_advertised;
132 #ifdef SUPPORT_TLS
133 static BOOL tls_advertised;
134 #endif
135 static BOOL dsn_advertised;
136 static BOOL esmtp;
137 static BOOL helo_required = FALSE;
138 static BOOL helo_verify = FALSE;
139 static BOOL helo_seen;
140 static BOOL helo_accept_junk;
141 static BOOL count_nonmail;
142 static BOOL pipelining_advertised;
143 static BOOL rcpt_smtp_response_same;
144 static BOOL rcpt_in_progress;
145 static int  nonmail_command_count;
146 static BOOL smtp_exit_function_called = 0;
147 #ifdef SUPPORT_I18N
148 static BOOL smtputf8_advertised;
149 #endif
150 static int  synprot_error_count;
151 static int  unknown_command_count;
152 static int  sync_cmd_limit;
153 static int  smtp_write_error = 0;
154
155 static uschar *rcpt_smtp_response;
156 static uschar *smtp_data_buffer;
157 static uschar *smtp_cmd_data;
158
159 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
160 final fields of all except AUTH are forced TRUE at the start of a new message
161 setup, to allow one of each between messages that is not counted as a nonmail
162 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
163 allow a new EHLO after starting up TLS.
164
165 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
166 counted. However, the flag is changed when AUTH is received, so that multiple
167 failing AUTHs will eventually hit the limit. After a successful AUTH, another
168 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
169 forced TRUE, to allow for the re-authentication that can happen at that point.
170
171 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
172 count of non-mail commands and possibly provoke an error.
173
174 tls_auth is a pseudo-command, never expected in input.  It is activated
175 on TLS startup and looks for a tls authenticator. */
176
177 static smtp_cmd_list cmd_list[] = {
178   /* name         len                     cmd     has_arg is_mail_cmd */
179
180   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
181   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
182   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
183   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
184   #ifdef SUPPORT_TLS
185   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
186   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
187   #endif
188
189 /* If you change anything above here, also fix the definitions below. */
190
191   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
192   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
193   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
194   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
195   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
196   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
197   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
198   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
199   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
200   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
201 };
202
203 static smtp_cmd_list *cmd_list_end =
204   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
205
206 #define CMD_LIST_RSET      0
207 #define CMD_LIST_HELO      1
208 #define CMD_LIST_EHLO      2
209 #define CMD_LIST_AUTH      3
210 #define CMD_LIST_STARTTLS  4
211 #define CMD_LIST_TLS_AUTH  5
212
213 /* This list of names is used for performing the smtp_no_mail logging action.
214 It must be kept in step with the SCH_xxx enumerations. */
215
216 static uschar *smtp_names[] =
217   {
218   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
219   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
220   US"STARTTLS", US"VRFY" };
221
222 static uschar *protocols_local[] = {
223   US"local-smtp",        /* HELO */
224   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
225   US"local-esmtp",       /* EHLO */
226   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
227   US"local-esmtpa",      /* EHLO->AUTH */
228   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
229   };
230 static uschar *protocols[] = {
231   US"smtp",              /* HELO */
232   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
233   US"esmtp",             /* EHLO */
234   US"esmtps",            /* EHLO->STARTTLS->EHLO */
235   US"esmtpa",            /* EHLO->AUTH */
236   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
237   };
238
239 #define pnormal  0
240 #define pextend  2
241 #define pcrpted  1  /* added to pextend or pnormal */
242 #define pauthed  2  /* added to pextend */
243
244 /* Sanity check and validate optional args to MAIL FROM: envelope */
245 enum {
246   ENV_MAIL_OPT_NULL,
247   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
248 #ifndef DISABLE_PRDR
249   ENV_MAIL_OPT_PRDR,
250 #endif
251   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
252 #ifdef SUPPORT_I18N
253   ENV_MAIL_OPT_UTF8,
254 #endif
255   };
256 typedef struct {
257   uschar *   name;  /* option requested during MAIL cmd */
258   int       value;  /* enum type */
259   BOOL need_value;  /* TRUE requires value (name=value pair format)
260                        FALSE is a singleton */
261   } env_mail_type_t;
262 static env_mail_type_t env_mail_type_list[] = {
263     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
264     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
265     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
266 #ifndef DISABLE_PRDR
267     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
268 #endif
269     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
270     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
271 #ifdef SUPPORT_I18N
272     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
273 #endif
274     /* keep this the last entry */
275     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
276   };
277
278 /* When reading SMTP from a remote host, we have to use our own versions of the
279 C input-reading functions, in order to be able to flush the SMTP output only
280 when about to read more data from the socket. This is the only way to get
281 optimal performance when the client is using pipelining. Flushing for every
282 command causes a separate packet and reply packet each time; saving all the
283 responses up (when pipelining) combines them into one packet and one response.
284
285 For simplicity, these functions are used for *all* SMTP input, not only when
286 receiving over a socket. However, after setting up a secure socket (SSL), input
287 is read via the OpenSSL library, and another set of functions is used instead
288 (see tls.c).
289
290 These functions are set in the receive_getc etc. variables and called with the
291 same interface as the C functions. However, since there can only ever be
292 one incoming SMTP call, we just use a single buffer and flags. There is no need
293 to implement a complicated private FILE-like structure.*/
294
295 static uschar *smtp_inbuffer;
296 static uschar *smtp_inptr;
297 static uschar *smtp_inend;
298 static int     smtp_had_eof;
299 static int     smtp_had_error;
300
301
302 /* forward declarations */
303 int bdat_ungetc(int ch);
304 static int smtp_read_command(BOOL check_sync);
305 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
306 static void smtp_quit_handler(uschar **, uschar **);
307 static void smtp_rset_handler(void);
308
309 /*************************************************
310 *          SMTP version of getc()                *
311 *************************************************/
312
313 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
314 it flushes the output, and refills the buffer, with a timeout. The signal
315 handler is set appropriately by the calling function. This function is not used
316 after a connection has negotated itself into an TLS/SSL state.
317
318 Arguments:  none
319 Returns:    the next character or EOF
320 */
321
322 int
323 smtp_getc(void)
324 {
325 if (smtp_inptr >= smtp_inend)
326   {
327   int rc, save_errno;
328   if (!smtp_out) return EOF;
329   fflush(smtp_out);
330   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
331   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
332   save_errno = errno;
333   alarm(0);
334   if (rc <= 0)
335     {
336     /* Must put the error text in fixed store, because this might be during
337     header reading, where it releases unused store above the header. */
338     if (rc < 0)
339       {
340       smtp_had_error = save_errno;
341       smtp_read_error = string_copy_malloc(
342         string_sprintf(" (error: %s)", strerror(save_errno)));
343       }
344     else smtp_had_eof = 1;
345     return EOF;
346     }
347 #ifndef DISABLE_DKIM
348   dkim_exim_verify_feed(smtp_inbuffer, rc);
349 #endif
350   smtp_inend = smtp_inbuffer + rc;
351   smtp_inptr = smtp_inbuffer;
352   }
353 return *smtp_inptr++;
354 }
355
356 void
357 smtp_get_cache(void)
358 {
359 #ifndef DISABLE_DKIM
360 int n = smtp_inend - smtp_inptr;
361 if (n > 0)
362   dkim_exim_verify_feed(smtp_inptr, n);
363 #endif
364 }
365
366
367 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
368 previous BDAT chunk and getting new ones when we run out.  Uses the
369 underlying smtp_getc or tls_getc both for that and for getting the
370 (buffered) data byte.  EOD signals (an expected) no further data.
371 ERR signals a protocol error, and EOF a closed input stream.
372
373 Called from read_bdat_smtp() in receive.c for the message body, but also
374 by the headers read loop in receive_msg(); manipulates chunking_state
375 to handle the BDAT command/response.
376 Placed here due to the correlation with the above smtp_getc(), which it wraps,
377 and also by the need to do smtp command/response handling.
378
379 Arguments:  none
380 Returns:    the next character or ERR, EOD or EOF
381 */
382
383 int
384 bdat_getc(void)
385 {
386 uschar * user_msg = NULL;
387 uschar * log_msg;
388
389 for(;;)
390   {
391   if (chunking_data_left-- > 0)
392     return lwr_receive_getc();
393
394   receive_getc = lwr_receive_getc;
395   receive_ungetc = lwr_receive_ungetc;
396
397   /* If not the last, ack the received chunk.  The last response is delayed
398   until after the data ACL decides on it */
399
400   if (chunking_state == CHUNKING_LAST)
401     {
402 #ifndef DISABLE_DKIM
403     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
404 #endif
405     return EOD;
406     }
407
408   chunking_state = CHUNKING_OFFERED;
409   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
410
411   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
412   QUIT, RSET or NOOP but handling them seems obvious */
413
414 next_cmd:
415   switch(smtp_read_command(TRUE))
416     {
417     default:
418       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
419         US"only BDAT permissible after non-LAST BDAT");
420
421   repeat_until_rset:
422       switch(smtp_read_command(TRUE))
423         {
424         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
425         case EOF_CMD:   return EOF;
426         case RSET_CMD:  smtp_rset_handler(); return ERR;
427         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
428                                           US"only RSET accepted now") > 0)
429                           return EOF;
430                         goto repeat_until_rset;
431         }
432
433     case QUIT_CMD:
434       smtp_quit_handler(&user_msg, &log_msg);
435       /*FALLTHROUGH*/
436     case EOF_CMD:
437       return EOF;
438
439     case RSET_CMD:
440       smtp_rset_handler();
441       return ERR;
442
443     case NOOP_CMD:
444       HAD(SCH_NOOP);
445       smtp_printf("250 OK\r\n");
446       goto next_cmd;
447
448     case BDAT_CMD:
449       {
450       int n;
451
452       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
453         {
454         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
455           US"missing size for BDAT command");
456         return ERR;
457         }
458       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
459         ? CHUNKING_LAST : CHUNKING_ACTIVE;
460       chunking_data_left = chunking_datasize;
461
462       if (chunking_datasize == 0)
463         if (chunking_state == CHUNKING_LAST)
464           return EOD;
465         else
466           {
467           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
468             US"zero size for BDAT command");
469           goto repeat_until_rset;
470           }
471
472       receive_getc = bdat_getc;
473       receive_ungetc = bdat_ungetc;
474       break;    /* to top of main loop */
475       }
476     }
477   }
478 }
479
480 static void
481 bdat_flush_data(void)
482 {
483 while (chunking_data_left-- > 0)
484   if (lwr_receive_getc() < 0)
485     break;
486
487 receive_getc = lwr_receive_getc;
488 receive_ungetc = lwr_receive_ungetc;
489
490 if (chunking_state != CHUNKING_LAST)
491   chunking_state = CHUNKING_OFFERED;
492 }
493
494
495
496
497 /*************************************************
498 *          SMTP version of ungetc()              *
499 *************************************************/
500
501 /* Puts a character back in the input buffer. Only ever
502 called once.
503
504 Arguments:
505   ch           the character
506
507 Returns:       the character
508 */
509
510 int
511 smtp_ungetc(int ch)
512 {
513 *--smtp_inptr = ch;
514 return ch;
515 }
516
517
518 int
519 bdat_ungetc(int ch)
520 {
521 chunking_data_left++;
522 return lwr_receive_ungetc(ch);
523 }
524
525
526
527 /*************************************************
528 *          SMTP version of feof()                *
529 *************************************************/
530
531 /* Tests for a previous EOF
532
533 Arguments:     none
534 Returns:       non-zero if the eof flag is set
535 */
536
537 int
538 smtp_feof(void)
539 {
540 return smtp_had_eof;
541 }
542
543
544
545
546 /*************************************************
547 *          SMTP version of ferror()              *
548 *************************************************/
549
550 /* Tests for a previous read error, and returns with errno
551 restored to what it was when the error was detected.
552
553 Arguments:     none
554 Returns:       non-zero if the error flag is set
555 */
556
557 int
558 smtp_ferror(void)
559 {
560 errno = smtp_had_error;
561 return smtp_had_error;
562 }
563
564
565
566 /*************************************************
567 *      Test for characters in the SMTP buffer    *
568 *************************************************/
569
570 /* Used at the end of a message
571
572 Arguments:     none
573 Returns:       TRUE/FALSE
574 */
575
576 BOOL
577 smtp_buffered(void)
578 {
579 return smtp_inptr < smtp_inend;
580 }
581
582
583
584 /*************************************************
585 *     Write formatted string to SMTP channel     *
586 *************************************************/
587
588 /* This is a separate function so that we don't have to repeat everything for
589 TLS support or debugging. It is global so that the daemon and the
590 authentication functions can use it. It does not return any error indication,
591 because major problems such as dropped connections won't show up till an output
592 flush for non-TLS connections. The smtp_fflush() function is available for
593 checking that: for convenience, TLS output errors are remembered here so that
594 they are also picked up later by smtp_fflush().
595
596 Arguments:
597   format      format string
598   ...         optional arguments
599
600 Returns:      nothing
601 */
602
603 void
604 smtp_printf(const char *format, ...)
605 {
606 va_list ap;
607
608 va_start(ap, format);
609 smtp_vprintf(format, ap);
610 va_end(ap);
611 }
612
613 /* This is split off so that verify.c:respond_printf() can, in effect, call
614 smtp_printf(), bearing in mind that in C a vararg function can't directly
615 call another vararg function, only a function which accepts a va_list. */
616
617 void
618 smtp_vprintf(const char *format, va_list ap)
619 {
620 BOOL yield;
621
622 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
623
624 DEBUG(D_receive)
625   {
626   void *reset_point = store_get(0);
627   uschar *msg_copy, *cr, *end;
628   msg_copy = string_copy(big_buffer);
629   end = msg_copy + Ustrlen(msg_copy);
630   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
631   memmove(cr, cr + 1, (end--) - cr);
632   debug_printf("SMTP>> %s", msg_copy);
633   store_reset(reset_point);
634   }
635
636 if (!yield)
637   {
638   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
639   smtp_closedown(US"Unexpected error");
640   exim_exit(EXIT_FAILURE);
641   }
642
643 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
644 have had the same. Note: this code is also present in smtp_respond(). It would
645 be tidier to have it only in one place, but when it was added, it was easier to
646 do it that way, so as not to have to mess with the code for the RCPT command,
647 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
648
649 if (rcpt_in_progress)
650   {
651   if (rcpt_smtp_response == NULL)
652     rcpt_smtp_response = string_copy(big_buffer);
653   else if (rcpt_smtp_response_same &&
654            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
655     rcpt_smtp_response_same = FALSE;
656   rcpt_in_progress = FALSE;
657   }
658
659 /* Now write the string */
660
661 #ifdef SUPPORT_TLS
662 if (tls_in.active >= 0)
663   {
664   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
665     smtp_write_error = -1;
666   }
667 else
668 #endif
669
670 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
671 }
672
673
674
675 /*************************************************
676 *        Flush SMTP out and check for error      *
677 *************************************************/
678
679 /* This function isn't currently used within Exim (it detects errors when it
680 tries to read the next SMTP input), but is available for use in local_scan().
681 For non-TLS connections, it flushes the output and checks for errors. For
682 TLS-connections, it checks for a previously-detected TLS write error.
683
684 Arguments:  none
685 Returns:    0 for no error; -1 after an error
686 */
687
688 int
689 smtp_fflush(void)
690 {
691 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
692 return smtp_write_error;
693 }
694
695
696
697 /*************************************************
698 *          SMTP command read timeout             *
699 *************************************************/
700
701 /* Signal handler for timing out incoming SMTP commands. This attempts to
702 finish off tidily.
703
704 Argument: signal number (SIGALRM)
705 Returns:  nothing
706 */
707
708 static void
709 command_timeout_handler(int sig)
710 {
711 sig = sig;    /* Keep picky compilers happy */
712 log_write(L_lost_incoming_connection,
713           LOG_MAIN, "SMTP command timeout on%s connection from %s",
714           (tls_in.active >= 0)? " TLS" : "",
715           host_and_ident(FALSE));
716 if (smtp_batched_input)
717   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
718 smtp_notquit_exit(US"command-timeout", US"421",
719   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
720 exim_exit(EXIT_FAILURE);
721 }
722
723
724
725 /*************************************************
726 *               SIGTERM received                 *
727 *************************************************/
728
729 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
730
731 Argument: signal number (SIGTERM)
732 Returns:  nothing
733 */
734
735 static void
736 command_sigterm_handler(int sig)
737 {
738 sig = sig;    /* Keep picky compilers happy */
739 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
740 if (smtp_batched_input)
741   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
742 smtp_notquit_exit(US"signal-exit", US"421",
743   US"%s: Service not available - closing connection", smtp_active_hostname);
744 exim_exit(EXIT_FAILURE);
745 }
746
747
748
749
750 #ifdef SUPPORT_PROXY
751 /*************************************************
752 *     Restore socket timeout to previous value   *
753 *************************************************/
754 /* If the previous value was successfully retrieved, restore
755 it before returning control to the non-proxy routines
756
757 Arguments: fd     - File descriptor for input
758            get_ok - Successfully retrieved previous values
759            tvtmp  - Time struct with previous values
760            vslen  - Length of time struct
761 Returns:   none
762 */
763 static void
764 restore_socket_timeout(int fd, int get_ok, struct timeval tvtmp, socklen_t vslen)
765 {
766 if (get_ok == 0)
767   setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp, vslen);
768 }
769
770 /*************************************************
771 *       Check if host is required proxy host     *
772 *************************************************/
773 /* The function determines if inbound host will be a regular smtp host
774 or if it is configured that it must use Proxy Protocol.
775
776 Arguments: none
777 Returns:   bool
778 */
779
780 static BOOL
781 check_proxy_protocol_host()
782 {
783 int rc;
784 /* Cannot configure local connection as a proxy inbound */
785 if (sender_host_address == NULL) return proxy_session;
786
787 rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
788                            sender_host_address, NULL);
789 if (rc == OK)
790   {
791   DEBUG(D_receive)
792     debug_printf("Detected proxy protocol configured host\n");
793   proxy_session = TRUE;
794   }
795 return proxy_session;
796 }
797
798
799 /*************************************************
800 *         Setup host for proxy protocol          *
801 *************************************************/
802 /* The function configures the connection based on a header from the
803 inbound host to use Proxy Protocol. The specification is very exact
804 so exit with an error if do not find the exact required pieces. This
805 includes an incorrect number of spaces separating args.
806
807 Arguments: none
808 Returns:   int
809 */
810
811 static BOOL
812 setup_proxy_protocol_host()
813 {
814 union {
815   struct {
816     uschar line[108];
817   } v1;
818   struct {
819     uschar sig[12];
820     uint8_t ver_cmd;
821     uint8_t fam;
822     uint16_t len;
823     union {
824       struct { /* TCP/UDP over IPv4, len = 12 */
825         uint32_t src_addr;
826         uint32_t dst_addr;
827         uint16_t src_port;
828         uint16_t dst_port;
829       } ip4;
830       struct { /* TCP/UDP over IPv6, len = 36 */
831         uint8_t  src_addr[16];
832         uint8_t  dst_addr[16];
833         uint16_t src_port;
834         uint16_t dst_port;
835       } ip6;
836       struct { /* AF_UNIX sockets, len = 216 */
837         uschar   src_addr[108];
838         uschar   dst_addr[108];
839       } unx;
840     } addr;
841   } v2;
842 } hdr;
843
844 /* Temp variables used in PPv2 address:port parsing */
845 uint16_t tmpport;
846 char tmpip[INET_ADDRSTRLEN];
847 struct sockaddr_in tmpaddr;
848 char tmpip6[INET6_ADDRSTRLEN];
849 struct sockaddr_in6 tmpaddr6;
850
851 int get_ok = 0;
852 int size, ret, fd;
853 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
854 uschar *iptype;  /* To display debug info */
855 struct timeval tv;
856 socklen_t vslen = 0;
857 struct timeval tvtmp;
858
859 vslen = sizeof(struct timeval);
860
861 fd = fileno(smtp_in);
862
863 /* Save current socket timeout values */
864 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tvtmp,
865                     &vslen);
866
867 /* Proxy Protocol host must send header within a short time
868 (default 3 seconds) or it's considered invalid */
869 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
870 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
871 setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&tv,
872            sizeof(struct timeval));
873
874 do
875   {
876   /* The inbound host was declared to be a Proxy Protocol host, so
877      don't do a PEEK into the data, actually slurp it up. */
878   ret = recv(fd, &hdr, sizeof(hdr), 0);
879   }
880   while (ret == -1 && errno == EINTR);
881
882 if (ret == -1)
883   {
884   restore_socket_timeout(fd, get_ok, tvtmp, vslen);
885   return (errno == EAGAIN) ? 0 : ERRNO_PROXYFAIL;
886   }
887
888 if (ret >= 16 &&
889     memcmp(&hdr.v2, v2sig, 12) == 0)
890   {
891   uint8_t ver, cmd;
892
893   /* May 2014: haproxy combined the version and command into one byte to
894      allow two full bytes for the length field in order to proxy SSL
895      connections.  SSL Proxy is not supported in this version of Exim, but
896      must still seperate values here. */
897   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
898   cmd = (hdr.v2.ver_cmd & 0x0f);
899
900   if (ver != 0x02)
901     {
902     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
903     goto proxyfail;
904     }
905   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
906   /* The v2 header will always be 16 bytes per the spec. */
907   size = 16 + hdr.v2.len;
908   if (ret < size)
909     {
910     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
911                                   ret, size);
912     goto proxyfail;
913     }
914   switch (cmd)
915     {
916     case 0x01: /* PROXY command */
917       switch (hdr.v2.fam)
918         {
919         case 0x11:  /* TCPv4 address type */
920           iptype = US"IPv4";
921           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
922           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
923           if (!string_is_ip_address(US tmpip,NULL))
924             {
925             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
926             return ERRNO_PROXYFAIL;
927             }
928           proxy_local_address = sender_host_address;
929           sender_host_address = string_copy(US tmpip);
930           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
931           proxy_local_port    = sender_host_port;
932           sender_host_port    = tmpport;
933           /* Save dest ip/port */
934           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
935           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
936           if (!string_is_ip_address(US tmpip,NULL))
937             {
938             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
939             return ERRNO_PROXYFAIL;
940             }
941           proxy_external_address = string_copy(US tmpip);
942           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
943           proxy_external_port  = tmpport;
944           goto done;
945         case 0x21:  /* TCPv6 address type */
946           iptype = US"IPv6";
947           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
948           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
949           if (!string_is_ip_address(US tmpip6,NULL))
950             {
951             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
952             return ERRNO_PROXYFAIL;
953             }
954           proxy_local_address = sender_host_address;
955           sender_host_address = string_copy(US tmpip6);
956           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
957           proxy_local_port    = sender_host_port;
958           sender_host_port    = tmpport;
959           /* Save dest ip/port */
960           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
961           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
962           if (!string_is_ip_address(US tmpip6,NULL))
963             {
964             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
965             return ERRNO_PROXYFAIL;
966             }
967           proxy_external_address = string_copy(US tmpip6);
968           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
969           proxy_external_port  = tmpport;
970           goto done;
971         default:
972           DEBUG(D_receive)
973             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
974                          hdr.v2.fam);
975           goto proxyfail;
976         }
977       /* Unsupported protocol, keep local connection address */
978       break;
979     case 0x00: /* LOCAL command */
980       /* Keep local connection address for LOCAL */
981       break;
982     default:
983       DEBUG(D_receive)
984         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
985       goto proxyfail;
986     }
987   }
988 else if (ret >= 8 &&
989          memcmp(hdr.v1.line, "PROXY", 5) == 0)
990   {
991   uschar *p = string_copy(hdr.v1.line);
992   uschar *end = memchr(p, '\r', ret - 1);
993   uschar *sp;     /* Utility variables follow */
994   int     tmp_port;
995   char   *endc;
996
997   if (!end || end[1] != '\n')
998     {
999     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1000     goto proxyfail;
1001     }
1002   *end = '\0'; /* Terminate the string */
1003   size = end + 2 - hdr.v1.line; /* Skip header + CRLF */
1004   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1005   /* Step through the string looking for the required fields. Ensure
1006      strict adherance to required formatting, exit for any error. */
1007   p += 5;
1008   if (!isspace(*(p++)))
1009     {
1010     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1011     goto proxyfail;
1012     }
1013   if (!Ustrncmp(p, CCS"TCP4", 4))
1014     iptype = US"IPv4";
1015   else if (!Ustrncmp(p,CCS"TCP6", 4))
1016     iptype = US"IPv6";
1017   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1018     {
1019     iptype = US"Unknown";
1020     goto done;
1021     }
1022   else
1023     {
1024     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1025     goto proxyfail;
1026     }
1027
1028   p += Ustrlen(iptype);
1029   if (!isspace(*(p++)))
1030     {
1031     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1032     goto proxyfail;
1033     }
1034   /* Find the end of the arg */
1035   if ((sp = Ustrchr(p, ' ')) == NULL)
1036     {
1037     DEBUG(D_receive)
1038       debug_printf("Did not find proxied src %s\n", iptype);
1039     goto proxyfail;
1040     }
1041   *sp = '\0';
1042   if(!string_is_ip_address(p,NULL))
1043     {
1044     DEBUG(D_receive)
1045       debug_printf("Proxied src arg is not an %s address\n", iptype);
1046     goto proxyfail;
1047     }
1048   proxy_local_address = sender_host_address;
1049   sender_host_address = p;
1050   p = sp + 1;
1051   if ((sp = Ustrchr(p, ' ')) == NULL)
1052     {
1053     DEBUG(D_receive)
1054       debug_printf("Did not find proxy dest %s\n", iptype);
1055     goto proxyfail;
1056     }
1057   *sp = '\0';
1058   if(!string_is_ip_address(p,NULL))
1059     {
1060     DEBUG(D_receive)
1061       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1062     goto proxyfail;
1063     }
1064   proxy_external_address = p;
1065   p = sp + 1;
1066   if ((sp = Ustrchr(p, ' ')) == NULL)
1067     {
1068     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1069     goto proxyfail;
1070     }
1071   *sp = '\0';
1072   tmp_port = strtol(CCS p,&endc,10);
1073   if (*endc || tmp_port == 0)
1074     {
1075     DEBUG(D_receive)
1076       debug_printf("Proxied src port '%s' not an integer\n", p);
1077     goto proxyfail;
1078     }
1079   proxy_local_port = sender_host_port;
1080   sender_host_port = tmp_port;
1081   p = sp + 1;
1082   if ((sp = Ustrchr(p, '\0')) == NULL)
1083     {
1084     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1085     goto proxyfail;
1086     }
1087   tmp_port = strtol(CCS p,&endc,10);
1088   if (*endc || tmp_port == 0)
1089     {
1090     DEBUG(D_receive)
1091       debug_printf("Proxy dest port '%s' not an integer\n", p);
1092     goto proxyfail;
1093     }
1094   proxy_external_port = tmp_port;
1095   /* Already checked for /r /n above. Good V1 header received. */
1096   goto done;
1097   }
1098 else
1099   {
1100   /* Wrong protocol */
1101   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1102   goto proxyfail;
1103   }
1104
1105 proxyfail:
1106 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1107 /* Don't flush any potential buffer contents. Any input should cause a
1108    synchronization failure */
1109 return FALSE;
1110
1111 done:
1112 restore_socket_timeout(fd, get_ok, tvtmp, vslen);
1113 DEBUG(D_receive)
1114   debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1115 return proxy_session;
1116 }
1117 #endif
1118
1119 /*************************************************
1120 *           Read one command line                *
1121 *************************************************/
1122
1123 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1124 There are sites that don't do this, and in any case internal SMTP probably
1125 should check only for LF. Consequently, we check here for LF only. The line
1126 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1127 an unknown command. The command is read into the global smtp_cmd_buffer so that
1128 it is available via $smtp_command.
1129
1130 The character reading routine sets up a timeout for each block actually read
1131 from the input (which may contain more than one command). We set up a special
1132 signal handler that closes down the session on a timeout. Control does not
1133 return when it runs.
1134
1135 Arguments:
1136   check_sync   if TRUE, check synchronization rules if global option is TRUE
1137
1138 Returns:       a code identifying the command (enumerated above)
1139 */
1140
1141 static int
1142 smtp_read_command(BOOL check_sync)
1143 {
1144 int c;
1145 int ptr = 0;
1146 smtp_cmd_list *p;
1147 BOOL hadnull = FALSE;
1148
1149 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1150
1151 while ((c = (receive_getc)()) != '\n' && c != EOF)
1152   {
1153   if (ptr >= smtp_cmd_buffer_size)
1154     {
1155     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1156     return OTHER_CMD;
1157     }
1158   if (c == 0)
1159     {
1160     hadnull = TRUE;
1161     c = '?';
1162     }
1163   smtp_cmd_buffer[ptr++] = c;
1164   }
1165
1166 receive_linecount++;    /* For BSMTP errors */
1167 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1168
1169 /* If hit end of file, return pseudo EOF command. Whether we have a
1170 part-line already read doesn't matter, since this is an error state. */
1171
1172 if (c == EOF) return EOF_CMD;
1173
1174 /* Remove any CR and white space at the end of the line, and terminate the
1175 string. */
1176
1177 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1178 smtp_cmd_buffer[ptr] = 0;
1179
1180 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1181
1182 /* NULLs are not allowed in SMTP commands */
1183
1184 if (hadnull) return BADCHAR_CMD;
1185
1186 /* Scan command list and return identity, having set the data pointer
1187 to the start of the actual data characters. Check for SMTP synchronization
1188 if required. */
1189
1190 for (p = cmd_list; p < cmd_list_end; p++)
1191   {
1192   #ifdef SUPPORT_PROXY
1193   /* Only allow QUIT command if Proxy Protocol parsing failed */
1194   if (proxy_session && proxy_session_failed)
1195     {
1196     if (p->cmd != QUIT_CMD)
1197       continue;
1198     }
1199   #endif
1200   if (  p->len
1201      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1202      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1203         || smtp_cmd_buffer[p->len] == 0
1204         || smtp_cmd_buffer[p->len] == ' '
1205      )  )
1206     {
1207     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1208         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1209         check_sync &&                                  /* Local flag set */
1210         smtp_enforce_sync &&                           /* Global flag set */
1211         sender_host_address != NULL &&                 /* Not local input */
1212         !sender_host_notsocket)                        /* Really is a socket */
1213       return BADSYN_CMD;
1214
1215     /* The variables $smtp_command and $smtp_command_argument point into the
1216     unmodified input buffer. A copy of the latter is taken for actual
1217     processing, so that it can be chopped up into separate parts if necessary,
1218     for example, when processing a MAIL command options such as SIZE that can
1219     follow the sender address. */
1220
1221     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1222     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1223     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1224     smtp_cmd_data = smtp_data_buffer;
1225
1226     /* Count non-mail commands from those hosts that are controlled in this
1227     way. The default is all hosts. We don't waste effort checking the list
1228     until we get a non-mail command, but then cache the result to save checking
1229     again. If there's a DEFER while checking the host, assume it's in the list.
1230
1231     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1232     start of each incoming message by fiddling with the value in the table. */
1233
1234     if (!p->is_mail_cmd)
1235       {
1236       if (count_nonmail == TRUE_UNSET) count_nonmail =
1237         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1238       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1239         return TOO_MANY_NONMAIL_CMD;
1240       }
1241
1242     /* If there is data for a command that does not expect it, generate the
1243     error here. */
1244
1245     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1246     }
1247   }
1248
1249 #ifdef SUPPORT_PROXY
1250 /* Only allow QUIT command if Proxy Protocol parsing failed */
1251 if (proxy_session && proxy_session_failed)
1252   return PROXY_FAIL_IGNORE_CMD;
1253 #endif
1254
1255 /* Enforce synchronization for unknown commands */
1256
1257 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1258     check_sync &&                                  /* Local flag set */
1259     smtp_enforce_sync &&                           /* Global flag set */
1260     sender_host_address != NULL &&                 /* Not local input */
1261     !sender_host_notsocket)                        /* Really is a socket */
1262   return BADSYN_CMD;
1263
1264 return OTHER_CMD;
1265 }
1266
1267
1268
1269 /*************************************************
1270 *          Recheck synchronization               *
1271 *************************************************/
1272
1273 /* Synchronization checks can never be perfect because a packet may be on its
1274 way but not arrived when the check is done. Such checks can in any case only be
1275 done when TLS is not in use. Normally, the checks happen when commands are
1276 read: Exim ensures that there is no more input in the input buffer. In normal
1277 cases, the response to the command will be fast, and there is no further check.
1278
1279 However, for some commands an ACL is run, and that can include delays. In those
1280 cases, it is useful to do another check on the input just before sending the
1281 response. This also applies at the start of a connection. This function does
1282 that check by means of the select() function, as long as the facility is not
1283 disabled or inappropriate. A failure of select() is ignored.
1284
1285 When there is unwanted input, we read it so that it appears in the log of the
1286 error.
1287
1288 Arguments: none
1289 Returns:   TRUE if all is well; FALSE if there is input pending
1290 */
1291
1292 static BOOL
1293 check_sync(void)
1294 {
1295 int fd, rc;
1296 fd_set fds;
1297 struct timeval tzero;
1298
1299 if (!smtp_enforce_sync || sender_host_address == NULL ||
1300     sender_host_notsocket || tls_in.active >= 0)
1301   return TRUE;
1302
1303 fd = fileno(smtp_in);
1304 FD_ZERO(&fds);
1305 FD_SET(fd, &fds);
1306 tzero.tv_sec = 0;
1307 tzero.tv_usec = 0;
1308 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
1309
1310 if (rc <= 0) return TRUE;     /* Not ready to read */
1311 rc = smtp_getc();
1312 if (rc < 0) return TRUE;      /* End of file or error */
1313
1314 smtp_ungetc(rc);
1315 rc = smtp_inend - smtp_inptr;
1316 if (rc > 150) rc = 150;
1317 smtp_inptr[rc] = 0;
1318 return FALSE;
1319 }
1320
1321
1322
1323 /*************************************************
1324 *          Forced closedown of call              *
1325 *************************************************/
1326
1327 /* This function is called from log.c when Exim is dying because of a serious
1328 disaster, and also from some other places. If an incoming non-batched SMTP
1329 channel is open, it swallows the rest of the incoming message if in the DATA
1330 phase, sends the reply string, and gives an error to all subsequent commands
1331 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1332 smtp_in.
1333
1334 Arguments:
1335   message   SMTP reply string to send, excluding the code
1336
1337 Returns:    nothing
1338 */
1339
1340 void
1341 smtp_closedown(uschar *message)
1342 {
1343 if (smtp_in == NULL || smtp_batched_input) return;
1344 receive_swallow_smtp();
1345 smtp_printf("421 %s\r\n", message);
1346
1347 for (;;) switch(smtp_read_command(FALSE))
1348   {
1349   case EOF_CMD:
1350   return;
1351
1352   case QUIT_CMD:
1353   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1354   mac_smtp_fflush();
1355   return;
1356
1357   case RSET_CMD:
1358   smtp_printf("250 Reset OK\r\n");
1359   break;
1360
1361   default:
1362   smtp_printf("421 %s\r\n", message);
1363   break;
1364   }
1365 }
1366
1367
1368
1369
1370 /*************************************************
1371 *        Set up connection info for logging      *
1372 *************************************************/
1373
1374 /* This function is called when logging information about an SMTP connection.
1375 It sets up appropriate source information, depending on the type of connection.
1376 If sender_fullhost is NULL, we are at a very early stage of the connection;
1377 just use the IP address.
1378
1379 Argument:    none
1380 Returns:     a string describing the connection
1381 */
1382
1383 uschar *
1384 smtp_get_connection_info(void)
1385 {
1386 uschar *hostname = (sender_fullhost == NULL)?
1387   sender_host_address : sender_fullhost;
1388
1389 if (host_checking)
1390   return string_sprintf("SMTP connection from %s", hostname);
1391
1392 if (sender_host_unknown || sender_host_notsocket)
1393   return string_sprintf("SMTP connection from %s", sender_ident);
1394
1395 if (is_inetd)
1396   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1397
1398 if (LOGGING(incoming_interface) && interface_address != NULL)
1399   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1400     interface_address, interface_port);
1401
1402 return string_sprintf("SMTP connection from %s", hostname);
1403 }
1404
1405
1406
1407 #ifdef SUPPORT_TLS
1408 /* Append TLS-related information to a log line
1409
1410 Arguments:
1411   s             String under construction: allocated string to extend, or NULL
1412   sizep         Pointer to current allocation size (update on return), or NULL
1413   ptrp          Pointer to index for new entries in string (update on return), or NULL
1414
1415 Returns:        Allocated string or NULL
1416 */
1417 static uschar *
1418 s_tlslog(uschar * s, int * sizep, int * ptrp)
1419 {
1420   int size = sizep ? *sizep : 0;
1421   int ptr = ptrp ? *ptrp : 0;
1422
1423   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1424     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1425   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1426     s = string_append(s, &size, &ptr, 2, US" CV=",
1427       tls_in.certificate_verified? "yes":"no");
1428   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1429     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1430       string_printing(tls_in.peerdn), US"\"");
1431   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1432     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1433       string_printing(tls_in.sni), US"\"");
1434
1435   if (s)
1436     {
1437     s[ptr] = '\0';
1438     if (sizep) *sizep = size;
1439     if (ptrp) *ptrp = ptr;
1440     }
1441   return s;
1442 }
1443 #endif
1444
1445 /*************************************************
1446 *      Log lack of MAIL if so configured         *
1447 *************************************************/
1448
1449 /* This function is called when an SMTP session ends. If the log selector
1450 smtp_no_mail is set, write a log line giving some details of what has happened
1451 in the SMTP session.
1452
1453 Arguments:   none
1454 Returns:     nothing
1455 */
1456
1457 void
1458 smtp_log_no_mail(void)
1459 {
1460 int size, ptr, i;
1461 uschar *s, *sep;
1462
1463 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1464   return;
1465
1466 s = NULL;
1467 size = ptr = 0;
1468
1469 if (sender_host_authenticated != NULL)
1470   {
1471   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1472   if (authenticated_id != NULL)
1473     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1474   }
1475
1476 #ifdef SUPPORT_TLS
1477 s = s_tlslog(s, &size, &ptr);
1478 #endif
1479
1480 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1481   US" C=..." : US" C=";
1482 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1483   {
1484   if (smtp_connection_had[i] != SCH_NONE)
1485     {
1486     s = string_append(s, &size, &ptr, 2, sep,
1487       smtp_names[smtp_connection_had[i]]);
1488     sep = US",";
1489     }
1490   }
1491
1492 for (i = 0; i < smtp_ch_index; i++)
1493   {
1494   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1495   sep = US",";
1496   }
1497
1498 if (s != NULL) s[ptr] = 0; else s = US"";
1499 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1500   host_and_ident(FALSE),
1501   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1502   s);
1503 }
1504
1505
1506
1507 /*************************************************
1508 *   Check HELO line and set sender_helo_name     *
1509 *************************************************/
1510
1511 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1512 the domain name of the sending host, or an ip literal in square brackets. The
1513 arrgument is placed in sender_helo_name, which is in malloc store, because it
1514 must persist over multiple incoming messages. If helo_accept_junk is set, this
1515 host is permitted to send any old junk (needed for some broken hosts).
1516 Otherwise, helo_allow_chars can be used for rogue characters in general
1517 (typically people want to let in underscores).
1518
1519 Argument:
1520   s       the data portion of the line (already past any white space)
1521
1522 Returns:  TRUE or FALSE
1523 */
1524
1525 static BOOL
1526 check_helo(uschar *s)
1527 {
1528 uschar *start = s;
1529 uschar *end = s + Ustrlen(s);
1530 BOOL yield = helo_accept_junk;
1531
1532 /* Discard any previous helo name */
1533
1534 if (sender_helo_name != NULL)
1535   {
1536   store_free(sender_helo_name);
1537   sender_helo_name = NULL;
1538   }
1539
1540 /* Skip tests if junk is permitted. */
1541
1542 if (!yield)
1543   {
1544   /* Allow the new standard form for IPv6 address literals, namely,
1545   [IPv6:....], and because someone is bound to use it, allow an equivalent
1546   IPv4 form. Allow plain addresses as well. */
1547
1548   if (*s == '[')
1549     {
1550     if (end[-1] == ']')
1551       {
1552       end[-1] = 0;
1553       if (strncmpic(s, US"[IPv6:", 6) == 0)
1554         yield = (string_is_ip_address(s+6, NULL) == 6);
1555       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1556         yield = (string_is_ip_address(s+6, NULL) == 4);
1557       else
1558         yield = (string_is_ip_address(s+1, NULL) != 0);
1559       end[-1] = ']';
1560       }
1561     }
1562
1563   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1564   that have been configured (usually underscore - sigh). */
1565
1566   else if (*s != 0)
1567     {
1568     yield = TRUE;
1569     while (*s != 0)
1570       {
1571       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1572           Ustrchr(helo_allow_chars, *s) == NULL)
1573         {
1574         yield = FALSE;
1575         break;
1576         }
1577       s++;
1578       }
1579     }
1580   }
1581
1582 /* Save argument if OK */
1583
1584 if (yield) sender_helo_name = string_copy_malloc(start);
1585 return yield;
1586 }
1587
1588
1589
1590
1591
1592 /*************************************************
1593 *         Extract SMTP command option            *
1594 *************************************************/
1595
1596 /* This function picks the next option setting off the end of smtp_cmd_data. It
1597 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1598 things that can appear there.
1599
1600 Arguments:
1601    name           point this at the name
1602    value          point this at the data string
1603
1604 Returns:          TRUE if found an option
1605 */
1606
1607 static BOOL
1608 extract_option(uschar **name, uschar **value)
1609 {
1610 uschar *n;
1611 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1612 while (isspace(*v)) v--;
1613 v[1] = 0;
1614 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
1615
1616 n = v;
1617 if (*v == '=')
1618 {
1619   while(isalpha(n[-1])) n--;
1620   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1621   if (!isspace(n[-1])) return FALSE;
1622   n[-1] = 0;
1623 }
1624 else
1625 {
1626   n++;
1627   if (v == smtp_cmd_data) return FALSE;
1628 }
1629 *v++ = 0;
1630 *name = n;
1631 *value = v;
1632 return TRUE;
1633 }
1634
1635
1636
1637
1638
1639 /*************************************************
1640 *         Reset for new message                  *
1641 *************************************************/
1642
1643 /* This function is called whenever the SMTP session is reset from
1644 within either of the setup functions.
1645
1646 Argument:   the stacking pool storage reset point
1647 Returns:    nothing
1648 */
1649
1650 static void
1651 smtp_reset(void *reset_point)
1652 {
1653 store_reset(reset_point);
1654 recipients_list = NULL;
1655 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1656   raw_recipients_count = recipients_count = recipients_list_max = 0;
1657 cancel_cutthrough_connection("smtp reset");
1658 message_linecount = 0;
1659 message_size = -1;
1660 acl_added_headers = NULL;
1661 acl_removed_headers = NULL;
1662 queue_only_policy = FALSE;
1663 rcpt_smtp_response = NULL;
1664 rcpt_smtp_response_same = TRUE;
1665 rcpt_in_progress = FALSE;
1666 deliver_freeze = FALSE;                              /* Can be set by ACL */
1667 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1668 fake_response = OK;                                  /* Can be set by ACL */
1669 #ifdef WITH_CONTENT_SCAN
1670 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1671 #endif
1672 submission_mode = FALSE;                             /* Can be set by ACL */
1673 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1674 active_local_from_check = local_from_check;          /* Can be set by ACL */
1675 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1676 sender_address = NULL;
1677 submission_name = NULL;                              /* Can be set by ACL */
1678 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1679 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1680 sender_verified_list = NULL;        /* No senders verified */
1681 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1682 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1683
1684 authenticated_sender = NULL;
1685 #ifdef EXPERIMENTAL_BRIGHTMAIL
1686 bmi_run = 0;
1687 bmi_verdicts = NULL;
1688 #endif
1689 #ifndef DISABLE_DKIM
1690 dkim_signers = NULL;
1691 dkim_disable_verify = FALSE;
1692 dkim_collect_input = FALSE;
1693 #endif
1694 dsn_ret = 0;
1695 dsn_envid = NULL;
1696 #ifndef DISABLE_PRDR
1697 prdr_requested = FALSE;
1698 #endif
1699 #ifdef EXPERIMENTAL_SPF
1700 spf_header_comment = NULL;
1701 spf_received = NULL;
1702 spf_result = NULL;
1703 spf_smtp_comment = NULL;
1704 #endif
1705 #ifdef SUPPORT_I18N
1706 message_smtputf8 = FALSE;
1707 #endif
1708 body_linecount = body_zerocount = 0;
1709
1710 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1711 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1712                    /* Note that ratelimiters_conn persists across resets. */
1713
1714 /* Reset message ACL variables */
1715
1716 acl_var_m = NULL;
1717
1718 /* The message body variables use malloc store. They may be set if this is
1719 not the first message in an SMTP session and the previous message caused them
1720 to be referenced in an ACL. */
1721
1722 if (message_body != NULL)
1723   {
1724   store_free(message_body);
1725   message_body = NULL;
1726   }
1727
1728 if (message_body_end != NULL)
1729   {
1730   store_free(message_body_end);
1731   message_body_end = NULL;
1732   }
1733
1734 /* Warning log messages are also saved in malloc store. They are saved to avoid
1735 repetition in the same message, but it seems right to repeat them for different
1736 messages. */
1737
1738 while (acl_warn_logged != NULL)
1739   {
1740   string_item *this = acl_warn_logged;
1741   acl_warn_logged = acl_warn_logged->next;
1742   store_free(this);
1743   }
1744 }
1745
1746
1747
1748
1749
1750 /*************************************************
1751 *  Initialize for incoming batched SMTP message  *
1752 *************************************************/
1753
1754 /* This function is called from smtp_setup_msg() in the case when
1755 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1756 of messages in one file with SMTP commands between them. All errors must be
1757 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1758 relevant. After an error on a sender, or an invalid recipient, the remainder
1759 of the message is skipped. The value of received_protocol is already set.
1760
1761 Argument: none
1762 Returns:  > 0 message successfully started (reached DATA)
1763           = 0 QUIT read or end of file reached
1764           < 0 should not occur
1765 */
1766
1767 static int
1768 smtp_setup_batch_msg(void)
1769 {
1770 int done = 0;
1771 void *reset_point = store_get(0);
1772
1773 /* Save the line count at the start of each transaction - single commands
1774 like HELO and RSET count as whole transactions. */
1775
1776 bsmtp_transaction_linecount = receive_linecount;
1777
1778 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1779
1780 smtp_reset(reset_point);                /* Reset for start of message */
1781
1782 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1783 value. The values are 2 larger than the required yield of the function. */
1784
1785 while (done <= 0)
1786   {
1787   uschar *errmess;
1788   uschar *recipient = NULL;
1789   int start, end, sender_domain, recipient_domain;
1790
1791   switch(smtp_read_command(FALSE))
1792     {
1793     /* The HELO/EHLO commands set sender_address_helo if they have
1794     valid data; otherwise they are ignored, except that they do
1795     a reset of the state. */
1796
1797     case HELO_CMD:
1798     case EHLO_CMD:
1799
1800     check_helo(smtp_cmd_data);
1801     /* Fall through */
1802
1803     case RSET_CMD:
1804     smtp_reset(reset_point);
1805     bsmtp_transaction_linecount = receive_linecount;
1806     break;
1807
1808
1809     /* The MAIL FROM command requires an address as an operand. All we
1810     do here is to parse it for syntactic correctness. The form "<>" is
1811     a special case which converts into an empty string. The start/end
1812     pointers in the original are not used further for this address, as
1813     it is the canonical extracted address which is all that is kept. */
1814
1815     case MAIL_CMD:
1816     smtp_mailcmd_count++;              /* Count for no-mail log */
1817     if (sender_address != NULL)
1818       /* The function moan_smtp_batch() does not return. */
1819       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1820
1821     if (smtp_cmd_data[0] == 0)
1822       /* The function moan_smtp_batch() does not return. */
1823       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1824
1825     /* Reset to start of message */
1826
1827     smtp_reset(reset_point);
1828
1829     /* Apply SMTP rewrite */
1830
1831     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1832       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1833         US"", global_rewrite_rules) : smtp_cmd_data;
1834
1835     /* Extract the address; the TRUE flag allows <> as valid */
1836
1837     raw_sender =
1838       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1839         TRUE);
1840
1841     if (raw_sender == NULL)
1842       /* The function moan_smtp_batch() does not return. */
1843       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1844
1845     sender_address = string_copy(raw_sender);
1846
1847     /* Qualify unqualified sender addresses if permitted to do so. */
1848
1849     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1850       {
1851       if (allow_unqualified_sender)
1852         {
1853         sender_address = rewrite_address_qualify(sender_address, FALSE);
1854         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1855           "and rewritten\n", raw_sender);
1856         }
1857       /* The function moan_smtp_batch() does not return. */
1858       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1859         "a domain");
1860       }
1861     break;
1862
1863
1864     /* The RCPT TO command requires an address as an operand. All we do
1865     here is to parse it for syntactic correctness. There may be any number
1866     of RCPT TO commands, specifying multiple senders. We build them all into
1867     a data structure that is in argc/argv format. The start/end values
1868     given by parse_extract_address are not used, as we keep only the
1869     extracted address. */
1870
1871     case RCPT_CMD:
1872     if (sender_address == NULL)
1873       /* The function moan_smtp_batch() does not return. */
1874       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1875
1876     if (smtp_cmd_data[0] == 0)
1877       /* The function moan_smtp_batch() does not return. */
1878       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1879
1880     /* Check maximum number allowed */
1881
1882     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1883       /* The function moan_smtp_batch() does not return. */
1884       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1885         recipients_max_reject? "552": "452");
1886
1887     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1888     recipient address */
1889
1890     recipient = rewrite_existflags & rewrite_smtp
1891       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1892                     global_rewrite_rules)
1893       : smtp_cmd_data;
1894
1895     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1896       &recipient_domain, FALSE);
1897
1898     if (!recipient)
1899       /* The function moan_smtp_batch() does not return. */
1900       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1901
1902     /* If the recipient address is unqualified, qualify it if permitted. Then
1903     add it to the list of recipients. */
1904
1905     if (recipient_domain == 0)
1906       {
1907       if (allow_unqualified_recipient)
1908         {
1909         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1910           recipient);
1911         recipient = rewrite_address_qualify(recipient, TRUE);
1912         }
1913       /* The function moan_smtp_batch() does not return. */
1914       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1915         "a domain");
1916       }
1917     receive_add_recipient(recipient, -1);
1918     break;
1919
1920
1921     /* The DATA command is legal only if it follows successful MAIL FROM
1922     and RCPT TO commands. This function is complete when a valid DATA
1923     command is encountered. */
1924
1925     case DATA_CMD:
1926     if (sender_address == NULL || recipients_count <= 0)
1927       {
1928       /* The function moan_smtp_batch() does not return. */
1929       if (sender_address == NULL)
1930         moan_smtp_batch(smtp_cmd_buffer,
1931           "503 MAIL FROM:<sender> command must precede DATA");
1932       else
1933         moan_smtp_batch(smtp_cmd_buffer,
1934           "503 RCPT TO:<recipient> must precede DATA");
1935       }
1936     else
1937       {
1938       done = 3;                      /* DATA successfully achieved */
1939       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1940       }
1941     break;
1942
1943
1944     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1945
1946     case VRFY_CMD:
1947     case EXPN_CMD:
1948     case HELP_CMD:
1949     case NOOP_CMD:
1950     case ETRN_CMD:
1951     bsmtp_transaction_linecount = receive_linecount;
1952     break;
1953
1954
1955     case EOF_CMD:
1956     case QUIT_CMD:
1957     done = 2;
1958     break;
1959
1960
1961     case BADARG_CMD:
1962     /* The function moan_smtp_batch() does not return. */
1963     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1964     break;
1965
1966
1967     case BADCHAR_CMD:
1968     /* The function moan_smtp_batch() does not return. */
1969     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1970     break;
1971
1972
1973     default:
1974     /* The function moan_smtp_batch() does not return. */
1975     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1976     break;
1977     }
1978   }
1979
1980 return done - 2;  /* Convert yield values */
1981 }
1982
1983
1984
1985
1986 /*************************************************
1987 *          Start an SMTP session                 *
1988 *************************************************/
1989
1990 /* This function is called at the start of an SMTP session. Thereafter,
1991 smtp_setup_msg() is called to initiate each separate message. This
1992 function does host-specific testing, and outputs the banner line.
1993
1994 Arguments:     none
1995 Returns:       FALSE if the session can not continue; something has
1996                gone wrong, or the connection to the host is blocked
1997 */
1998
1999 BOOL
2000 smtp_start_session(void)
2001 {
2002 int size = 256;
2003 int ptr, esclen;
2004 uschar *user_msg, *log_msg;
2005 uschar *code, *esc;
2006 uschar *p, *s, *ss;
2007
2008 smtp_connection_start = time(NULL);
2009 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2010   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2011 smtp_ch_index = 0;
2012
2013 /* Default values for certain variables */
2014
2015 helo_seen = esmtp = helo_accept_junk = FALSE;
2016 smtp_mailcmd_count = 0;
2017 count_nonmail = TRUE_UNSET;
2018 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2019 smtp_delay_mail = smtp_rlm_base;
2020 auth_advertised = FALSE;
2021 pipelining_advertised = FALSE;
2022 pipelining_enable = TRUE;
2023 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2024 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2025
2026 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2027 authentication settings from -oMaa to remain in force. */
2028
2029 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2030 authenticated_by = NULL;
2031
2032 #ifdef SUPPORT_TLS
2033 tls_in.cipher = tls_in.peerdn = NULL;
2034 tls_in.ourcert = tls_in.peercert = NULL;
2035 tls_in.sni = NULL;
2036 tls_in.ocsp = OCSP_NOT_REQ;
2037 tls_advertised = FALSE;
2038 #endif
2039 dsn_advertised = FALSE;
2040 #ifdef SUPPORT_I18N
2041 smtputf8_advertised = FALSE;
2042 #endif
2043
2044 /* Reset ACL connection variables */
2045
2046 acl_var_c = NULL;
2047
2048 /* Allow for trailing 0 in the command and data buffers. */
2049
2050 if (!(smtp_cmd_buffer = US malloc(2*smtp_cmd_buffer_size + 2)))
2051   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2052     "malloc() failed for SMTP command buffer");
2053
2054 smtp_cmd_buffer[0] = 0;
2055 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
2056
2057 /* For batched input, the protocol setting can be overridden from the
2058 command line by a trusted caller. */
2059
2060 if (smtp_batched_input)
2061   {
2062   if (!received_protocol) received_protocol = US"local-bsmtp";
2063   }
2064
2065 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2066 reset later if any of EHLO/AUTH/STARTTLS are received. */
2067
2068 else
2069   received_protocol =
2070     (sender_host_address ? protocols : protocols_local) [pnormal];
2071
2072 /* Set up the buffer for inputting using direct read() calls, and arrange to
2073 call the local functions instead of the standard C ones. */
2074
2075 if (!(smtp_inbuffer = (uschar *)malloc(in_buffer_size)))
2076   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2077
2078 receive_getc = smtp_getc;
2079 receive_get_cache = smtp_get_cache;
2080 receive_ungetc = smtp_ungetc;
2081 receive_feof = smtp_feof;
2082 receive_ferror = smtp_ferror;
2083 receive_smtp_buffered = smtp_buffered;
2084 smtp_inptr = smtp_inend = smtp_inbuffer;
2085 smtp_had_eof = smtp_had_error = 0;
2086
2087 /* Set up the message size limit; this may be host-specific */
2088
2089 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2090 if (expand_string_message != NULL)
2091   {
2092   if (thismessage_size_limit == -1)
2093     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2094       "%s", expand_string_message);
2095   else
2096     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2097       "%s", expand_string_message);
2098   smtp_closedown(US"Temporary local problem - please try later");
2099   return FALSE;
2100   }
2101
2102 /* When a message is input locally via the -bs or -bS options, sender_host_
2103 unknown is set unless -oMa was used to force an IP address, in which case it
2104 is checked like a real remote connection. When -bs is used from inetd, this
2105 flag is not set, causing the sending host to be checked. The code that deals
2106 with IP source routing (if configured) is never required for -bs or -bS and
2107 the flag sender_host_notsocket is used to suppress it.
2108
2109 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2110 reserve for certain hosts and/or networks. */
2111
2112 if (!sender_host_unknown)
2113   {
2114   int rc;
2115   BOOL reserved_host = FALSE;
2116
2117   /* Look up IP options (source routing info) on the socket if this is not an
2118   -oMa "host", and if any are found, log them and drop the connection.
2119
2120   Linux (and others now, see below) is different to everyone else, so there
2121   has to be some conditional compilation here. Versions of Linux before 2.1.15
2122   used a structure whose name was "options". Somebody finally realized that
2123   this name was silly, and it got changed to "ip_options". I use the
2124   newer name here, but there is a fudge in the script that sets up os.h
2125   to define a macro in older Linux systems.
2126
2127   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2128   glibc 2, which has chosen ip_opts for the structure name. This is now
2129   really a glibc thing rather than a Linux thing, so the condition name
2130   has been changed to reflect this. It is relevant also to GNU/Hurd.
2131
2132   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2133   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2134   a special macro defined in the os.h file.
2135
2136   Some DGUX versions on older hardware appear not to support IP options at
2137   all, so there is now a general macro which can be set to cut out this
2138   support altogether.
2139
2140   How to do this properly in IPv6 is not yet known. */
2141
2142   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2143
2144   #ifdef GLIBC_IP_OPTIONS
2145     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2146     #define OPTSTYLE 1
2147     #else
2148     #define OPTSTYLE 2
2149     #endif
2150   #elif defined DARWIN_IP_OPTIONS
2151     #define OPTSTYLE 2
2152   #else
2153     #define OPTSTYLE 3
2154   #endif
2155
2156   if (!host_checking && !sender_host_notsocket)
2157     {
2158     #if OPTSTYLE == 1
2159     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2160     struct ip_options *ipopt = store_get(optlen);
2161     #elif OPTSTYLE == 2
2162     struct ip_opts ipoptblock;
2163     struct ip_opts *ipopt = &ipoptblock;
2164     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2165     #else
2166     struct ipoption ipoptblock;
2167     struct ipoption *ipopt = &ipoptblock;
2168     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2169     #endif
2170
2171     /* Occasional genuine failures of getsockopt() have been seen - for
2172     example, "reset by peer". Therefore, just log and give up on this
2173     call, unless the error is ENOPROTOOPT. This error is given by systems
2174     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2175     of writing. So for that error, carry on - we just can't do an IP options
2176     check. */
2177
2178     DEBUG(D_receive) debug_printf("checking for IP options\n");
2179
2180     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2181           &optlen) < 0)
2182       {
2183       if (errno != ENOPROTOOPT)
2184         {
2185         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2186           host_and_ident(FALSE), strerror(errno));
2187         smtp_printf("451 SMTP service not available\r\n");
2188         return FALSE;
2189         }
2190       }
2191
2192     /* Deal with any IP options that are set. On the systems I have looked at,
2193     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2194     more logging data than will fit in big_buffer. Nevertheless, after somebody
2195     questioned this code, I've added in some paranoid checking. */
2196
2197     else if (optlen > 0)
2198       {
2199       uschar *p = big_buffer;
2200       uschar *pend = big_buffer + big_buffer_size;
2201       uschar *opt, *adptr;
2202       int optcount;
2203       struct in_addr addr;
2204
2205       #if OPTSTYLE == 1
2206       uschar *optstart = (uschar *)(ipopt->__data);
2207       #elif OPTSTYLE == 2
2208       uschar *optstart = (uschar *)(ipopt->ip_opts);
2209       #else
2210       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2211       #endif
2212
2213       DEBUG(D_receive) debug_printf("IP options exist\n");
2214
2215       Ustrcpy(p, "IP options on incoming call:");
2216       p += Ustrlen(p);
2217
2218       for (opt = optstart; opt != NULL &&
2219            opt < (uschar *)(ipopt) + optlen;)
2220         {
2221         switch (*opt)
2222           {
2223           case IPOPT_EOL:
2224           opt = NULL;
2225           break;
2226
2227           case IPOPT_NOP:
2228           opt++;
2229           break;
2230
2231           case IPOPT_SSRR:
2232           case IPOPT_LSRR:
2233           if (!string_format(p, pend-p, " %s [@%s",
2234                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2235                #if OPTSTYLE == 1
2236                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2237                #elif OPTSTYLE == 2
2238                inet_ntoa(ipopt->ip_dst)))
2239                #else
2240                inet_ntoa(ipopt->ipopt_dst)))
2241                #endif
2242             {
2243             opt = NULL;
2244             break;
2245             }
2246
2247           p += Ustrlen(p);
2248           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2249           adptr = opt + 3;
2250           while (optcount-- > 0)
2251             {
2252             memcpy(&addr, adptr, sizeof(addr));
2253             if (!string_format(p, pend - p - 1, "%s%s",
2254                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2255               {
2256               opt = NULL;
2257               break;
2258               }
2259             p += Ustrlen(p);
2260             adptr += sizeof(struct in_addr);
2261             }
2262           *p++ = ']';
2263           opt += opt[1];
2264           break;
2265
2266           default:
2267             {
2268             int i;
2269             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2270             Ustrcat(p, "[ ");
2271             p += 2;
2272             for (i = 0; i < opt[1]; i++)
2273               {
2274               sprintf(CS p, "%2.2x ", opt[i]);
2275               p += 3;
2276               }
2277             *p++ = ']';
2278             }
2279           opt += opt[1];
2280           break;
2281           }
2282         }
2283
2284       *p = 0;
2285       log_write(0, LOG_MAIN, "%s", big_buffer);
2286
2287       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2288
2289       log_write(0, LOG_MAIN|LOG_REJECT,
2290         "connection from %s refused (IP options)", host_and_ident(FALSE));
2291
2292       smtp_printf("554 SMTP service not available\r\n");
2293       return FALSE;
2294       }
2295
2296     /* Length of options = 0 => there are no options */
2297
2298     else DEBUG(D_receive) debug_printf("no IP options found\n");
2299     }
2300   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2301
2302   /* Set keep-alive in socket options. The option is on by default. This
2303   setting is an attempt to get rid of some hanging connections that stick in
2304   read() when the remote end (usually a dialup) goes away. */
2305
2306   if (smtp_accept_keepalive && !sender_host_notsocket)
2307     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2308
2309   /* If the current host matches host_lookup, set the name by doing a
2310   reverse lookup. On failure, sender_host_name will be NULL and
2311   host_lookup_failed will be TRUE. This may or may not be serious - optional
2312   checks later. */
2313
2314   if (verify_check_host(&host_lookup) == OK)
2315     {
2316     (void)host_name_lookup();
2317     host_build_sender_fullhost();
2318     }
2319
2320   /* Delay this until we have the full name, if it is looked up. */
2321
2322   set_process_info("handling incoming connection from %s",
2323     host_and_ident(FALSE));
2324
2325   /* Expand smtp_receive_timeout, if needed */
2326
2327   if (smtp_receive_timeout_s)
2328     {
2329     uschar * exp;
2330     if (  !(exp = expand_string(smtp_receive_timeout_s))
2331        || !(*exp)
2332        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2333        )
2334       log_write(0, LOG_MAIN|LOG_PANIC,
2335         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2336     }
2337
2338   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2339   smtps port for use with older style SSL MTAs. */
2340
2341   #ifdef SUPPORT_TLS
2342   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2343     return FALSE;
2344   #endif
2345
2346   /* Test for explicit connection rejection */
2347
2348   if (verify_check_host(&host_reject_connection) == OK)
2349     {
2350     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2351       "from %s (host_reject_connection)", host_and_ident(FALSE));
2352     smtp_printf("554 SMTP service not available\r\n");
2353     return FALSE;
2354     }
2355
2356   /* Test with TCP Wrappers if so configured. There is a problem in that
2357   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2358   such as disks dying. In these cases, it is desirable to reject with a 4xx
2359   error instead of a 5xx error. There isn't a "right" way to detect such
2360   problems. The following kludge is used: errno is zeroed before calling
2361   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2362   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2363   not exist). */
2364
2365   #ifdef USE_TCP_WRAPPERS
2366   errno = 0;
2367   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
2368   if (tcp_wrappers_name == NULL)
2369     {
2370     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2371       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2372         expand_string_message);
2373     }
2374   if (!hosts_ctl(tcp_wrappers_name,
2375          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
2376          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
2377          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
2378     {
2379     if (errno == 0 || errno == ENOENT)
2380       {
2381       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2382       log_write(L_connection_reject,
2383                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2384                 "(tcp wrappers)", host_and_ident(FALSE));
2385       smtp_printf("554 SMTP service not available\r\n");
2386       }
2387     else
2388       {
2389       int save_errno = errno;
2390       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2391         "errno value %d\n", save_errno);
2392       log_write(L_connection_reject,
2393                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2394                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2395       smtp_printf("451 Temporary local problem - please try later\r\n");
2396       }
2397     return FALSE;
2398     }
2399   #endif
2400
2401   /* Check for reserved slots. The value of smtp_accept_count has already been
2402   incremented to include this process. */
2403
2404   if (smtp_accept_max > 0 &&
2405       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2406     {
2407     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2408       {
2409       log_write(L_connection_reject,
2410         LOG_MAIN, "temporarily refused connection from %s: not in "
2411         "reserve list: connected=%d max=%d reserve=%d%s",
2412         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2413         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2414       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2415         "please try again later\r\n", smtp_active_hostname);
2416       return FALSE;
2417       }
2418     reserved_host = TRUE;
2419     }
2420
2421   /* If a load level above which only messages from reserved hosts are
2422   accepted is set, check the load. For incoming calls via the daemon, the
2423   check is done in the superior process if there are no reserved hosts, to
2424   save a fork. In all cases, the load average will already be available
2425   in a global variable at this point. */
2426
2427   if (smtp_load_reserve >= 0 &&
2428        load_average > smtp_load_reserve &&
2429        !reserved_host &&
2430        verify_check_host(&smtp_reserve_hosts) != OK)
2431     {
2432     log_write(L_connection_reject,
2433       LOG_MAIN, "temporarily refused connection from %s: not in "
2434       "reserve list and load average = %.2f", host_and_ident(FALSE),
2435       (double)load_average/1000.0);
2436     smtp_printf("421 %s: Too much load; please try again later\r\n",
2437       smtp_active_hostname);
2438     return FALSE;
2439     }
2440
2441   /* Determine whether unqualified senders or recipients are permitted
2442   for this host. Unfortunately, we have to do this every time, in order to
2443   set the flags so that they can be inspected when considering qualifying
2444   addresses in the headers. For a site that permits no qualification, this
2445   won't take long, however. */
2446
2447   allow_unqualified_sender =
2448     verify_check_host(&sender_unqualified_hosts) == OK;
2449
2450   allow_unqualified_recipient =
2451     verify_check_host(&recipient_unqualified_hosts) == OK;
2452
2453   /* Determine whether HELO/EHLO is required for this host. The requirement
2454   can be hard or soft. */
2455
2456   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2457   if (!helo_required)
2458     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2459
2460   /* Determine whether this hosts is permitted to send syntactic junk
2461   after a HELO or EHLO command. */
2462
2463   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2464   }
2465
2466 /* For batch SMTP input we are now done. */
2467
2468 if (smtp_batched_input) return TRUE;
2469
2470 #ifdef SUPPORT_PROXY
2471 /* If valid Proxy Protocol source is connecting, set up session.
2472  * Failure will not allow any SMTP function other than QUIT. */
2473 proxy_session = FALSE;
2474 proxy_session_failed = FALSE;
2475 if (check_proxy_protocol_host())
2476   if (setup_proxy_protocol_host() == FALSE)
2477     {
2478     proxy_session_failed = TRUE;
2479     DEBUG(D_receive)
2480       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
2481     }
2482   else
2483     {
2484     sender_host_name = NULL;
2485     (void)host_name_lookup();
2486     host_build_sender_fullhost();
2487     }
2488 #endif
2489
2490 /* Run the ACL if it exists */
2491
2492 user_msg = NULL;
2493 if (acl_smtp_connect)
2494   {
2495   int rc;
2496   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2497                       &log_msg)) != OK)
2498     {
2499     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2500     return FALSE;
2501     }
2502   }
2503
2504 /* Output the initial message for a two-way SMTP connection. It may contain
2505 newlines, which then cause a multi-line response to be given. */
2506
2507 code = US"220";   /* Default status code */
2508 esc = US"";       /* Default extended status code */
2509 esclen = 0;       /* Length of esc */
2510
2511 if (!user_msg)
2512   {
2513   if (!(s = expand_string(smtp_banner)))
2514     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2515       "failed: %s", smtp_banner, expand_string_message);
2516   }
2517 else
2518   {
2519   int codelen = 3;
2520   s = user_msg;
2521   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2522   if (codelen > 4)
2523     {
2524     esc = code + 4;
2525     esclen = codelen - 4;
2526     }
2527   }
2528
2529 /* Remove any terminating newlines; might as well remove trailing space too */
2530
2531 p = s + Ustrlen(s);
2532 while (p > s && isspace(p[-1])) p--;
2533 *p = 0;
2534
2535 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2536 is all contained in a single IP packet. The original code wrote out the
2537 greeting using several calls to fprint/fputc, and on busy servers this could
2538 cause it to be split over more than one packet - which caused CC:Mail to fall
2539 over when it got the second part of the greeting after sending its first
2540 command. Sigh. To try to avoid this, build the complete greeting message
2541 first, and output it in one fell swoop. This gives a better chance of it
2542 ending up as a single packet. */
2543
2544 ss = store_get(size);
2545 ptr = 0;
2546
2547 p = s;
2548 do       /* At least once, in case we have an empty string */
2549   {
2550   int len;
2551   uschar *linebreak = Ustrchr(p, '\n');
2552   ss = string_catn(ss, &size, &ptr, code, 3);
2553   if (linebreak == NULL)
2554     {
2555     len = Ustrlen(p);
2556     ss = string_catn(ss, &size, &ptr, US" ", 1);
2557     }
2558   else
2559     {
2560     len = linebreak - p;
2561     ss = string_catn(ss, &size, &ptr, US"-", 1);
2562     }
2563   ss = string_catn(ss, &size, &ptr, esc, esclen);
2564   ss = string_catn(ss, &size, &ptr, p, len);
2565   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2566   p += len;
2567   if (linebreak != NULL) p++;
2568   }
2569 while (*p != 0);
2570
2571 ss[ptr] = 0;  /* string_cat leaves room for this */
2572
2573 /* Before we write the banner, check that there is no input pending, unless
2574 this synchronisation check is disabled. */
2575
2576 if (!check_sync())
2577   {
2578   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2579     "synchronization error (input sent without waiting for greeting): "
2580     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2581     string_printing(smtp_inptr));
2582   smtp_printf("554 SMTP synchronization error\r\n");
2583   return FALSE;
2584   }
2585
2586 /* Now output the banner */
2587
2588 smtp_printf("%s", ss);
2589 return TRUE;
2590 }
2591
2592
2593
2594
2595
2596 /*************************************************
2597 *     Handle SMTP syntax and protocol errors     *
2598 *************************************************/
2599
2600 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2601 to do so. Then transmit the error response. The return value depends on the
2602 number of syntax and protocol errors in this SMTP session.
2603
2604 Arguments:
2605   type      error type, given as a log flag bit
2606   code      response code; <= 0 means don't send a response
2607   data      data to reflect in the response (can be NULL)
2608   errmess   the error message
2609
2610 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2611             +1   limit of syntax/protocol errors IS exceeded
2612
2613 These values fit in with the values of the "done" variable in the main
2614 processing loop in smtp_setup_msg(). */
2615
2616 static int
2617 synprot_error(int type, int code, uschar *data, uschar *errmess)
2618 {
2619 int yield = -1;
2620
2621 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2622   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2623   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2624
2625 if (++synprot_error_count > smtp_max_synprot_errors)
2626   {
2627   yield = 1;
2628   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2629     "syntax or protocol errors (last command was \"%s\")",
2630     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2631   }
2632
2633 if (code > 0)
2634   {
2635   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2636     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2637   if (yield == 1)
2638     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2639   }
2640
2641 return yield;
2642 }
2643
2644
2645
2646
2647 /*************************************************
2648 *          Log incomplete transactions           *
2649 *************************************************/
2650
2651 /* This function is called after a transaction has been aborted by RSET, QUIT,
2652 connection drops or other errors. It logs the envelope information received
2653 so far in order to preserve address verification attempts.
2654
2655 Argument:   string to indicate what aborted the transaction
2656 Returns:    nothing
2657 */
2658
2659 static void
2660 incomplete_transaction_log(uschar *what)
2661 {
2662 if (sender_address == NULL ||                 /* No transaction in progress */
2663     !LOGGING(smtp_incomplete_transaction))
2664   return;
2665
2666 /* Build list of recipients for logging */
2667
2668 if (recipients_count > 0)
2669   {
2670   int i;
2671   raw_recipients = store_get(recipients_count * sizeof(uschar *));
2672   for (i = 0; i < recipients_count; i++)
2673     raw_recipients[i] = recipients_list[i].address;
2674   raw_recipients_count = recipients_count;
2675   }
2676
2677 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
2678   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
2679 }
2680
2681
2682
2683
2684 /*************************************************
2685 *    Send SMTP response, possibly multiline      *
2686 *************************************************/
2687
2688 /* There are, it seems, broken clients out there that cannot handle multiline
2689 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2690 output nothing for non-final calls, and only the first line for anything else.
2691
2692 Arguments:
2693   code          SMTP code, may involve extended status codes
2694   codelen       length of smtp code; if > 4 there's an ESC
2695   final         FALSE if the last line isn't the final line
2696   msg           message text, possibly containing newlines
2697
2698 Returns:        nothing
2699 */
2700
2701 void
2702 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2703 {
2704 int esclen = 0;
2705 uschar *esc = US"";
2706
2707 if (!final && no_multiline_responses) return;
2708
2709 if (codelen > 4)
2710   {
2711   esc = code + 4;
2712   esclen = codelen - 4;
2713   }
2714
2715 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2716 have had the same. Note: this code is also present in smtp_printf(). It would
2717 be tidier to have it only in one place, but when it was added, it was easier to
2718 do it that way, so as not to have to mess with the code for the RCPT command,
2719 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2720
2721 if (rcpt_in_progress)
2722   {
2723   if (rcpt_smtp_response == NULL)
2724     rcpt_smtp_response = string_copy(msg);
2725   else if (rcpt_smtp_response_same &&
2726            Ustrcmp(rcpt_smtp_response, msg) != 0)
2727     rcpt_smtp_response_same = FALSE;
2728   rcpt_in_progress = FALSE;
2729   }
2730
2731 /* Not output the message, splitting it up into multiple lines if necessary. */
2732
2733 for (;;)
2734   {
2735   uschar *nl = Ustrchr(msg, '\n');
2736   if (nl == NULL)
2737     {
2738     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2739     return;
2740     }
2741   else if (nl[1] == 0 || no_multiline_responses)
2742     {
2743     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2744       (int)(nl - msg), msg);
2745     return;
2746     }
2747   else
2748     {
2749     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2750     msg = nl + 1;
2751     while (isspace(*msg)) msg++;
2752     }
2753   }
2754 }
2755
2756
2757
2758
2759 /*************************************************
2760 *            Parse user SMTP message             *
2761 *************************************************/
2762
2763 /* This function allows for user messages overriding the response code details
2764 by providing a suitable response code string at the start of the message
2765 user_msg. Check the message for starting with a response code and optionally an
2766 extended status code. If found, check that the first digit is valid, and if so,
2767 change the code pointer and length to use the replacement. An invalid code
2768 causes a panic log; in this case, if the log messages is the same as the user
2769 message, we must also adjust the value of the log message to show the code that
2770 is actually going to be used (the original one).
2771
2772 This function is global because it is called from receive.c as well as within
2773 this module.
2774
2775 Note that the code length returned includes the terminating whitespace
2776 character, which is always included in the regex match.
2777
2778 Arguments:
2779   code          SMTP code, may involve extended status codes
2780   codelen       length of smtp code; if > 4 there's an ESC
2781   msg           message text
2782   log_msg       optional log message, to be adjusted with the new SMTP code
2783   check_valid   if true, verify the response code
2784
2785 Returns:        nothing
2786 */
2787
2788 void
2789 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2790   BOOL check_valid)
2791 {
2792 int n;
2793 int ovector[3];
2794
2795 if (!msg || !*msg) return;
2796
2797 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2798   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2799
2800 if (check_valid && (*msg)[0] != (*code)[0])
2801   {
2802   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2803     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2804   if (log_msg != NULL && *log_msg == *msg)
2805     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2806   }
2807 else
2808   {
2809   *code = *msg;
2810   *codelen = ovector[1];    /* Includes final space */
2811   }
2812 *msg += ovector[1];         /* Chop the code off the message */
2813 return;
2814 }
2815
2816
2817
2818
2819 /*************************************************
2820 *           Handle an ACL failure                *
2821 *************************************************/
2822
2823 /* This function is called when acl_check() fails. As well as calls from within
2824 this module, it is called from receive.c for an ACL after DATA. It sorts out
2825 logging the incident, and sets up the error response. A message containing
2826 newlines is turned into a multiline SMTP response, but for logging, only the
2827 first line is used.
2828
2829 There's a table of default permanent failure response codes to use in
2830 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2831 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2832 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2833 state, because there are broken clients that try VRFY before RCPT. A 5xx
2834 response should be given only when the address is positively known to be
2835 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2836 no explicit code, but if there is one we let it know best.
2837 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2838
2839 From Exim 4.63, it is possible to override the response code details by
2840 providing a suitable response code string at the start of the message provided
2841 in user_msg. The code's first digit is checked for validity.
2842
2843 Arguments:
2844   where        where the ACL was called from
2845   rc           the failure code
2846   user_msg     a message that can be included in an SMTP response
2847   log_msg      a message for logging
2848
2849 Returns:     0 in most cases
2850              2 if the failure code was FAIL_DROP, in which case the
2851                SMTP connection should be dropped (this value fits with the
2852                "done" variable in smtp_setup_msg() below)
2853 */
2854
2855 int
2856 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2857 {
2858 BOOL drop = rc == FAIL_DROP;
2859 int codelen = 3;
2860 uschar *smtp_code;
2861 uschar *lognl;
2862 uschar *sender_info = US"";
2863 uschar *what =
2864 #ifdef WITH_CONTENT_SCAN
2865   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
2866 #endif
2867   where == ACL_WHERE_PREDATA ? US"DATA" :
2868   where == ACL_WHERE_DATA ? US"after DATA" :
2869 #ifndef DISABLE_PRDR
2870   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
2871 #endif
2872   smtp_cmd_data ?
2873     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
2874     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
2875
2876 if (drop) rc = FAIL;
2877
2878 /* Set the default SMTP code, and allow a user message to change it. */
2879
2880 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2881 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2882   where != ACL_WHERE_VRFY);
2883
2884 /* We used to have sender_address here; however, there was a bug that was not
2885 updating sender_address after a rewrite during a verify. When this bug was
2886 fixed, sender_address at this point became the rewritten address. I'm not sure
2887 this is what should be logged, so I've changed to logging the unrewritten
2888 address to retain backward compatibility. */
2889
2890 #ifndef WITH_CONTENT_SCAN
2891 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2892 #else
2893 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2894 #endif
2895   {
2896   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2897     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2898     sender_host_authenticated ? US" A="                                    : US"",
2899     sender_host_authenticated ? sender_host_authenticated                  : US"",
2900     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2901     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2902     );
2903   }
2904
2905 /* If there's been a sender verification failure with a specific message, and
2906 we have not sent a response about it yet, do so now, as a preliminary line for
2907 failures, but not defers. However, always log it for defer, and log it for fail
2908 unless the sender_verify_fail log selector has been turned off. */
2909
2910 if (sender_verified_failed != NULL &&
2911     !testflag(sender_verified_failed, af_sverify_told))
2912   {
2913   BOOL save_rcpt_in_progress = rcpt_in_progress;
2914   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2915
2916   setflag(sender_verified_failed, af_sverify_told);
2917
2918   if (rc != FAIL || LOGGING(sender_verify_fail))
2919     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2920       host_and_ident(TRUE),
2921       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2922       sender_verified_failed->address,
2923       (sender_verified_failed->message == NULL)? US"" :
2924       string_sprintf(": %s", sender_verified_failed->message));
2925
2926   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2927     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2928         testflag(sender_verified_failed, af_verify_pmfail)?
2929           "Postmaster verification failed while checking <%s>\n%s\n"
2930           "Several RFCs state that you are required to have a postmaster\n"
2931           "mailbox for each mail domain. This host does not accept mail\n"
2932           "from domains whose servers reject the postmaster address."
2933           :
2934         testflag(sender_verified_failed, af_verify_nsfail)?
2935           "Callback setup failed while verifying <%s>\n%s\n"
2936           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2937           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2938           "RFC requirements, and stops you from receiving standard bounce\n"
2939           "messages. This host does not accept mail from domains whose servers\n"
2940           "refuse bounces."
2941           :
2942           "Verification failed for <%s>\n%s",
2943         sender_verified_failed->address,
2944         sender_verified_failed->user_message));
2945
2946   rcpt_in_progress = save_rcpt_in_progress;
2947   }
2948
2949 /* Sort out text for logging */
2950
2951 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
2952 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
2953
2954 /* Send permanent failure response to the command, but the code used isn't
2955 always a 5xx one - see comments at the start of this function. If the original
2956 rc was FAIL_DROP we drop the connection and yield 2. */
2957
2958 if (rc == FAIL)
2959   smtp_respond(smtp_code, codelen, TRUE,
2960     user_msg ? user_msg : US"Administrative prohibition");
2961
2962 /* Send temporary failure response to the command. Don't give any details,
2963 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2964 verb, and for a header verify when smtp_return_error_details is set.
2965
2966 This conditional logic is all somewhat of a mess because of the odd
2967 interactions between temp_details and return_error_details. One day it should
2968 be re-implemented in a tidier fashion. */
2969
2970 else
2971   if (acl_temp_details && user_msg)
2972     {
2973     if (  smtp_return_error_details
2974        && sender_verified_failed
2975        && sender_verified_failed->message
2976        )
2977       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2978
2979     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2980     }
2981   else
2982     smtp_respond(smtp_code, codelen, TRUE,
2983       US"Temporary local problem - please try later");
2984
2985 /* Log the incident to the logs that are specified by log_reject_target
2986 (default main, reject). This can be empty to suppress logging of rejections. If
2987 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2988 is closing if required and return 2.  */
2989
2990 if (log_reject_target != 0)
2991   {
2992 #ifdef SUPPORT_TLS
2993   uschar * tls = s_tlslog(NULL, NULL, NULL);
2994   if (!tls) tls = US"";
2995 #else
2996   uschar * tls = US"";
2997 #endif
2998   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
2999     log_reject_target, "%s%s%s %s%srejected %s%s",
3000     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3001     host_and_ident(TRUE),
3002     tls,
3003     sender_info,
3004     rc == FAIL ? US"" : US"temporarily ",
3005     what, log_msg);
3006   }
3007
3008 if (!drop) return 0;
3009
3010 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3011   smtp_get_connection_info());
3012
3013 /* Run the not-quit ACL, but without any custom messages. This should not be a
3014 problem, because we get here only if some other ACL has issued "drop", and
3015 in that case, *its* custom messages will have been used above. */
3016
3017 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3018 return 2;
3019 }
3020
3021
3022
3023
3024 /*************************************************
3025 *     Handle SMTP exit when QUIT is not given    *
3026 *************************************************/
3027
3028 /* This function provides a logging/statistics hook for when an SMTP connection
3029 is dropped on the floor or the other end goes away. It's a global function
3030 because it's called from receive.c as well as this module. As well as running
3031 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3032 response, either with a custom message from the ACL, or using a default. There
3033 is one case, however, when no message is output - after "drop". In that case,
3034 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3035 passed to this function.
3036
3037 In case things go wrong while processing this function, causing an error that
3038 may re-enter this funtion, there is a recursion check.
3039
3040 Arguments:
3041   reason          What $smtp_notquit_reason will be set to in the ACL;
3042                     if NULL, the ACL is not run
3043   code            The error code to return as part of the response
3044   defaultrespond  The default message if there's no user_msg
3045
3046 Returns:          Nothing
3047 */
3048
3049 void
3050 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3051 {
3052 int rc;
3053 uschar *user_msg = NULL;
3054 uschar *log_msg = NULL;
3055
3056 /* Check for recursive acll */
3057
3058 if (smtp_exit_function_called)
3059   {
3060   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3061     reason);
3062   return;
3063   }
3064 smtp_exit_function_called = TRUE;
3065
3066 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3067
3068 if (acl_smtp_notquit && reason)
3069   {
3070   smtp_notquit_reason = reason;
3071   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3072                       &log_msg)) == ERROR)
3073     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3074       log_msg);
3075   }
3076
3077 /* Write an SMTP response if we are expected to give one. As the default
3078 responses are all internal, they should always fit in the buffer, but code a
3079 warning, just in case. Note that string_vformat() still leaves a complete
3080 string, even if it is incomplete. */
3081
3082 if (code && defaultrespond)
3083   {
3084   if (user_msg)
3085     smtp_respond(code, 3, TRUE, user_msg);
3086   else
3087     {
3088     uschar buffer[128];
3089     va_list ap;
3090     va_start(ap, defaultrespond);
3091     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3092       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3093     smtp_printf("%s %s\r\n", code, buffer);
3094     va_end(ap);
3095     }
3096   mac_smtp_fflush();
3097   }
3098 }
3099
3100
3101
3102
3103 /*************************************************
3104 *             Verify HELO argument               *
3105 *************************************************/
3106
3107 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3108 matched. It is also called from ACL processing if verify = helo is used and
3109 verification was not previously tried (i.e. helo_try_verify_hosts was not
3110 matched). The result of its processing is to set helo_verified and
3111 helo_verify_failed. These variables should both be FALSE for this function to
3112 be called.
3113
3114 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3115 for IPv6 ::ffff: literals.
3116
3117 Argument:   none
3118 Returns:    TRUE if testing was completed;
3119             FALSE on a temporary failure
3120 */
3121
3122 BOOL
3123 smtp_verify_helo(void)
3124 {
3125 BOOL yield = TRUE;
3126
3127 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3128   sender_helo_name);
3129
3130 if (sender_helo_name == NULL)
3131   {
3132   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3133   }
3134
3135 /* Deal with the case of -bs without an IP address */
3136
3137 else if (sender_host_address == NULL)
3138   {
3139   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3140   helo_verified = TRUE;
3141   }
3142
3143 /* Deal with the more common case when there is a sending IP address */
3144
3145 else if (sender_helo_name[0] == '[')
3146   {
3147   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3148     Ustrlen(sender_host_address)) == 0;
3149
3150   #if HAVE_IPV6
3151   if (!helo_verified)
3152     {
3153     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3154       helo_verified = Ustrncmp(sender_helo_name + 1,
3155         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3156     }
3157   #endif
3158
3159   HDEBUG(D_receive)
3160     { if (helo_verified) debug_printf("matched host address\n"); }
3161   }
3162
3163 /* Do a reverse lookup if one hasn't already given a positive or negative
3164 response. If that fails, or the name doesn't match, try checking with a forward
3165 lookup. */
3166
3167 else
3168   {
3169   if (sender_host_name == NULL && !host_lookup_failed)
3170     yield = host_name_lookup() != DEFER;
3171
3172   /* If a host name is known, check it and all its aliases. */
3173
3174   if (sender_host_name)
3175     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3176       {
3177       sender_helo_dnssec = sender_host_dnssec;
3178       HDEBUG(D_receive) debug_printf("matched host name\n");
3179       }
3180     else
3181       {
3182       uschar **aliases = sender_host_aliases;
3183       while (*aliases)
3184         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3185           {
3186           sender_helo_dnssec = sender_host_dnssec;
3187           break;
3188           }
3189
3190       HDEBUG(D_receive) if (helo_verified)
3191           debug_printf("matched alias %s\n", *(--aliases));
3192       }
3193
3194   /* Final attempt: try a forward lookup of the helo name */
3195
3196   if (!helo_verified)
3197     {
3198     int rc;
3199     host_item h;
3200     dnssec_domains d;
3201     host_item *hh;
3202
3203     h.name = sender_helo_name;
3204     h.address = NULL;
3205     h.mx = MX_NONE;
3206     h.next = NULL;
3207     d.request = US"*";
3208     d.require = US"";
3209
3210     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3211       sender_helo_name);
3212     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3213                           NULL, NULL, NULL, &d, NULL, NULL);
3214     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3215       for (hh = &h; hh; hh = hh->next)
3216         if (Ustrcmp(hh->address, sender_host_address) == 0)
3217           {
3218           helo_verified = TRUE;
3219           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3220           HDEBUG(D_receive)
3221             {
3222             debug_printf("IP address for %s matches calling address\n"
3223               "Forward DNS security status: %sverified\n",
3224               sender_helo_name, sender_helo_dnssec ? "" : "un");
3225             }
3226           break;
3227           }
3228     }
3229   }
3230
3231 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3232 return yield;
3233 }
3234
3235
3236
3237
3238 /*************************************************
3239 *        Send user response message              *
3240 *************************************************/
3241
3242 /* This function is passed a default response code and a user message. It calls
3243 smtp_message_code() to check and possibly modify the response code, and then
3244 calls smtp_respond() to transmit the response. I put this into a function
3245 just to avoid a lot of repetition.
3246
3247 Arguments:
3248   code         the response code
3249   user_msg     the user message
3250
3251 Returns:       nothing
3252 */
3253
3254 static void
3255 smtp_user_msg(uschar *code, uschar *user_msg)
3256 {
3257 int len = 3;
3258 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3259 smtp_respond(code, len, TRUE, user_msg);
3260 }
3261
3262
3263
3264 static int
3265 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3266 {
3267 const uschar *set_id = NULL;
3268 int rc, i;
3269
3270 /* Run the checking code, passing the remainder of the command line as
3271 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3272 it as the only set numerical variable. The authenticator may set $auth<n>
3273 and also set other numeric variables. The $auth<n> variables are preferred
3274 nowadays; the numerical variables remain for backwards compatibility.
3275
3276 Afterwards, have a go at expanding the set_id string, even if
3277 authentication failed - for bad passwords it can be useful to log the
3278 userid. On success, require set_id to expand and exist, and put it in
3279 authenticated_id. Save this in permanent store, as the working store gets
3280 reset at HELO, RSET, etc. */
3281
3282 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3283 expand_nmax = 0;
3284 expand_nlength[0] = 0;   /* $0 contains nothing */
3285
3286 rc = (au->info->servercode)(au, smtp_cmd_data);
3287 if (au->set_id) set_id = expand_string(au->set_id);
3288 expand_nmax = -1;        /* Reset numeric variables */
3289 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3290
3291 /* The value of authenticated_id is stored in the spool file and printed in
3292 log lines. It must not contain binary zeros or newline characters. In
3293 normal use, it never will, but when playing around or testing, this error
3294 can (did) happen. To guard against this, ensure that the id contains only
3295 printing characters. */
3296
3297 if (set_id) set_id = string_printing(set_id);
3298
3299 /* For the non-OK cases, set up additional logging data if set_id
3300 is not empty. */
3301
3302 if (rc != OK)
3303   set_id = set_id && *set_id
3304     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3305
3306 /* Switch on the result */
3307
3308 switch(rc)
3309   {
3310   case OK:
3311   if (!au->set_id || set_id)    /* Complete success */
3312     {
3313     if (set_id) authenticated_id = string_copy_malloc(set_id);
3314     sender_host_authenticated = au->name;
3315     authentication_failed = FALSE;
3316     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3317
3318     received_protocol =
3319       (sender_host_address ? protocols : protocols_local)
3320         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3321     *s = *ss = US"235 Authentication succeeded";
3322     authenticated_by = au;
3323     break;
3324     }
3325
3326   /* Authentication succeeded, but we failed to expand the set_id string.
3327   Treat this as a temporary error. */
3328
3329   auth_defer_msg = expand_string_message;
3330   /* Fall through */
3331
3332   case DEFER:
3333   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3334   *s = string_sprintf("435 Unable to authenticate at present%s",
3335     auth_defer_user_msg);
3336   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3337     set_id, auth_defer_msg);
3338   break;
3339
3340   case BAD64:
3341   *s = *ss = US"501 Invalid base64 data";
3342   break;
3343
3344   case CANCELLED:
3345   *s = *ss = US"501 Authentication cancelled";
3346   break;
3347
3348   case UNEXPECTED:
3349   *s = *ss = US"553 Initial data not expected";
3350   break;
3351
3352   case FAIL:
3353   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3354   *s = US"535 Incorrect authentication data";
3355   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3356   break;
3357
3358   default:
3359   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3360   *s = US"435 Internal error";
3361   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3362     "check", set_id, rc);
3363   break;
3364   }
3365
3366 return rc;
3367 }
3368
3369
3370
3371
3372
3373 static int
3374 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3375 {
3376 int rd;
3377 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3378   {
3379   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3380     *recipient);
3381   rd = Ustrlen(recipient) + 1;
3382   *recipient = rewrite_address_qualify(*recipient, TRUE);
3383   return rd;
3384   }
3385 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3386   smtp_cmd_data);
3387 log_write(L_smtp_syntax_error,
3388   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3389   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3390 return 0;
3391 }
3392
3393
3394
3395
3396 static void
3397 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3398 {
3399 HAD(SCH_QUIT);
3400 incomplete_transaction_log(US"QUIT");
3401 if (acl_smtp_quit)
3402   {
3403   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3404   if (rc == ERROR)
3405     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3406       *log_msgp);
3407   }
3408 if (*user_msgp)
3409   smtp_respond(US"221", 3, TRUE, *user_msgp);
3410 else
3411   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3412
3413 #ifdef SUPPORT_TLS
3414 tls_close(TRUE, TRUE);
3415 #endif
3416
3417 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3418   smtp_get_connection_info());
3419 }
3420
3421
3422 static void
3423 smtp_rset_handler(void)
3424 {
3425 HAD(SCH_RSET);
3426 incomplete_transaction_log(US"RSET");
3427 smtp_printf("250 Reset OK\r\n");
3428 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3429 }
3430
3431
3432
3433 /*************************************************
3434 *       Initialize for SMTP incoming message     *
3435 *************************************************/
3436
3437 /* This function conducts the initial dialogue at the start of an incoming SMTP
3438 message, and builds a list of recipients. However, if the incoming message
3439 is part of a batch (-bS option) a separate function is called since it would
3440 be messy having tests splattered about all over this function. This function
3441 therefore handles the case where interaction is occurring. The input and output
3442 files are set up in smtp_in and smtp_out.
3443
3444 The global recipients_list is set to point to a vector of recipient_item
3445 blocks, whose number is given by recipients_count. This is extended by the
3446 receive_add_recipient() function. The global variable sender_address is set to
3447 the sender's address. The yield is +1 if a message has been successfully
3448 started, 0 if a QUIT command was encountered or the connection was refused from
3449 the particular host, or -1 if the connection was lost.
3450
3451 Argument: none
3452
3453 Returns:  > 0 message successfully started (reached DATA)
3454           = 0 QUIT read or end of file reached or call refused
3455           < 0 lost connection
3456 */
3457
3458 int
3459 smtp_setup_msg(void)
3460 {
3461 int done = 0;
3462 BOOL toomany = FALSE;
3463 BOOL discarded = FALSE;
3464 BOOL last_was_rej_mail = FALSE;
3465 BOOL last_was_rcpt = FALSE;
3466 void *reset_point = store_get(0);
3467
3468 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3469
3470 /* Reset for start of new message. We allow one RSET not to be counted as a
3471 nonmail command, for those MTAs that insist on sending it between every
3472 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3473 TLS between messages (an Exim client may do this if it has messages queued up
3474 for the host). Note: we do NOT reset AUTH at this point. */
3475
3476 smtp_reset(reset_point);
3477 message_ended = END_NOTSTARTED;
3478
3479 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3480
3481 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3482 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3483 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3484 #ifdef SUPPORT_TLS
3485 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3486 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3487 #endif
3488
3489 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3490
3491 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3492
3493 /* Batched SMTP is handled in a different function. */
3494
3495 if (smtp_batched_input) return smtp_setup_batch_msg();
3496
3497 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3498 value. The values are 2 larger than the required yield of the function. */
3499
3500 while (done <= 0)
3501   {
3502   const uschar **argv;
3503   uschar *etrn_command;
3504   uschar *etrn_serialize_key;
3505   uschar *errmess;
3506   uschar *log_msg, *smtp_code;
3507   uschar *user_msg = NULL;
3508   uschar *recipient = NULL;
3509   uschar *hello = NULL;
3510   uschar *s, *ss;
3511   BOOL was_rej_mail = FALSE;
3512   BOOL was_rcpt = FALSE;
3513   void (*oldsignal)(int);
3514   pid_t pid;
3515   int start, end, sender_domain, recipient_domain;
3516   int ptr, size, rc;
3517   int c;
3518   auth_instance *au;
3519   uschar *orcpt = NULL;
3520   int flags;
3521
3522 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3523   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3524   if (  tls_in.active >= 0
3525      && tls_in.peercert
3526      && tls_in.certificate_verified
3527      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3528      )
3529     {
3530     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3531     if (  acl_smtp_auth
3532        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3533                   &user_msg, &log_msg)) != OK
3534        )
3535       {
3536       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3537       continue;
3538       }
3539
3540     for (au = auths; au; au = au->next)
3541       if (strcmpic(US"tls", au->driver_name) == 0)
3542         {
3543         smtp_cmd_data = NULL;
3544
3545         if (smtp_in_auth(au, &s, &ss) == OK)
3546           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3547         else
3548           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3549         break;
3550         }
3551     }
3552 #endif
3553
3554   switch(smtp_read_command(TRUE))
3555     {
3556     /* The AUTH command is not permitted to occur inside a transaction, and may
3557     occur successfully only once per connection. Actually, that isn't quite
3558     true. When TLS is started, all previous information about a connection must
3559     be discarded, so a new AUTH is permitted at that time.
3560
3561     AUTH may only be used when it has been advertised. However, it seems that
3562     there are clients that send AUTH when it hasn't been advertised, some of
3563     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3564     So there's a get-out that allows this to happen.
3565
3566     AUTH is initially labelled as a "nonmail command" so that one occurrence
3567     doesn't get counted. We change the label here so that multiple failing
3568     AUTHS will eventually hit the nonmail threshold. */
3569
3570     case AUTH_CMD:
3571     HAD(SCH_AUTH);
3572     authentication_failed = TRUE;
3573     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3574
3575     if (!auth_advertised && !allow_auth_unadvertised)
3576       {
3577       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3578         US"AUTH command used when not advertised");
3579       break;
3580       }
3581     if (sender_host_authenticated)
3582       {
3583       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3584         US"already authenticated");
3585       break;
3586       }
3587     if (sender_address)
3588       {
3589       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3590         US"not permitted in mail transaction");
3591       break;
3592       }
3593
3594     /* Check the ACL */
3595
3596     if (  acl_smtp_auth
3597        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3598                   &user_msg, &log_msg)) != OK
3599        )
3600       {
3601       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3602       break;
3603       }
3604
3605     /* Find the name of the requested authentication mechanism. */
3606
3607     s = smtp_cmd_data;
3608     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3609       {
3610       if (!isalnum(c) && c != '-' && c != '_')
3611         {
3612         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3613           US"invalid character in authentication mechanism name");
3614         goto COMMAND_LOOP;
3615         }
3616       smtp_cmd_data++;
3617       }
3618
3619     /* If not at the end of the line, we must be at white space. Terminate the
3620     name and move the pointer on to any data that may be present. */
3621
3622     if (*smtp_cmd_data != 0)
3623       {
3624       *smtp_cmd_data++ = 0;
3625       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3626       }
3627
3628     /* Search for an authentication mechanism which is configured for use
3629     as a server and which has been advertised (unless, sigh, allow_auth_
3630     unadvertised is set). */
3631
3632     for (au = auths; au; au = au->next)
3633       if (strcmpic(s, au->public_name) == 0 && au->server &&
3634           (au->advertised || allow_auth_unadvertised))
3635         break;
3636
3637     if (au)
3638       {
3639       c = smtp_in_auth(au, &s, &ss);
3640
3641       smtp_printf("%s\r\n", s);
3642       if (c != OK)
3643         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3644           au->name, host_and_ident(FALSE), ss);
3645       }
3646     else
3647       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3648         string_sprintf("%s authentication mechanism not supported", s));
3649
3650     break;  /* AUTH_CMD */
3651
3652     /* The HELO/EHLO commands are permitted to appear in the middle of a
3653     session as well as at the beginning. They have the effect of a reset in
3654     addition to their other functions. Their absence at the start cannot be
3655     taken to be an error.
3656
3657     RFC 2821 says:
3658
3659       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3660       or 502 failure replies MUST be returned as appropriate.  The SMTP
3661       server MUST stay in the same state after transmitting these replies
3662       that it was in before the EHLO was received.
3663
3664     Therefore, we do not do the reset until after checking the command for
3665     acceptability. This change was made for Exim release 4.11. Previously
3666     it did the reset first. */
3667
3668     case HELO_CMD:
3669     HAD(SCH_HELO);
3670     hello = US"HELO";
3671     esmtp = FALSE;
3672     goto HELO_EHLO;
3673
3674     case EHLO_CMD:
3675     HAD(SCH_EHLO);
3676     hello = US"EHLO";
3677     esmtp = TRUE;
3678
3679     HELO_EHLO:      /* Common code for HELO and EHLO */
3680     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3681     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3682
3683     /* Reject the HELO if its argument was invalid or non-existent. A
3684     successful check causes the argument to be saved in malloc store. */
3685
3686     if (!check_helo(smtp_cmd_data))
3687       {
3688       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3689
3690       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3691         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3692         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3693                            string_printing(smtp_cmd_argument));
3694
3695       if (++synprot_error_count > smtp_max_synprot_errors)
3696         {
3697         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3698           "syntax or protocol errors (last command was \"%s\")",
3699           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3700         done = 1;
3701         }
3702
3703       break;
3704       }
3705
3706     /* If sender_host_unknown is true, we have got here via the -bs interface,
3707     not called from inetd. Otherwise, we are running an IP connection and the
3708     host address will be set. If the helo name is the primary name of this
3709     host and we haven't done a reverse lookup, force one now. If helo_required
3710     is set, ensure that the HELO name matches the actual host. If helo_verify
3711     is set, do the same check, but softly. */
3712
3713     if (!sender_host_unknown)
3714       {
3715       BOOL old_helo_verified = helo_verified;
3716       uschar *p = smtp_cmd_data;
3717
3718       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3719       *p = 0;
3720
3721       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3722       because otherwise the log can be confusing. */
3723
3724       if (sender_host_name == NULL &&
3725            (deliver_domain = sender_helo_name,  /* set $domain */
3726             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3727               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3728         (void)host_name_lookup();
3729
3730       /* Rebuild the fullhost info to include the HELO name (and the real name
3731       if it was looked up.) */
3732
3733       host_build_sender_fullhost();  /* Rebuild */
3734       set_process_info("handling%s incoming connection from %s",
3735         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3736
3737       /* Verify if configured. This doesn't give much security, but it does
3738       make some people happy to be able to do it. If helo_required is set,
3739       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3740       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3741       now obsolescent, since the verification can now be requested selectively
3742       at ACL time. */
3743
3744       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3745       if (helo_required || helo_verify)
3746         {
3747         BOOL tempfail = !smtp_verify_helo();
3748         if (!helo_verified)
3749           {
3750           if (helo_required)
3751             {
3752             smtp_printf("%d %s argument does not match calling host\r\n",
3753               tempfail? 451 : 550, hello);
3754             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3755               tempfail? "temporarily " : "",
3756               hello, sender_helo_name, host_and_ident(FALSE));
3757             helo_verified = old_helo_verified;
3758             break;                   /* End of HELO/EHLO processing */
3759             }
3760           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3761             "helo_try_verify_hosts\n", hello);
3762           }
3763         }
3764       }
3765
3766 #ifdef EXPERIMENTAL_SPF
3767     /* set up SPF context */
3768     spf_init(sender_helo_name, sender_host_address);
3769 #endif
3770
3771     /* Apply an ACL check if one is defined; afterwards, recheck
3772     synchronization in case the client started sending in a delay. */
3773
3774     if (acl_smtp_helo)
3775       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3776                 &user_msg, &log_msg)) != OK)
3777         {
3778         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3779         sender_helo_name = NULL;
3780         host_build_sender_fullhost();  /* Rebuild */
3781         break;
3782         }
3783       else if (!check_sync()) goto SYNC_FAILURE;
3784
3785     /* Generate an OK reply. The default string includes the ident if present,
3786     and also the IP address if present. Reflecting back the ident is intended
3787     as a deterrent to mail forgers. For maximum efficiency, and also because
3788     some broken systems expect each response to be in a single packet, arrange
3789     that the entire reply is sent in one write(). */
3790
3791     auth_advertised = FALSE;
3792     pipelining_advertised = FALSE;
3793 #ifdef SUPPORT_TLS
3794     tls_advertised = FALSE;
3795 #endif
3796     dsn_advertised = FALSE;
3797 #ifdef SUPPORT_I18N
3798     smtputf8_advertised = FALSE;
3799 #endif
3800
3801     smtp_code = US"250 ";        /* Default response code plus space*/
3802     if (user_msg == NULL)
3803       {
3804       s = string_sprintf("%.3s %s Hello %s%s%s",
3805         smtp_code,
3806         smtp_active_hostname,
3807         (sender_ident == NULL)?  US"" : sender_ident,
3808         (sender_ident == NULL)?  US"" : US" at ",
3809         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3810
3811       ptr = Ustrlen(s);
3812       size = ptr + 1;
3813
3814       if (sender_host_address != NULL)
3815         {
3816         s = string_catn(s, &size, &ptr, US" [", 2);
3817         s = string_cat (s, &size, &ptr, sender_host_address);
3818         s = string_catn(s, &size, &ptr, US"]", 1);
3819         }
3820       }
3821
3822     /* A user-supplied EHLO greeting may not contain more than one line. Note
3823     that the code returned by smtp_message_code() includes the terminating
3824     whitespace character. */
3825
3826     else
3827       {
3828       char *ss;
3829       int codelen = 4;
3830       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3831       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3832       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3833         {
3834         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3835           "newlines: message truncated: %s", string_printing(s));
3836         *ss = 0;
3837         }
3838       ptr = Ustrlen(s);
3839       size = ptr + 1;
3840       }
3841
3842     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3843
3844     /* If we received EHLO, we must create a multiline response which includes
3845     the functions supported. */
3846
3847     if (esmtp)
3848       {
3849       s[3] = '-';
3850
3851       /* I'm not entirely happy with this, as an MTA is supposed to check
3852       that it has enough room to accept a message of maximum size before
3853       it sends this. However, there seems little point in not sending it.
3854       The actual size check happens later at MAIL FROM time. By postponing it
3855       till then, VRFY and EXPN can be used after EHLO when space is short. */
3856
3857       if (thismessage_size_limit > 0)
3858         {
3859         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3860           thismessage_size_limit);
3861         s = string_cat(s, &size, &ptr, big_buffer);
3862         }
3863       else
3864         {
3865         s = string_catn(s, &size, &ptr, smtp_code, 3);
3866         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3867         }
3868
3869       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3870       clean; if it has an 8-bit character in its hand, it just sends it. It
3871       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3872       However, some users want this option simply in order to stop MUAs
3873       mangling messages that contain top-bit-set characters. It is therefore
3874       provided as an option. */
3875
3876       if (accept_8bitmime)
3877         {
3878         s = string_catn(s, &size, &ptr, smtp_code, 3);
3879         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3880         }
3881
3882       /* Advertise DSN support if configured to do so. */
3883       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3884         {
3885         s = string_catn(s, &size, &ptr, smtp_code, 3);
3886         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3887         dsn_advertised = TRUE;
3888         }
3889
3890       /* Advertise ETRN if there's an ACL checking whether a host is
3891       permitted to issue it; a check is made when any host actually tries. */
3892
3893       if (acl_smtp_etrn != NULL)
3894         {
3895         s = string_catn(s, &size, &ptr, smtp_code, 3);
3896         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
3897         }
3898
3899       /* Advertise EXPN if there's an ACL checking whether a host is
3900       permitted to issue it; a check is made when any host actually tries. */
3901
3902       if (acl_smtp_expn != NULL)
3903         {
3904         s = string_catn(s, &size, &ptr, smtp_code, 3);
3905         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
3906         }
3907
3908       /* Exim is quite happy with pipelining, so let the other end know that
3909       it is safe to use it, unless advertising is disabled. */
3910
3911       if (pipelining_enable &&
3912           verify_check_host(&pipelining_advertise_hosts) == OK)
3913         {
3914         s = string_catn(s, &size, &ptr, smtp_code, 3);
3915         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3916         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3917         pipelining_advertised = TRUE;
3918         }
3919
3920
3921       /* If any server authentication mechanisms are configured, advertise
3922       them if the current host is in auth_advertise_hosts. The problem with
3923       advertising always is that some clients then require users to
3924       authenticate (and aren't configurable otherwise) even though it may not
3925       be necessary (e.g. if the host is in host_accept_relay).
3926
3927       RFC 2222 states that SASL mechanism names contain only upper case
3928       letters, so output the names in upper case, though we actually recognize
3929       them in either case in the AUTH command. */
3930
3931       if (  auths
3932 #if defined(SUPPORT_TLS) && defined(AUTH_TLS)
3933          && !sender_host_authenticated
3934 #endif
3935          && verify_check_host(&auth_advertise_hosts) == OK
3936          )
3937         {
3938         auth_instance *au;
3939         BOOL first = TRUE;
3940         for (au = auths; au; au = au->next)
3941           if (au->server && (au->advertise_condition == NULL ||
3942               expand_check_condition(au->advertise_condition, au->name,
3943               US"authenticator")))
3944             {
3945             int saveptr;
3946             if (first)
3947               {
3948               s = string_catn(s, &size, &ptr, smtp_code, 3);
3949               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
3950               first = FALSE;
3951               auth_advertised = TRUE;
3952               }
3953             saveptr = ptr;
3954             s = string_catn(s, &size, &ptr, US" ", 1);
3955             s = string_cat (s, &size, &ptr, au->public_name);
3956             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3957             au->advertised = TRUE;
3958             }
3959           else
3960             au->advertised = FALSE;
3961
3962         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
3963         }
3964
3965       /* RFC 3030 CHUNKING */
3966
3967       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
3968         {
3969         s = string_catn(s, &size, &ptr, smtp_code, 3);
3970         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
3971         chunking_offered = TRUE;
3972         chunking_state = CHUNKING_OFFERED;
3973         }
3974
3975       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3976       if it has been included in the binary, and the host matches
3977       tls_advertise_hosts. We must *not* advertise if we are already in a
3978       secure connection. */
3979
3980 #ifdef SUPPORT_TLS
3981       if (tls_in.active < 0 &&
3982           verify_check_host(&tls_advertise_hosts) != FAIL)
3983         {
3984         s = string_catn(s, &size, &ptr, smtp_code, 3);
3985         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3986         tls_advertised = TRUE;
3987         }
3988 #endif
3989
3990 #ifndef DISABLE_PRDR
3991       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
3992       if (prdr_enable)
3993         {
3994         s = string_catn(s, &size, &ptr, smtp_code, 3);
3995         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
3996         }
3997 #endif
3998
3999 #ifdef SUPPORT_I18N
4000       if (  accept_8bitmime
4001          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4002         {
4003         s = string_catn(s, &size, &ptr, smtp_code, 3);
4004         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4005         smtputf8_advertised = TRUE;
4006         }
4007 #endif
4008
4009       /* Finish off the multiline reply with one that is always available. */
4010
4011       s = string_catn(s, &size, &ptr, smtp_code, 3);
4012       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4013       }
4014
4015     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4016     has been seen. */
4017
4018     s[ptr] = 0;
4019
4020 #ifdef SUPPORT_TLS
4021     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4022 #endif
4023
4024       {
4025       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4026       }
4027     DEBUG(D_receive)
4028       {
4029       uschar *cr;
4030       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4031         memmove(cr, cr + 1, (ptr--) - (cr - s));
4032       debug_printf("SMTP>> %s", s);
4033       }
4034     helo_seen = TRUE;
4035
4036     /* Reset the protocol and the state, abandoning any previous message. */
4037     received_protocol =
4038       (sender_host_address ? protocols : protocols_local)
4039         [ (esmtp
4040           ? pextend + (sender_host_authenticated ? pauthed : 0)
4041           : pnormal)
4042         + (tls_in.active >= 0 ? pcrpted : 0)
4043         ];
4044     smtp_reset(reset_point);
4045     toomany = FALSE;
4046     break;   /* HELO/EHLO */
4047
4048
4049     /* The MAIL command requires an address as an operand. All we do
4050     here is to parse it for syntactic correctness. The form "<>" is
4051     a special case which converts into an empty string. The start/end
4052     pointers in the original are not used further for this address, as
4053     it is the canonical extracted address which is all that is kept. */
4054
4055     case MAIL_CMD:
4056     HAD(SCH_MAIL);
4057     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4058     was_rej_mail = TRUE;               /* Reset if accepted */
4059     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4060
4061     if (helo_required && !helo_seen)
4062       {
4063       smtp_printf("503 HELO or EHLO required\r\n");
4064       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4065         "HELO/EHLO given", host_and_ident(FALSE));
4066       break;
4067       }
4068
4069     if (sender_address != NULL)
4070       {
4071       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4072         US"sender already given");
4073       break;
4074       }
4075
4076     if (smtp_cmd_data[0] == 0)
4077       {
4078       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4079         US"MAIL must have an address operand");
4080       break;
4081       }
4082
4083     /* Check to see if the limit for messages per connection would be
4084     exceeded by accepting further messages. */
4085
4086     if (smtp_accept_max_per_connection > 0 &&
4087         smtp_mailcmd_count > smtp_accept_max_per_connection)
4088       {
4089       smtp_printf("421 too many messages in this connection\r\n");
4090       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4091         "messages in one connection", host_and_ident(TRUE));
4092       break;
4093       }
4094
4095     /* Reset for start of message - even if this is going to fail, we
4096     obviously need to throw away any previous data. */
4097
4098     smtp_reset(reset_point);
4099     toomany = FALSE;
4100     sender_data = recipient_data = NULL;
4101
4102     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4103
4104     if (esmtp) for(;;)
4105       {
4106       uschar *name, *value, *end;
4107       unsigned long int size;
4108       BOOL arg_error = FALSE;
4109
4110       if (!extract_option(&name, &value)) break;
4111
4112       for (mail_args = env_mail_type_list;
4113            mail_args->value != ENV_MAIL_OPT_NULL;
4114            mail_args++
4115           )
4116         if (strcmpic(name, mail_args->name) == 0)
4117           break;
4118       if (mail_args->need_value && strcmpic(value, US"") == 0)
4119         break;
4120
4121       switch(mail_args->value)
4122         {
4123         /* Handle SIZE= by reading the value. We don't do the check till later,
4124         in order to be able to log the sender address on failure. */
4125         case ENV_MAIL_OPT_SIZE:
4126           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4127             {
4128             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4129               size = INT_MAX;
4130             message_size = (int)size;
4131             }
4132           else
4133             arg_error = TRUE;
4134           break;
4135
4136         /* If this session was initiated with EHLO and accept_8bitmime is set,
4137         Exim will have indicated that it supports the BODY=8BITMIME option. In
4138         fact, it does not support this according to the RFCs, in that it does not
4139         take any special action for forwarding messages containing 8-bit
4140         characters. That is why accept_8bitmime is not the default setting, but
4141         some sites want the action that is provided. We recognize both "8BITMIME"
4142         and "7BIT" as body types, but take no action. */
4143         case ENV_MAIL_OPT_BODY:
4144           if (accept_8bitmime) {
4145             if (strcmpic(value, US"8BITMIME") == 0)
4146               body_8bitmime = 8;
4147             else if (strcmpic(value, US"7BIT") == 0)
4148               body_8bitmime = 7;
4149             else
4150               {
4151               body_8bitmime = 0;
4152               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4153                 US"invalid data for BODY");
4154               goto COMMAND_LOOP;
4155               }
4156             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4157             break;
4158           }
4159           arg_error = TRUE;
4160           break;
4161
4162         /* Handle the two DSN options, but only if configured to do so (which
4163         will have caused "DSN" to be given in the EHLO response). The code itself
4164         is included only if configured in at build time. */
4165
4166         case ENV_MAIL_OPT_RET:
4167           if (dsn_advertised)
4168             {
4169             /* Check if RET has already been set */
4170             if (dsn_ret > 0)
4171               {
4172               synprot_error(L_smtp_syntax_error, 501, NULL,
4173                 US"RET can be specified once only");
4174               goto COMMAND_LOOP;
4175               }
4176             dsn_ret = strcmpic(value, US"HDRS") == 0
4177               ? dsn_ret_hdrs
4178               : strcmpic(value, US"FULL") == 0
4179               ? dsn_ret_full
4180               : 0;
4181             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4182             /* Check for invalid invalid value, and exit with error */
4183             if (dsn_ret == 0)
4184               {
4185               synprot_error(L_smtp_syntax_error, 501, NULL,
4186                 US"Value for RET is invalid");
4187               goto COMMAND_LOOP;
4188               }
4189             }
4190           break;
4191         case ENV_MAIL_OPT_ENVID:
4192           if (dsn_advertised)
4193             {
4194             /* Check if the dsn envid has been already set */
4195             if (dsn_envid != NULL)
4196               {
4197               synprot_error(L_smtp_syntax_error, 501, NULL,
4198                 US"ENVID can be specified once only");
4199               goto COMMAND_LOOP;
4200               }
4201             dsn_envid = string_copy(value);
4202             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4203             }
4204           break;
4205
4206         /* Handle the AUTH extension. If the value given is not "<>" and either
4207         the ACL says "yes" or there is no ACL but the sending host is
4208         authenticated, we set it up as the authenticated sender. However, if the
4209         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4210         the condition is met. The value of AUTH is an xtext, which means that +,
4211         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4212         coding. */
4213         case ENV_MAIL_OPT_AUTH:
4214           if (Ustrcmp(value, "<>") != 0)
4215             {
4216             int rc;
4217             uschar *ignore_msg;
4218
4219             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4220               {
4221               /* Put back terminator overrides for error message */
4222               value[-1] = '=';
4223               name[-1] = ' ';
4224               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4225                 US"invalid data for AUTH");
4226               goto COMMAND_LOOP;
4227               }
4228             if (acl_smtp_mailauth == NULL)
4229               {
4230               ignore_msg = US"client not authenticated";
4231               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4232               }
4233             else
4234               {
4235               ignore_msg = US"rejected by ACL";
4236               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4237                 &user_msg, &log_msg);
4238               }
4239
4240             switch (rc)
4241               {
4242               case OK:
4243                 if (authenticated_by == NULL ||
4244                     authenticated_by->mail_auth_condition == NULL ||
4245                     expand_check_condition(authenticated_by->mail_auth_condition,
4246                         authenticated_by->name, US"authenticator"))
4247                   break;     /* Accept the AUTH */
4248
4249                 ignore_msg = US"server_mail_auth_condition failed";
4250                 if (authenticated_id != NULL)
4251                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4252                     ignore_msg, authenticated_id);
4253
4254               /* Fall through */
4255
4256               case FAIL:
4257                 authenticated_sender = NULL;
4258                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4259                   value, host_and_ident(TRUE), ignore_msg);
4260                 break;
4261
4262               /* Should only get DEFER or ERROR here. Put back terminator
4263               overrides for error message */
4264
4265               default:
4266                 value[-1] = '=';
4267                 name[-1] = ' ';
4268                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4269                   log_msg);
4270                 goto COMMAND_LOOP;
4271               }
4272             }
4273             break;
4274
4275 #ifndef DISABLE_PRDR
4276         case ENV_MAIL_OPT_PRDR:
4277           if (prdr_enable)
4278             prdr_requested = TRUE;
4279           break;
4280 #endif
4281
4282 #ifdef SUPPORT_I18N
4283         case ENV_MAIL_OPT_UTF8:
4284           if (smtputf8_advertised)
4285             {
4286             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4287             message_smtputf8 = allow_utf8_domains = TRUE;
4288             received_protocol = string_sprintf("utf8%s", received_protocol);
4289             }
4290           break;
4291 #endif
4292         /* No valid option. Stick back the terminator characters and break
4293         the loop.  Do the name-terminator second as extract_option sets
4294         value==name when it found no equal-sign.
4295         An error for a malformed address will occur. */
4296         case ENV_MAIL_OPT_NULL:
4297           value[-1] = '=';
4298           name[-1] = ' ';
4299           arg_error = TRUE;
4300           break;
4301
4302         default:  assert(0);
4303         }
4304       /* Break out of for loop if switch() had bad argument or
4305          when start of the email address is reached */
4306       if (arg_error) break;
4307       }
4308
4309     /* If we have passed the threshold for rate limiting, apply the current
4310     delay, and update it for next time, provided this is a limited host. */
4311
4312     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4313         verify_check_host(&smtp_ratelimit_hosts) == OK)
4314       {
4315       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4316         smtp_delay_mail/1000.0);
4317       millisleep((int)smtp_delay_mail);
4318       smtp_delay_mail *= smtp_rlm_factor;
4319       if (smtp_delay_mail > (double)smtp_rlm_limit)
4320         smtp_delay_mail = (double)smtp_rlm_limit;
4321       }
4322
4323     /* Now extract the address, first applying any SMTP-time rewriting. The
4324     TRUE flag allows "<>" as a sender address. */
4325
4326     raw_sender = rewrite_existflags & rewrite_smtp
4327       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4328                     global_rewrite_rules)
4329       : smtp_cmd_data;
4330
4331     raw_sender =
4332       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4333         TRUE);
4334
4335     if (!raw_sender)
4336       {
4337       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4338       break;
4339       }
4340
4341     sender_address = raw_sender;
4342
4343     /* If there is a configured size limit for mail, check that this message
4344     doesn't exceed it. The check is postponed to this point so that the sender
4345     can be logged. */
4346
4347     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4348       {
4349       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4350       log_write(L_size_reject,
4351           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4352           "message too big: size%s=%d max=%d",
4353           sender_address,
4354           host_and_ident(TRUE),
4355           (message_size == INT_MAX)? ">" : "",
4356           message_size,
4357           thismessage_size_limit);
4358       sender_address = NULL;
4359       break;
4360       }
4361
4362     /* Check there is enough space on the disk unless configured not to.
4363     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4364     plus the current message - i.e. we accept the message only if it won't
4365     reduce the space below the threshold. Add 5000 to the size to allow for
4366     overheads such as the Received: line and storing of recipients, etc.
4367     By putting the check here, even when SIZE is not given, it allow VRFY
4368     and EXPN etc. to be used when space is short. */
4369
4370     if (!receive_check_fs(
4371          (smtp_check_spool_space && message_size >= 0)?
4372             message_size + 5000 : 0))
4373       {
4374       smtp_printf("452 Space shortage, please try later\r\n");
4375       sender_address = NULL;
4376       break;
4377       }
4378
4379     /* If sender_address is unqualified, reject it, unless this is a locally
4380     generated message, or the sending host or net is permitted to send
4381     unqualified addresses - typically local machines behaving as MUAs -
4382     in which case just qualify the address. The flag is set above at the start
4383     of the SMTP connection. */
4384
4385     if (sender_domain == 0 && sender_address[0] != 0)
4386       {
4387       if (allow_unqualified_sender)
4388         {
4389         sender_domain = Ustrlen(sender_address) + 1;
4390         sender_address = rewrite_address_qualify(sender_address, FALSE);
4391         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4392           raw_sender);
4393         }
4394       else
4395         {
4396         smtp_printf("501 %s: sender address must contain a domain\r\n",
4397           smtp_cmd_data);
4398         log_write(L_smtp_syntax_error,
4399           LOG_MAIN|LOG_REJECT,
4400           "unqualified sender rejected: <%s> %s%s",
4401           raw_sender,
4402           host_and_ident(TRUE),
4403           host_lookup_msg);
4404         sender_address = NULL;
4405         break;
4406         }
4407       }
4408
4409     /* Apply an ACL check if one is defined, before responding. Afterwards,
4410     when pipelining is not advertised, do another sync check in case the ACL
4411     delayed and the client started sending in the meantime. */
4412
4413     if (acl_smtp_mail)
4414       {
4415       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4416       if (rc == OK && !pipelining_advertised && !check_sync())
4417         goto SYNC_FAILURE;
4418       }
4419     else
4420       rc = OK;
4421
4422     if (rc == OK || rc == DISCARD)
4423       {
4424       if (!user_msg)
4425         smtp_printf("%s%s%s", US"250 OK",
4426                   #ifndef DISABLE_PRDR
4427                     prdr_requested ? US", PRDR Requested" : US"",
4428                   #else
4429                     US"",
4430                   #endif
4431                     US"\r\n");
4432       else
4433         {
4434       #ifndef DISABLE_PRDR
4435         if (prdr_requested)
4436            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4437       #endif
4438         smtp_user_msg(US"250", user_msg);
4439         }
4440       smtp_delay_rcpt = smtp_rlr_base;
4441       recipients_discarded = (rc == DISCARD);
4442       was_rej_mail = FALSE;
4443       }
4444     else
4445       {
4446       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4447       sender_address = NULL;
4448       }
4449     break;
4450
4451
4452     /* The RCPT command requires an address as an operand. There may be any
4453     number of RCPT commands, specifying multiple recipients. We build them all
4454     into a data structure. The start/end values given by parse_extract_address
4455     are not used, as we keep only the extracted address. */
4456
4457     case RCPT_CMD:
4458     HAD(SCH_RCPT);
4459     rcpt_count++;
4460     was_rcpt = rcpt_in_progress = TRUE;
4461
4462     /* There must be a sender address; if the sender was rejected and
4463     pipelining was advertised, we assume the client was pipelining, and do not
4464     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4465     get the same treatment. */
4466
4467     if (sender_address == NULL)
4468       {
4469       if (pipelining_advertised && last_was_rej_mail)
4470         {
4471         smtp_printf("503 sender not yet given\r\n");
4472         was_rej_mail = TRUE;
4473         }
4474       else
4475         {
4476         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4477           US"sender not yet given");
4478         was_rcpt = FALSE;             /* Not a valid RCPT */
4479         }
4480       rcpt_fail_count++;
4481       break;
4482       }
4483
4484     /* Check for an operand */
4485
4486     if (smtp_cmd_data[0] == 0)
4487       {
4488       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4489         US"RCPT must have an address operand");
4490       rcpt_fail_count++;
4491       break;
4492       }
4493
4494     /* Set the DSN flags orcpt and dsn_flags from the session*/
4495     orcpt = NULL;
4496     flags = 0;
4497
4498     if (esmtp) for(;;)
4499       {
4500       uschar *name, *value;
4501
4502       if (!extract_option(&name, &value))
4503         break;
4504
4505       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4506         {
4507         /* Check whether orcpt has been already set */
4508         if (orcpt)
4509           {
4510           synprot_error(L_smtp_syntax_error, 501, NULL,
4511             US"ORCPT can be specified once only");
4512           goto COMMAND_LOOP;
4513           }
4514         orcpt = string_copy(value);
4515         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4516         }
4517
4518       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4519         {
4520         /* Check if the notify flags have been already set */
4521         if (flags > 0)
4522           {
4523           synprot_error(L_smtp_syntax_error, 501, NULL,
4524               US"NOTIFY can be specified once only");
4525           goto COMMAND_LOOP;
4526           }
4527         if (strcmpic(value, US"NEVER") == 0)
4528           flags |= rf_notify_never;
4529         else
4530           {
4531           uschar *p = value;
4532           while (*p != 0)
4533             {
4534             uschar *pp = p;
4535             while (*pp != 0 && *pp != ',') pp++;
4536             if (*pp == ',') *pp++ = 0;
4537             if (strcmpic(p, US"SUCCESS") == 0)
4538               {
4539               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4540               flags |= rf_notify_success;
4541               }
4542             else if (strcmpic(p, US"FAILURE") == 0)
4543               {
4544               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4545               flags |= rf_notify_failure;
4546               }
4547             else if (strcmpic(p, US"DELAY") == 0)
4548               {
4549               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4550               flags |= rf_notify_delay;
4551               }
4552             else
4553               {
4554               /* Catch any strange values */
4555               synprot_error(L_smtp_syntax_error, 501, NULL,
4556                 US"Invalid value for NOTIFY parameter");
4557               goto COMMAND_LOOP;
4558               }
4559             p = pp;
4560             }
4561             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4562           }
4563         }
4564
4565       /* Unknown option. Stick back the terminator characters and break
4566       the loop. An error for a malformed address will occur. */
4567
4568       else
4569         {
4570         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4571         name[-1] = ' ';
4572         value[-1] = '=';
4573         break;
4574         }
4575       }
4576
4577     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4578     as a recipient address */
4579
4580     recipient = rewrite_existflags & rewrite_smtp
4581       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4582           global_rewrite_rules)
4583       : smtp_cmd_data;
4584
4585     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4586       &recipient_domain, FALSE)))
4587       {
4588       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4589       rcpt_fail_count++;
4590       break;
4591       }
4592
4593     /* If the recipient address is unqualified, reject it, unless this is a
4594     locally generated message. However, unqualified addresses are permitted
4595     from a configured list of hosts and nets - typically when behaving as
4596     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4597     really. The flag is set at the start of the SMTP connection.
4598
4599     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4600     assumed this meant "reserved local part", but the revision of RFC 821 and
4601     friends now makes it absolutely clear that it means *mailbox*. Consequently
4602     we must always qualify this address, regardless. */
4603
4604     if (recipient_domain == 0)
4605       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4606                                   US"recipient")))
4607         {
4608         rcpt_fail_count++;
4609         break;
4610         }
4611
4612     /* Check maximum allowed */
4613
4614     if (rcpt_count > recipients_max && recipients_max > 0)
4615       {
4616       if (recipients_max_reject)
4617         {
4618         rcpt_fail_count++;
4619         smtp_printf("552 too many recipients\r\n");
4620         if (!toomany)
4621           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4622             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4623         }
4624       else
4625         {
4626         rcpt_defer_count++;
4627         smtp_printf("452 too many recipients\r\n");
4628         if (!toomany)
4629           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4630             "temporarily rejected: sender=<%s> %s", sender_address,
4631             host_and_ident(TRUE));
4632         }
4633
4634       toomany = TRUE;
4635       break;
4636       }
4637
4638     /* If we have passed the threshold for rate limiting, apply the current
4639     delay, and update it for next time, provided this is a limited host. */
4640
4641     if (rcpt_count > smtp_rlr_threshold &&
4642         verify_check_host(&smtp_ratelimit_hosts) == OK)
4643       {
4644       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4645         smtp_delay_rcpt/1000.0);
4646       millisleep((int)smtp_delay_rcpt);
4647       smtp_delay_rcpt *= smtp_rlr_factor;
4648       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4649         smtp_delay_rcpt = (double)smtp_rlr_limit;
4650       }
4651
4652     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4653     for them. Otherwise, check the access control list for this recipient. As
4654     there may be a delay in this, re-check for a synchronization error
4655     afterwards, unless pipelining was advertised. */
4656
4657     if (recipients_discarded) rc = DISCARD; else
4658       {
4659       rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4660         &log_msg);
4661       if (rc == OK && !pipelining_advertised && !check_sync())
4662         goto SYNC_FAILURE;
4663       }
4664
4665     /* The ACL was happy */
4666
4667     if (rc == OK)
4668       {
4669       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4670         else smtp_user_msg(US"250", user_msg);
4671       receive_add_recipient(recipient, -1);
4672
4673       /* Set the dsn flags in the recipients_list */
4674       recipients_list[recipients_count-1].orcpt = orcpt;
4675       recipients_list[recipients_count-1].dsn_flags = flags;
4676
4677       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4678         recipients_list[recipients_count-1].orcpt,
4679         recipients_list[recipients_count-1].dsn_flags);
4680       }
4681
4682     /* The recipient was discarded */
4683
4684     else if (rc == DISCARD)
4685       {
4686       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
4687         else smtp_user_msg(US"250", user_msg);
4688       rcpt_fail_count++;
4689       discarded = TRUE;
4690       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4691         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4692         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4693         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4694         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4695       }
4696
4697     /* Either the ACL failed the address, or it was deferred. */
4698
4699     else
4700       {
4701       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4702       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4703       }
4704     break;
4705
4706
4707     /* The DATA command is legal only if it follows successful MAIL FROM
4708     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4709     not counted as a protocol error if it follows RCPT (which must have been
4710     rejected if there are no recipients.) This function is complete when a
4711     valid DATA command is encountered.
4712
4713     Note concerning the code used: RFC 2821 says this:
4714
4715      -  If there was no MAIL, or no RCPT, command, or all such commands
4716         were rejected, the server MAY return a "command out of sequence"
4717         (503) or "no valid recipients" (554) reply in response to the
4718         DATA command.
4719
4720     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4721     because it is the same whether pipelining is in use or not.
4722
4723     If all the RCPT commands that precede DATA provoked the same error message
4724     (often indicating some kind of system error), it is helpful to include it
4725     with the DATA rejection (an idea suggested by Tony Finch). */
4726
4727     case BDAT_CMD:
4728     HAD(SCH_BDAT);
4729       {
4730       int n;
4731
4732       if (chunking_state != CHUNKING_OFFERED)
4733         {
4734         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4735           US"BDAT command used when CHUNKING not advertised");
4736         break;
4737         }
4738
4739       /* grab size, endmarker */
4740
4741       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4742         {
4743         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4744           US"missing size for BDAT command");
4745         break;
4746         }
4747       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4748         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4749       chunking_data_left = chunking_datasize;
4750
4751       lwr_receive_getc = receive_getc;
4752       lwr_receive_ungetc = receive_ungetc;
4753       receive_getc = bdat_getc;
4754       receive_ungetc = bdat_ungetc;
4755
4756       DEBUG(D_any)
4757         debug_printf("chunking state %d\n", (int)chunking_state);
4758       goto DATA_BDAT;
4759       }
4760
4761     case DATA_CMD:
4762     HAD(SCH_DATA);
4763
4764     DATA_BDAT:          /* Common code for DATA and BDAT */
4765     if (!discarded && recipients_count <= 0)
4766       {
4767       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4768         {
4769         uschar *code = US"503";
4770         int len = Ustrlen(rcpt_smtp_response);
4771         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4772           "this error:");
4773         /* Responses from smtp_printf() will have \r\n on the end */
4774         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4775           rcpt_smtp_response[len-2] = 0;
4776         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4777         }
4778       if (pipelining_advertised && last_was_rcpt)
4779         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4780           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4781       else
4782         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4783           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4784           ? US"valid RCPT command must precede DATA"
4785           : US"valid RCPT command must precede BDAT");
4786
4787       if (chunking_state > CHUNKING_OFFERED)
4788         bdat_flush_data();
4789       break;
4790       }
4791
4792     if (toomany && recipients_max_reject)
4793       {
4794       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4795       sender_address_unrewritten = NULL;
4796       smtp_printf("554 Too many recipients\r\n");
4797       break;
4798       }
4799
4800     if (chunking_state > CHUNKING_OFFERED)
4801       {                         /* No predata ACL or go-ahead output for BDAT */
4802       rc = OK;
4803       }
4804     else
4805       {
4806       /* If there is an ACL, re-check the synchronization afterwards, since the
4807       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4808       to get the DATA command sent. */
4809
4810       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4811         rc = OK;
4812       else
4813         {
4814         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4815         enable_dollar_recipients = TRUE;
4816         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4817           &log_msg);
4818         enable_dollar_recipients = FALSE;
4819         if (rc == OK && !check_sync())
4820           goto SYNC_FAILURE;
4821
4822         if (rc != OK)
4823           {     /* Either the ACL failed the address, or it was deferred. */
4824           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4825           break;
4826           }
4827         }
4828
4829       if (user_msg)
4830         smtp_user_msg(US"354", user_msg);
4831       else
4832         smtp_printf(
4833           "354 Enter message, ending with \".\" on a line by itself\r\n");
4834       }
4835
4836     done = 3;
4837     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4838
4839     break;
4840
4841
4842     case VRFY_CMD:
4843       {
4844       uschar * address;
4845
4846       HAD(SCH_VRFY);
4847
4848       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4849             &start, &end, &recipient_domain, FALSE)))
4850         {
4851         smtp_printf("501 %s\r\n", errmess);
4852         break;
4853         }
4854
4855       if (recipient_domain == 0)
4856         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4857                                     US"verify")))
4858           break;
4859
4860       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4861                     &user_msg, &log_msg)) != OK)
4862         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4863       else
4864         {
4865         uschar * s = NULL;
4866         address_item * addr = deliver_make_addr(address, FALSE);
4867
4868         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4869                -1, -1, NULL, NULL, NULL))
4870           {
4871           case OK:
4872             s = string_sprintf("250 <%s> is deliverable", address);
4873             break;
4874
4875           case DEFER:
4876             s = (addr->user_message != NULL)?
4877               string_sprintf("451 <%s> %s", address, addr->user_message) :
4878               string_sprintf("451 Cannot resolve <%s> at this time", address);
4879             break;
4880
4881           case FAIL:
4882             s = (addr->user_message != NULL)?
4883               string_sprintf("550 <%s> %s", address, addr->user_message) :
4884               string_sprintf("550 <%s> is not deliverable", address);
4885             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
4886               smtp_cmd_argument, host_and_ident(TRUE));
4887             break;
4888           }
4889
4890         smtp_printf("%s\r\n", s);
4891         }
4892       break;
4893       }
4894
4895
4896     case EXPN_CMD:
4897     HAD(SCH_EXPN);
4898     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
4899     if (rc != OK)
4900       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
4901     else
4902       {
4903       BOOL save_log_testing_mode = log_testing_mode;
4904       address_test_mode = log_testing_mode = TRUE;
4905       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
4906         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
4907         NULL, NULL, NULL);
4908       address_test_mode = FALSE;
4909       log_testing_mode = save_log_testing_mode;    /* true for -bh */
4910       }
4911     break;
4912
4913
4914     #ifdef SUPPORT_TLS
4915
4916     case STARTTLS_CMD:
4917     HAD(SCH_STARTTLS);
4918     if (!tls_advertised)
4919       {
4920       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4921         US"STARTTLS command used when not advertised");
4922       break;
4923       }
4924
4925     /* Apply an ACL check if one is defined */
4926
4927     if (  acl_smtp_starttls
4928        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
4929                   &user_msg, &log_msg)) != OK
4930        )
4931       {
4932       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
4933       break;
4934       }
4935
4936     /* RFC 2487 is not clear on when this command may be sent, though it
4937     does state that all information previously obtained from the client
4938     must be discarded if a TLS session is started. It seems reasonble to
4939     do an implied RSET when STARTTLS is received. */
4940
4941     incomplete_transaction_log(US"STARTTLS");
4942     smtp_reset(reset_point);
4943     toomany = FALSE;
4944     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
4945
4946     /* There's an attack where more data is read in past the STARTTLS command
4947     before TLS is negotiated, then assumed to be part of the secure session
4948     when used afterwards; we use segregated input buffers, so are not
4949     vulnerable, but we want to note when it happens and, for sheer paranoia,
4950     ensure that the buffer is "wiped".
4951     Pipelining sync checks will normally have protected us too, unless disabled
4952     by configuration. */
4953
4954     if (receive_smtp_buffered())
4955       {
4956       DEBUG(D_any)
4957         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
4958       if (tls_in.active < 0)
4959         smtp_inend = smtp_inptr = smtp_inbuffer;
4960       /* and if TLS is already active, tls_server_start() should fail */
4961       }
4962
4963     /* There is nothing we value in the input buffer and if TLS is succesfully
4964     negotiated, we won't use this buffer again; if TLS fails, we'll just read
4965     fresh content into it.  The buffer contains arbitrary content from an
4966     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
4967     It seems safest to just wipe away the content rather than leave it as a
4968     target to jump to. */
4969
4970     memset(smtp_inbuffer, 0, in_buffer_size);
4971
4972     /* Attempt to start up a TLS session, and if successful, discard all
4973     knowledge that was obtained previously. At least, that's what the RFC says,
4974     and that's what happens by default. However, in order to work round YAEB,
4975     there is an option to remember the esmtp state. Sigh.
4976
4977     We must allow for an extra EHLO command and an extra AUTH command after
4978     STARTTLS that don't add to the nonmail command count. */
4979
4980     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
4981       {
4982       if (!tls_remember_esmtp)
4983         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
4984       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4985       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
4986       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
4987       if (sender_helo_name != NULL)
4988         {
4989         store_free(sender_helo_name);
4990         sender_helo_name = NULL;
4991         host_build_sender_fullhost();  /* Rebuild */
4992         set_process_info("handling incoming TLS connection from %s",
4993           host_and_ident(FALSE));
4994         }
4995       received_protocol =
4996         (sender_host_address ? protocols : protocols_local)
4997           [ (esmtp
4998             ? pextend + (sender_host_authenticated ? pauthed : 0)
4999             : pnormal)
5000           + (tls_in.active >= 0 ? pcrpted : 0)
5001           ];
5002
5003       sender_host_authenticated = NULL;
5004       authenticated_id = NULL;
5005       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5006       DEBUG(D_tls) debug_printf("TLS active\n");
5007       break;     /* Successful STARTTLS */
5008       }
5009
5010     /* Some local configuration problem was discovered before actually trying
5011     to do a TLS handshake; give a temporary error. */
5012
5013     else if (rc == DEFER)
5014       {
5015       smtp_printf("454 TLS currently unavailable\r\n");
5016       break;
5017       }
5018
5019     /* Hard failure. Reject everything except QUIT or closed connection. One
5020     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5021     set, but we must still reject all incoming commands. */
5022
5023     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5024     while (done <= 0) switch(smtp_read_command(FALSE))
5025       {
5026       case EOF_CMD:
5027         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5028           smtp_get_connection_info());
5029         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5030         done = 2;
5031         break;
5032
5033       /* It is perhaps arguable as to which exit ACL should be called here,
5034       but as it is probably a situation that almost never arises, it
5035       probably doesn't matter. We choose to call the real QUIT ACL, which in
5036       some sense is perhaps "right". */
5037
5038       case QUIT_CMD:
5039         user_msg = NULL;
5040         if (  acl_smtp_quit
5041            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5042                               &log_msg)) == ERROR))
5043             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5044               log_msg);
5045         if (user_msg)
5046           smtp_respond(US"221", 3, TRUE, user_msg);
5047         else
5048           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5049         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5050           smtp_get_connection_info());
5051         done = 2;
5052         break;
5053
5054       default:
5055         smtp_printf("554 Security failure\r\n");
5056         break;
5057       }
5058     tls_close(TRUE, TRUE);
5059     break;
5060     #endif
5061
5062
5063     /* The ACL for QUIT is provided for gathering statistical information or
5064     similar; it does not affect the response code, but it can supply a custom
5065     message. */
5066
5067     case QUIT_CMD:
5068     smtp_quit_handler(&user_msg, &log_msg);
5069     done = 2;
5070     break;
5071
5072
5073     case RSET_CMD:
5074     smtp_rset_handler();
5075     smtp_reset(reset_point);
5076     toomany = FALSE;
5077     break;
5078
5079
5080     case NOOP_CMD:
5081     HAD(SCH_NOOP);
5082     smtp_printf("250 OK\r\n");
5083     break;
5084
5085
5086     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5087     used, a check will be done for permitted hosts. Show STARTTLS only if not
5088     already in a TLS session and if it would be advertised in the EHLO
5089     response. */
5090
5091     case HELP_CMD:
5092     HAD(SCH_HELP);
5093     smtp_printf("214-Commands supported:\r\n");
5094       {
5095       uschar buffer[256];
5096       buffer[0] = 0;
5097       Ustrcat(buffer, " AUTH");
5098       #ifdef SUPPORT_TLS
5099       if (tls_in.active < 0 &&
5100           verify_check_host(&tls_advertise_hosts) != FAIL)
5101         Ustrcat(buffer, " STARTTLS");
5102       #endif
5103       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5104       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5105       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5106       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5107       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5108       smtp_printf("214%s\r\n", buffer);
5109       }
5110     break;
5111
5112
5113     case EOF_CMD:
5114     incomplete_transaction_log(US"connection lost");
5115     smtp_notquit_exit(US"connection-lost", US"421",
5116       US"%s lost input connection", smtp_active_hostname);
5117
5118     /* Don't log by default unless in the middle of a message, as some mailers
5119     just drop the call rather than sending QUIT, and it clutters up the logs.
5120     */
5121
5122     if (sender_address != NULL || recipients_count > 0)
5123       log_write(L_lost_incoming_connection,
5124           LOG_MAIN,
5125           "unexpected %s while reading SMTP command from %s%s",
5126           sender_host_unknown? "EOF" : "disconnection",
5127           host_and_ident(FALSE), smtp_read_error);
5128
5129     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5130       smtp_get_connection_info(), smtp_read_error);
5131
5132     done = 1;
5133     break;
5134
5135
5136     case ETRN_CMD:
5137     HAD(SCH_ETRN);
5138     if (sender_address != NULL)
5139       {
5140       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5141         US"ETRN is not permitted inside a transaction");
5142       break;
5143       }
5144
5145     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5146       host_and_ident(FALSE));
5147
5148     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5149                 &user_msg, &log_msg)) != OK)
5150       {
5151       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5152       break;
5153       }
5154
5155     /* Compute the serialization key for this command. */
5156
5157     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5158
5159     /* If a command has been specified for running as a result of ETRN, we
5160     permit any argument to ETRN. If not, only the # standard form is permitted,
5161     since that is strictly the only kind of ETRN that can be implemented
5162     according to the RFC. */
5163
5164     if (smtp_etrn_command != NULL)
5165       {
5166       uschar *error;
5167       BOOL rc;
5168       etrn_command = smtp_etrn_command;
5169       deliver_domain = smtp_cmd_data;
5170       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5171         US"ETRN processing", &error);
5172       deliver_domain = NULL;
5173       if (!rc)
5174         {
5175         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5176           error);
5177         smtp_printf("458 Internal failure\r\n");
5178         break;
5179         }
5180       }
5181
5182     /* Else set up to call Exim with the -R option. */
5183
5184     else
5185       {
5186       if (*smtp_cmd_data++ != '#')
5187         {
5188         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5189           US"argument must begin with #");
5190         break;
5191         }
5192       etrn_command = US"exim -R";
5193       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5194         *queue_name ? 4 : 2,
5195         US"-R", smtp_cmd_data,
5196         US"-MCG", queue_name);
5197       }
5198
5199     /* If we are host-testing, don't actually do anything. */
5200
5201     if (host_checking)
5202       {
5203       HDEBUG(D_any)
5204         {
5205         debug_printf("ETRN command is: %s\n", etrn_command);
5206         debug_printf("ETRN command execution skipped\n");
5207         }
5208       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5209         else smtp_user_msg(US"250", user_msg);
5210       break;
5211       }
5212
5213
5214     /* If ETRN queue runs are to be serialized, check the database to
5215     ensure one isn't already running. */
5216
5217     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5218       {
5219       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5220       break;
5221       }
5222
5223     /* Fork a child process and run the command. We don't want to have to
5224     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5225     forking. It should be set that way anyway for external incoming SMTP,
5226     but we save and restore to be tidy. If serialization is required, we
5227     actually run the command in yet another process, so we can wait for it
5228     to complete and then remove the serialization lock. */
5229
5230     oldsignal = signal(SIGCHLD, SIG_IGN);
5231
5232     if ((pid = fork()) == 0)
5233       {
5234       smtp_input = FALSE;       /* This process is not associated with the */
5235       (void)fclose(smtp_in);    /* SMTP call any more. */
5236       (void)fclose(smtp_out);
5237
5238       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5239
5240       /* If not serializing, do the exec right away. Otherwise, fork down
5241       into another process. */
5242
5243       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5244         {
5245         DEBUG(D_exec) debug_print_argv(argv);
5246         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5247         execv(CS argv[0], (char *const *)argv);
5248         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5249           etrn_command, strerror(errno));
5250         _exit(EXIT_FAILURE);         /* paranoia */
5251         }
5252
5253       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5254       is, we are in the first subprocess, after forking again. All we can do
5255       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5256       complete, before removing the serialization. */
5257
5258       if (pid < 0)
5259         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5260           "failed: %s", strerror(errno));
5261       else
5262         {
5263         int status;
5264         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5265           (int)pid);
5266         (void)wait(&status);
5267         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5268           (int)pid);
5269         }
5270
5271       enq_end(etrn_serialize_key);
5272       _exit(EXIT_SUCCESS);
5273       }
5274
5275     /* Back in the top level SMTP process. Check that we started a subprocess
5276     and restore the signal state. */
5277
5278     if (pid < 0)
5279       {
5280       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5281         strerror(errno));
5282       smtp_printf("458 Unable to fork process\r\n");
5283       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5284       }
5285     else
5286       {
5287       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5288         else smtp_user_msg(US"250", user_msg);
5289       }
5290
5291     signal(SIGCHLD, oldsignal);
5292     break;
5293
5294
5295     case BADARG_CMD:
5296     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5297       US"unexpected argument data");
5298     break;
5299
5300
5301     /* This currently happens only for NULLs, but could be extended. */
5302
5303     case BADCHAR_CMD:
5304     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5305       US"NULL character(s) present (shown as '?')");
5306     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5307     break;
5308
5309
5310     case BADSYN_CMD:
5311     SYNC_FAILURE:
5312     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
5313       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
5314     c = smtp_inend - smtp_inptr;
5315     if (c > 150) c = 150;
5316     smtp_inptr[c] = 0;
5317     incomplete_transaction_log(US"sync failure");
5318     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5319       "(next input sent too soon: pipelining was%s advertised): "
5320       "rejected \"%s\" %s next input=\"%s\"",
5321       pipelining_advertised? "" : " not",
5322       smtp_cmd_buffer, host_and_ident(TRUE),
5323       string_printing(smtp_inptr));
5324     smtp_notquit_exit(US"synchronization-error", US"554",
5325       US"SMTP synchronization error");
5326     done = 1;   /* Pretend eof - drops connection */
5327     break;
5328
5329
5330     case TOO_MANY_NONMAIL_CMD:
5331     s = smtp_cmd_buffer;
5332     while (*s != 0 && !isspace(*s)) s++;
5333     incomplete_transaction_log(US"too many non-mail commands");
5334     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5335       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5336       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5337     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5338     done = 1;   /* Pretend eof - drops connection */
5339     break;
5340
5341 #ifdef SUPPORT_PROXY
5342     case PROXY_FAIL_IGNORE_CMD:
5343     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5344     break;
5345 #endif
5346
5347     default:
5348     if (unknown_command_count++ >= smtp_max_unknown_commands)
5349       {
5350       log_write(L_smtp_syntax_error, LOG_MAIN,
5351         "SMTP syntax error in \"%s\" %s %s",
5352         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5353         US"unrecognized command");
5354       incomplete_transaction_log(US"unrecognized command");
5355       smtp_notquit_exit(US"bad-commands", US"500",
5356         US"Too many unrecognized commands");
5357       done = 2;
5358       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5359         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5360         string_printing(smtp_cmd_buffer));
5361       }
5362     else
5363       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5364         US"unrecognized command");
5365     break;
5366     }
5367
5368   /* This label is used by goto's inside loops that want to break out to
5369   the end of the command-processing loop. */
5370
5371   COMMAND_LOOP:
5372   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5373   last_was_rcpt = was_rcpt;             /* protocol error handling */
5374   continue;
5375   }
5376
5377 return done - 2;  /* Convert yield values */
5378 }
5379
5380 /* vi: aw ai sw=2
5381 */
5382 /* End of smtp_in.c */