148486161afc24da7fd997766be438497ac56183
[users/jgh/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2016 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define smtp_cmd_buffer_size  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define in_buffer_size  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
86   processed the message is sent using a series of BDAT commands"
87   implies that BDAT should be synchronized.  However, we see Google, at least,
88   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
89   processing of the RPCT response(s).  We shall do the same, and not require
90   synch for BDAT. */
91
92   BDAT_CMD,
93
94   /* This is a dummy to identify the non-sync commands when not pipelining */
95
96   NON_SYNC_CMD_NON_PIPELINING,
97
98   /* I have been unable to find a statement about the use of pipelining
99   with AUTH, so to be on the safe side it is here, though I kind of feel
100   it should be up there with the synchronized commands. */
101
102   AUTH_CMD,
103
104   /* I'm not sure about these, but I don't think they matter. */
105
106   QUIT_CMD, HELP_CMD,
107
108 #ifdef SUPPORT_PROXY
109   PROXY_FAIL_IGNORE_CMD,
110 #endif
111
112   /* These are specials that don't correspond to actual commands */
113
114   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
115   TOO_MANY_NONMAIL_CMD };
116
117
118 /* This is a convenience macro for adding the identity of an SMTP command
119 to the circular buffer that holds a list of the last n received. */
120
121 #define HAD(n) \
122     smtp_connection_had[smtp_ch_index++] = n; \
123     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
124
125
126 /*************************************************
127 *                Local static variables          *
128 *************************************************/
129
130 static auth_instance *authenticated_by;
131 static BOOL auth_advertised;
132 #ifdef SUPPORT_TLS
133 static BOOL tls_advertised;
134 #endif
135 static BOOL dsn_advertised;
136 static BOOL esmtp;
137 static BOOL helo_required = FALSE;
138 static BOOL helo_verify = FALSE;
139 static BOOL helo_seen;
140 static BOOL helo_accept_junk;
141 static BOOL count_nonmail;
142 static BOOL pipelining_advertised;
143 static BOOL rcpt_smtp_response_same;
144 static BOOL rcpt_in_progress;
145 static int  nonmail_command_count;
146 static BOOL smtp_exit_function_called = 0;
147 #ifdef SUPPORT_I18N
148 static BOOL smtputf8_advertised;
149 #endif
150 static int  synprot_error_count;
151 static int  unknown_command_count;
152 static int  sync_cmd_limit;
153 static int  smtp_write_error = 0;
154
155 static uschar *rcpt_smtp_response;
156 static uschar *smtp_data_buffer;
157 static uschar *smtp_cmd_data;
158
159 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
160 final fields of all except AUTH are forced TRUE at the start of a new message
161 setup, to allow one of each between messages that is not counted as a nonmail
162 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
163 allow a new EHLO after starting up TLS.
164
165 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
166 counted. However, the flag is changed when AUTH is received, so that multiple
167 failing AUTHs will eventually hit the limit. After a successful AUTH, another
168 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
169 forced TRUE, to allow for the re-authentication that can happen at that point.
170
171 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
172 count of non-mail commands and possibly provoke an error.
173
174 tls_auth is a pseudo-command, never expected in input.  It is activated
175 on TLS startup and looks for a tls authenticator. */
176
177 static smtp_cmd_list cmd_list[] = {
178   /* name         len                     cmd     has_arg is_mail_cmd */
179
180   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
181   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
182   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
183   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
184   #ifdef SUPPORT_TLS
185   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
186   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
187   #endif
188
189 /* If you change anything above here, also fix the definitions below. */
190
191   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
192   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
193   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
194   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
195   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
196   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
197   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
198   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
199   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
200   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
201 };
202
203 static smtp_cmd_list *cmd_list_end =
204   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
205
206 #define CMD_LIST_RSET      0
207 #define CMD_LIST_HELO      1
208 #define CMD_LIST_EHLO      2
209 #define CMD_LIST_AUTH      3
210 #define CMD_LIST_STARTTLS  4
211 #define CMD_LIST_TLS_AUTH  5
212
213 /* This list of names is used for performing the smtp_no_mail logging action.
214 It must be kept in step with the SCH_xxx enumerations. */
215
216 static uschar *smtp_names[] =
217   {
218   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
219   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
220   US"STARTTLS", US"VRFY" };
221
222 static uschar *protocols_local[] = {
223   US"local-smtp",        /* HELO */
224   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
225   US"local-esmtp",       /* EHLO */
226   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
227   US"local-esmtpa",      /* EHLO->AUTH */
228   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
229   };
230 static uschar *protocols[] = {
231   US"smtp",              /* HELO */
232   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
233   US"esmtp",             /* EHLO */
234   US"esmtps",            /* EHLO->STARTTLS->EHLO */
235   US"esmtpa",            /* EHLO->AUTH */
236   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
237   };
238
239 #define pnormal  0
240 #define pextend  2
241 #define pcrpted  1  /* added to pextend or pnormal */
242 #define pauthed  2  /* added to pextend */
243
244 /* Sanity check and validate optional args to MAIL FROM: envelope */
245 enum {
246   ENV_MAIL_OPT_NULL,
247   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
248 #ifndef DISABLE_PRDR
249   ENV_MAIL_OPT_PRDR,
250 #endif
251   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
252 #ifdef SUPPORT_I18N
253   ENV_MAIL_OPT_UTF8,
254 #endif
255   };
256 typedef struct {
257   uschar *   name;  /* option requested during MAIL cmd */
258   int       value;  /* enum type */
259   BOOL need_value;  /* TRUE requires value (name=value pair format)
260                        FALSE is a singleton */
261   } env_mail_type_t;
262 static env_mail_type_t env_mail_type_list[] = {
263     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
264     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
265     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
266 #ifndef DISABLE_PRDR
267     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
268 #endif
269     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
270     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
271 #ifdef SUPPORT_I18N
272     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
273 #endif
274     /* keep this the last entry */
275     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
276   };
277
278 /* When reading SMTP from a remote host, we have to use our own versions of the
279 C input-reading functions, in order to be able to flush the SMTP output only
280 when about to read more data from the socket. This is the only way to get
281 optimal performance when the client is using pipelining. Flushing for every
282 command causes a separate packet and reply packet each time; saving all the
283 responses up (when pipelining) combines them into one packet and one response.
284
285 For simplicity, these functions are used for *all* SMTP input, not only when
286 receiving over a socket. However, after setting up a secure socket (SSL), input
287 is read via the OpenSSL library, and another set of functions is used instead
288 (see tls.c).
289
290 These functions are set in the receive_getc etc. variables and called with the
291 same interface as the C functions. However, since there can only ever be
292 one incoming SMTP call, we just use a single buffer and flags. There is no need
293 to implement a complicated private FILE-like structure.*/
294
295 static uschar *smtp_inbuffer;
296 static uschar *smtp_inptr;
297 static uschar *smtp_inend;
298 static int     smtp_had_eof;
299 static int     smtp_had_error;
300
301
302 /* forward declarations */
303 int bdat_ungetc(int ch);
304 static int smtp_read_command(BOOL check_sync);
305 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
306 static void smtp_quit_handler(uschar **, uschar **);
307 static void smtp_rset_handler(void);
308
309 /*************************************************
310 *          SMTP version of getc()                *
311 *************************************************/
312
313 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
314 it flushes the output, and refills the buffer, with a timeout. The signal
315 handler is set appropriately by the calling function. This function is not used
316 after a connection has negotated itself into an TLS/SSL state.
317
318 Arguments:  none
319 Returns:    the next character or EOF
320 */
321
322 int
323 smtp_getc(void)
324 {
325 if (smtp_inptr >= smtp_inend)
326   {
327   int rc, save_errno;
328   if (!smtp_out) return EOF;
329   fflush(smtp_out);
330   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
331   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
332   save_errno = errno;
333   alarm(0);
334   if (rc <= 0)
335     {
336     /* Must put the error text in fixed store, because this might be during
337     header reading, where it releases unused store above the header. */
338     if (rc < 0)
339       {
340       smtp_had_error = save_errno;
341       smtp_read_error = string_copy_malloc(
342         string_sprintf(" (error: %s)", strerror(save_errno)));
343       }
344     else smtp_had_eof = 1;
345     return EOF;
346     }
347 #ifndef DISABLE_DKIM
348   dkim_exim_verify_feed(smtp_inbuffer, rc);
349 #endif
350   smtp_inend = smtp_inbuffer + rc;
351   smtp_inptr = smtp_inbuffer;
352   }
353 return *smtp_inptr++;
354 }
355
356 void
357 smtp_get_cache(void)
358 {
359 #ifndef DISABLE_DKIM
360 int n = smtp_inend - smtp_inptr;
361 if (n > 0)
362   dkim_exim_verify_feed(smtp_inptr, n);
363 #endif
364 }
365
366
367 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
368 previous BDAT chunk and getting new ones when we run out.  Uses the
369 underlying smtp_getc or tls_getc both for that and for getting the
370 (buffered) data byte.  EOD signals (an expected) no further data.
371 ERR signals a protocol error, and EOF a closed input stream.
372
373 Called from read_bdat_smtp() in receive.c for the message body, but also
374 by the headers read loop in receive_msg(); manipulates chunking_state
375 to handle the BDAT command/response.
376 Placed here due to the correlation with the above smtp_getc(), which it wraps,
377 and also by the need to do smtp command/response handling.
378
379 Arguments:  none
380 Returns:    the next character or ERR, EOD or EOF
381 */
382
383 int
384 bdat_getc(void)
385 {
386 uschar * user_msg = NULL;
387 uschar * log_msg;
388
389 for(;;)
390   {
391   if (chunking_data_left-- > 0)
392     return lwr_receive_getc();
393
394   receive_getc = lwr_receive_getc;
395   receive_ungetc = lwr_receive_ungetc;
396
397   /* If not the last, ack the received chunk.  The last response is delayed
398   until after the data ACL decides on it */
399
400   if (chunking_state == CHUNKING_LAST)
401     {
402 #ifndef DISABLE_DKIM
403     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
404 #endif
405     return EOD;
406     }
407
408   chunking_state = CHUNKING_OFFERED;
409   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
410
411   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
412   QUIT, RSET or NOOP but handling them seems obvious */
413
414 next_cmd:
415   switch(smtp_read_command(TRUE))
416     {
417     default:
418       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
419         US"only BDAT permissible after non-LAST BDAT");
420
421   repeat_until_rset:
422       switch(smtp_read_command(TRUE))
423         {
424         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
425         case EOF_CMD:   return EOF;
426         case RSET_CMD:  smtp_rset_handler(); return ERR;
427         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
428                                           US"only RSET accepted now") > 0)
429                           return EOF;
430                         goto repeat_until_rset;
431         }
432
433     case QUIT_CMD:
434       smtp_quit_handler(&user_msg, &log_msg);
435       /*FALLTHROUGH*/
436     case EOF_CMD:
437       return EOF;
438
439     case RSET_CMD:
440       smtp_rset_handler();
441       return ERR;
442
443     case NOOP_CMD:
444       HAD(SCH_NOOP);
445       smtp_printf("250 OK\r\n");
446       goto next_cmd;
447
448     case BDAT_CMD:
449       {
450       int n;
451
452       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
453         {
454         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
455           US"missing size for BDAT command");
456         return ERR;
457         }
458       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
459         ? CHUNKING_LAST : CHUNKING_ACTIVE;
460       chunking_data_left = chunking_datasize;
461
462       if (chunking_datasize == 0)
463         if (chunking_state == CHUNKING_LAST)
464           return EOD;
465         else
466           {
467           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
468             US"zero size for BDAT command");
469           goto repeat_until_rset;
470           }
471
472       receive_getc = bdat_getc;
473       receive_ungetc = bdat_ungetc;
474       break;    /* to top of main loop */
475       }
476     }
477   }
478 }
479
480 static void
481 bdat_flush_data(void)
482 {
483 while (chunking_data_left-- > 0)
484   if (lwr_receive_getc() < 0)
485     break;
486
487 receive_getc = lwr_receive_getc;
488 receive_ungetc = lwr_receive_ungetc;
489
490 if (chunking_state != CHUNKING_LAST)
491   chunking_state = CHUNKING_OFFERED;
492 }
493
494
495
496
497 /*************************************************
498 *          SMTP version of ungetc()              *
499 *************************************************/
500
501 /* Puts a character back in the input buffer. Only ever
502 called once.
503
504 Arguments:
505   ch           the character
506
507 Returns:       the character
508 */
509
510 int
511 smtp_ungetc(int ch)
512 {
513 *--smtp_inptr = ch;
514 return ch;
515 }
516
517
518 int
519 bdat_ungetc(int ch)
520 {
521 chunking_data_left++;
522 return lwr_receive_ungetc(ch);
523 }
524
525
526
527 /*************************************************
528 *          SMTP version of feof()                *
529 *************************************************/
530
531 /* Tests for a previous EOF
532
533 Arguments:     none
534 Returns:       non-zero if the eof flag is set
535 */
536
537 int
538 smtp_feof(void)
539 {
540 return smtp_had_eof;
541 }
542
543
544
545
546 /*************************************************
547 *          SMTP version of ferror()              *
548 *************************************************/
549
550 /* Tests for a previous read error, and returns with errno
551 restored to what it was when the error was detected.
552
553 Arguments:     none
554 Returns:       non-zero if the error flag is set
555 */
556
557 int
558 smtp_ferror(void)
559 {
560 errno = smtp_had_error;
561 return smtp_had_error;
562 }
563
564
565
566 /*************************************************
567 *      Test for characters in the SMTP buffer    *
568 *************************************************/
569
570 /* Used at the end of a message
571
572 Arguments:     none
573 Returns:       TRUE/FALSE
574 */
575
576 BOOL
577 smtp_buffered(void)
578 {
579 return smtp_inptr < smtp_inend;
580 }
581
582
583
584 /*************************************************
585 *     Write formatted string to SMTP channel     *
586 *************************************************/
587
588 /* This is a separate function so that we don't have to repeat everything for
589 TLS support or debugging. It is global so that the daemon and the
590 authentication functions can use it. It does not return any error indication,
591 because major problems such as dropped connections won't show up till an output
592 flush for non-TLS connections. The smtp_fflush() function is available for
593 checking that: for convenience, TLS output errors are remembered here so that
594 they are also picked up later by smtp_fflush().
595
596 Arguments:
597   format      format string
598   ...         optional arguments
599
600 Returns:      nothing
601 */
602
603 void
604 smtp_printf(const char *format, ...)
605 {
606 va_list ap;
607
608 va_start(ap, format);
609 smtp_vprintf(format, ap);
610 va_end(ap);
611 }
612
613 /* This is split off so that verify.c:respond_printf() can, in effect, call
614 smtp_printf(), bearing in mind that in C a vararg function can't directly
615 call another vararg function, only a function which accepts a va_list. */
616
617 void
618 smtp_vprintf(const char *format, va_list ap)
619 {
620 BOOL yield;
621
622 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
623
624 DEBUG(D_receive)
625   {
626   void *reset_point = store_get(0);
627   uschar *msg_copy, *cr, *end;
628   msg_copy = string_copy(big_buffer);
629   end = msg_copy + Ustrlen(msg_copy);
630   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
631   memmove(cr, cr + 1, (end--) - cr);
632   debug_printf("SMTP>> %s", msg_copy);
633   store_reset(reset_point);
634   }
635
636 if (!yield)
637   {
638   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
639   smtp_closedown(US"Unexpected error");
640   exim_exit(EXIT_FAILURE);
641   }
642
643 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
644 have had the same. Note: this code is also present in smtp_respond(). It would
645 be tidier to have it only in one place, but when it was added, it was easier to
646 do it that way, so as not to have to mess with the code for the RCPT command,
647 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
648
649 if (rcpt_in_progress)
650   {
651   if (rcpt_smtp_response == NULL)
652     rcpt_smtp_response = string_copy(big_buffer);
653   else if (rcpt_smtp_response_same &&
654            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
655     rcpt_smtp_response_same = FALSE;
656   rcpt_in_progress = FALSE;
657   }
658
659 /* Now write the string */
660
661 #ifdef SUPPORT_TLS
662 if (tls_in.active >= 0)
663   {
664   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
665     smtp_write_error = -1;
666   }
667 else
668 #endif
669
670 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
671 }
672
673
674
675 /*************************************************
676 *        Flush SMTP out and check for error      *
677 *************************************************/
678
679 /* This function isn't currently used within Exim (it detects errors when it
680 tries to read the next SMTP input), but is available for use in local_scan().
681 For non-TLS connections, it flushes the output and checks for errors. For
682 TLS-connections, it checks for a previously-detected TLS write error.
683
684 Arguments:  none
685 Returns:    0 for no error; -1 after an error
686 */
687
688 int
689 smtp_fflush(void)
690 {
691 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
692 return smtp_write_error;
693 }
694
695
696
697 /*************************************************
698 *          SMTP command read timeout             *
699 *************************************************/
700
701 /* Signal handler for timing out incoming SMTP commands. This attempts to
702 finish off tidily.
703
704 Argument: signal number (SIGALRM)
705 Returns:  nothing
706 */
707
708 static void
709 command_timeout_handler(int sig)
710 {
711 sig = sig;    /* Keep picky compilers happy */
712 log_write(L_lost_incoming_connection,
713           LOG_MAIN, "SMTP command timeout on%s connection from %s",
714           (tls_in.active >= 0)? " TLS" : "",
715           host_and_ident(FALSE));
716 if (smtp_batched_input)
717   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
718 smtp_notquit_exit(US"command-timeout", US"421",
719   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
720 exim_exit(EXIT_FAILURE);
721 }
722
723
724
725 /*************************************************
726 *               SIGTERM received                 *
727 *************************************************/
728
729 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
730
731 Argument: signal number (SIGTERM)
732 Returns:  nothing
733 */
734
735 static void
736 command_sigterm_handler(int sig)
737 {
738 sig = sig;    /* Keep picky compilers happy */
739 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
740 if (smtp_batched_input)
741   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
742 smtp_notquit_exit(US"signal-exit", US"421",
743   US"%s: Service not available - closing connection", smtp_active_hostname);
744 exim_exit(EXIT_FAILURE);
745 }
746
747
748
749
750 #ifdef SUPPORT_PROXY
751 /*************************************************
752 *     Restore socket timeout to previous value   *
753 *************************************************/
754 /* If the previous value was successfully retrieved, restore
755 it before returning control to the non-proxy routines
756
757 Arguments: fd     - File descriptor for input
758            get_ok - Successfully retrieved previous values
759            tvtmp  - Time struct with previous values
760            vslen  - Length of time struct
761 Returns:   none
762 */
763 static void
764 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
765 {
766 if (get_ok == 0)
767   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
768 }
769
770 /*************************************************
771 *       Check if host is required proxy host     *
772 *************************************************/
773 /* The function determines if inbound host will be a regular smtp host
774 or if it is configured that it must use Proxy Protocol.
775
776 Arguments: none
777 Returns:   bool
778 */
779
780 static BOOL
781 check_proxy_protocol_host()
782 {
783 int rc;
784 /* Cannot configure local connection as a proxy inbound */
785 if (sender_host_address == NULL) return proxy_session;
786
787 rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
788                            sender_host_address, NULL);
789 if (rc == OK)
790   {
791   DEBUG(D_receive)
792     debug_printf("Detected proxy protocol configured host\n");
793   proxy_session = TRUE;
794   }
795 return proxy_session;
796 }
797
798
799 /*************************************************
800 *         Setup host for proxy protocol          *
801 *************************************************/
802 /* The function configures the connection based on a header from the
803 inbound host to use Proxy Protocol. The specification is very exact
804 so exit with an error if do not find the exact required pieces. This
805 includes an incorrect number of spaces separating args.
806
807 Arguments: none
808 Returns:   Boolean success
809 */
810
811 static BOOL
812 setup_proxy_protocol_host()
813 {
814 union {
815   struct {
816     uschar line[108];
817   } v1;
818   struct {
819     uschar sig[12];
820     uint8_t ver_cmd;
821     uint8_t fam;
822     uint16_t len;
823     union {
824       struct { /* TCP/UDP over IPv4, len = 12 */
825         uint32_t src_addr;
826         uint32_t dst_addr;
827         uint16_t src_port;
828         uint16_t dst_port;
829       } ip4;
830       struct { /* TCP/UDP over IPv6, len = 36 */
831         uint8_t  src_addr[16];
832         uint8_t  dst_addr[16];
833         uint16_t src_port;
834         uint16_t dst_port;
835       } ip6;
836       struct { /* AF_UNIX sockets, len = 216 */
837         uschar   src_addr[108];
838         uschar   dst_addr[108];
839       } unx;
840     } addr;
841   } v2;
842 } hdr;
843
844 /* Temp variables used in PPv2 address:port parsing */
845 uint16_t tmpport;
846 char tmpip[INET_ADDRSTRLEN];
847 struct sockaddr_in tmpaddr;
848 char tmpip6[INET6_ADDRSTRLEN];
849 struct sockaddr_in6 tmpaddr6;
850
851 int get_ok = 0;
852 int size, ret;
853 int fd = fileno(smtp_in);
854 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
855 uschar *iptype;  /* To display debug info */
856 struct timeval tv;
857 struct timeval tvtmp;
858 socklen_t vslen = sizeof(struct timeval);
859
860 /* Save current socket timeout values */
861 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
862
863 /* Proxy Protocol host must send header within a short time
864 (default 3 seconds) or it's considered invalid */
865 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
866 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
867 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
868   return FALSE;
869
870 do
871   {
872   /* The inbound host was declared to be a Proxy Protocol host, so
873      don't do a PEEK into the data, actually slurp it up. */
874   ret = recv(fd, &hdr, sizeof(hdr), 0);
875   }
876   while (ret == -1 && errno == EINTR);
877
878 if (ret == -1)
879   goto proxyfail;
880
881 if (ret >= 16 &&
882     memcmp(&hdr.v2, v2sig, 12) == 0)
883   {
884   uint8_t ver, cmd;
885
886   /* May 2014: haproxy combined the version and command into one byte to
887      allow two full bytes for the length field in order to proxy SSL
888      connections.  SSL Proxy is not supported in this version of Exim, but
889      must still seperate values here. */
890   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
891   cmd = (hdr.v2.ver_cmd & 0x0f);
892
893   if (ver != 0x02)
894     {
895     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
896     goto proxyfail;
897     }
898   DEBUG(D_receive) debug_printf("Detected PROXYv2 header\n");
899   /* The v2 header will always be 16 bytes per the spec. */
900   size = 16 + hdr.v2.len;
901   if (ret < size)
902     {
903     DEBUG(D_receive) debug_printf("Truncated or too large PROXYv2 header (%d/%d)\n",
904                                   ret, size);
905     goto proxyfail;
906     }
907   switch (cmd)
908     {
909     case 0x01: /* PROXY command */
910       switch (hdr.v2.fam)
911         {
912         case 0x11:  /* TCPv4 address type */
913           iptype = US"IPv4";
914           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
915           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
916           if (!string_is_ip_address(US tmpip,NULL))
917             {
918             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
919             goto proxyfail;
920             }
921           proxy_local_address = sender_host_address;
922           sender_host_address = string_copy(US tmpip);
923           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
924           proxy_local_port    = sender_host_port;
925           sender_host_port    = tmpport;
926           /* Save dest ip/port */
927           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
928           inet_ntop(AF_INET, &(tmpaddr.sin_addr), (char *)&tmpip, sizeof(tmpip));
929           if (!string_is_ip_address(US tmpip,NULL))
930             {
931             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
932             goto proxyfail;
933             }
934           proxy_external_address = string_copy(US tmpip);
935           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
936           proxy_external_port  = tmpport;
937           goto done;
938         case 0x21:  /* TCPv6 address type */
939           iptype = US"IPv6";
940           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
941           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
942           if (!string_is_ip_address(US tmpip6,NULL))
943             {
944             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
945             goto proxyfail;
946             }
947           proxy_local_address = sender_host_address;
948           sender_host_address = string_copy(US tmpip6);
949           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
950           proxy_local_port    = sender_host_port;
951           sender_host_port    = tmpport;
952           /* Save dest ip/port */
953           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
954           inet_ntop(AF_INET6, &(tmpaddr6.sin6_addr), (char *)&tmpip6, sizeof(tmpip6));
955           if (!string_is_ip_address(US tmpip6,NULL))
956             {
957             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
958             goto proxyfail;
959             }
960           proxy_external_address = string_copy(US tmpip6);
961           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
962           proxy_external_port  = tmpport;
963           goto done;
964         default:
965           DEBUG(D_receive)
966             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
967                          hdr.v2.fam);
968           goto proxyfail;
969         }
970       /* Unsupported protocol, keep local connection address */
971       break;
972     case 0x00: /* LOCAL command */
973       /* Keep local connection address for LOCAL */
974       break;
975     default:
976       DEBUG(D_receive)
977         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
978       goto proxyfail;
979     }
980   }
981 else if (ret >= 8 &&
982          memcmp(hdr.v1.line, "PROXY", 5) == 0)
983   {
984   uschar *p = string_copy(hdr.v1.line);
985   uschar *end = memchr(p, '\r', ret - 1);
986   uschar *sp;     /* Utility variables follow */
987   int     tmp_port;
988   char   *endc;
989
990   if (!end || end[1] != '\n')
991     {
992     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
993     goto proxyfail;
994     }
995   *end = '\0'; /* Terminate the string */
996   size = end + 2 - hdr.v1.line; /* Skip header + CRLF */
997   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
998   /* Step through the string looking for the required fields. Ensure
999      strict adherance to required formatting, exit for any error. */
1000   p += 5;
1001   if (!isspace(*(p++)))
1002     {
1003     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1004     goto proxyfail;
1005     }
1006   if (!Ustrncmp(p, CCS"TCP4", 4))
1007     iptype = US"IPv4";
1008   else if (!Ustrncmp(p,CCS"TCP6", 4))
1009     iptype = US"IPv6";
1010   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1011     {
1012     iptype = US"Unknown";
1013     goto done;
1014     }
1015   else
1016     {
1017     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1018     goto proxyfail;
1019     }
1020
1021   p += Ustrlen(iptype);
1022   if (!isspace(*(p++)))
1023     {
1024     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1025     goto proxyfail;
1026     }
1027   /* Find the end of the arg */
1028   if ((sp = Ustrchr(p, ' ')) == NULL)
1029     {
1030     DEBUG(D_receive)
1031       debug_printf("Did not find proxied src %s\n", iptype);
1032     goto proxyfail;
1033     }
1034   *sp = '\0';
1035   if(!string_is_ip_address(p,NULL))
1036     {
1037     DEBUG(D_receive)
1038       debug_printf("Proxied src arg is not an %s address\n", iptype);
1039     goto proxyfail;
1040     }
1041   proxy_local_address = sender_host_address;
1042   sender_host_address = p;
1043   p = sp + 1;
1044   if ((sp = Ustrchr(p, ' ')) == NULL)
1045     {
1046     DEBUG(D_receive)
1047       debug_printf("Did not find proxy dest %s\n", iptype);
1048     goto proxyfail;
1049     }
1050   *sp = '\0';
1051   if(!string_is_ip_address(p,NULL))
1052     {
1053     DEBUG(D_receive)
1054       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1055     goto proxyfail;
1056     }
1057   proxy_external_address = p;
1058   p = sp + 1;
1059   if ((sp = Ustrchr(p, ' ')) == NULL)
1060     {
1061     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1062     goto proxyfail;
1063     }
1064   *sp = '\0';
1065   tmp_port = strtol(CCS p,&endc,10);
1066   if (*endc || tmp_port == 0)
1067     {
1068     DEBUG(D_receive)
1069       debug_printf("Proxied src port '%s' not an integer\n", p);
1070     goto proxyfail;
1071     }
1072   proxy_local_port = sender_host_port;
1073   sender_host_port = tmp_port;
1074   p = sp + 1;
1075   if ((sp = Ustrchr(p, '\0')) == NULL)
1076     {
1077     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1078     goto proxyfail;
1079     }
1080   tmp_port = strtol(CCS p,&endc,10);
1081   if (*endc || tmp_port == 0)
1082     {
1083     DEBUG(D_receive)
1084       debug_printf("Proxy dest port '%s' not an integer\n", p);
1085     goto proxyfail;
1086     }
1087   proxy_external_port = tmp_port;
1088   /* Already checked for /r /n above. Good V1 header received. */
1089   goto done;
1090   }
1091 else
1092   {
1093   /* Wrong protocol */
1094   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1095   goto proxyfail;
1096   }
1097
1098 proxyfail:
1099 restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1100 /* Don't flush any potential buffer contents. Any input should cause a
1101    synchronization failure */
1102 return FALSE;
1103
1104 done:
1105 restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1106 DEBUG(D_receive)
1107   debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1108 return proxy_session;
1109 }
1110 #endif
1111
1112 /*************************************************
1113 *           Read one command line                *
1114 *************************************************/
1115
1116 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1117 There are sites that don't do this, and in any case internal SMTP probably
1118 should check only for LF. Consequently, we check here for LF only. The line
1119 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1120 an unknown command. The command is read into the global smtp_cmd_buffer so that
1121 it is available via $smtp_command.
1122
1123 The character reading routine sets up a timeout for each block actually read
1124 from the input (which may contain more than one command). We set up a special
1125 signal handler that closes down the session on a timeout. Control does not
1126 return when it runs.
1127
1128 Arguments:
1129   check_sync   if TRUE, check synchronization rules if global option is TRUE
1130
1131 Returns:       a code identifying the command (enumerated above)
1132 */
1133
1134 static int
1135 smtp_read_command(BOOL check_sync)
1136 {
1137 int c;
1138 int ptr = 0;
1139 smtp_cmd_list *p;
1140 BOOL hadnull = FALSE;
1141
1142 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1143
1144 while ((c = (receive_getc)()) != '\n' && c != EOF)
1145   {
1146   if (ptr >= smtp_cmd_buffer_size)
1147     {
1148     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1149     return OTHER_CMD;
1150     }
1151   if (c == 0)
1152     {
1153     hadnull = TRUE;
1154     c = '?';
1155     }
1156   smtp_cmd_buffer[ptr++] = c;
1157   }
1158
1159 receive_linecount++;    /* For BSMTP errors */
1160 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1161
1162 /* If hit end of file, return pseudo EOF command. Whether we have a
1163 part-line already read doesn't matter, since this is an error state. */
1164
1165 if (c == EOF) return EOF_CMD;
1166
1167 /* Remove any CR and white space at the end of the line, and terminate the
1168 string. */
1169
1170 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1171 smtp_cmd_buffer[ptr] = 0;
1172
1173 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1174
1175 /* NULLs are not allowed in SMTP commands */
1176
1177 if (hadnull) return BADCHAR_CMD;
1178
1179 /* Scan command list and return identity, having set the data pointer
1180 to the start of the actual data characters. Check for SMTP synchronization
1181 if required. */
1182
1183 for (p = cmd_list; p < cmd_list_end; p++)
1184   {
1185   #ifdef SUPPORT_PROXY
1186   /* Only allow QUIT command if Proxy Protocol parsing failed */
1187   if (proxy_session && proxy_session_failed)
1188     {
1189     if (p->cmd != QUIT_CMD)
1190       continue;
1191     }
1192   #endif
1193   if (  p->len
1194      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1195      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1196         || smtp_cmd_buffer[p->len] == 0
1197         || smtp_cmd_buffer[p->len] == ' '
1198      )  )
1199     {
1200     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1201         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1202         check_sync &&                                  /* Local flag set */
1203         smtp_enforce_sync &&                           /* Global flag set */
1204         sender_host_address != NULL &&                 /* Not local input */
1205         !sender_host_notsocket)                        /* Really is a socket */
1206       return BADSYN_CMD;
1207
1208     /* The variables $smtp_command and $smtp_command_argument point into the
1209     unmodified input buffer. A copy of the latter is taken for actual
1210     processing, so that it can be chopped up into separate parts if necessary,
1211     for example, when processing a MAIL command options such as SIZE that can
1212     follow the sender address. */
1213
1214     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1215     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1216     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1217     smtp_cmd_data = smtp_data_buffer;
1218
1219     /* Count non-mail commands from those hosts that are controlled in this
1220     way. The default is all hosts. We don't waste effort checking the list
1221     until we get a non-mail command, but then cache the result to save checking
1222     again. If there's a DEFER while checking the host, assume it's in the list.
1223
1224     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1225     start of each incoming message by fiddling with the value in the table. */
1226
1227     if (!p->is_mail_cmd)
1228       {
1229       if (count_nonmail == TRUE_UNSET) count_nonmail =
1230         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1231       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1232         return TOO_MANY_NONMAIL_CMD;
1233       }
1234
1235     /* If there is data for a command that does not expect it, generate the
1236     error here. */
1237
1238     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1239     }
1240   }
1241
1242 #ifdef SUPPORT_PROXY
1243 /* Only allow QUIT command if Proxy Protocol parsing failed */
1244 if (proxy_session && proxy_session_failed)
1245   return PROXY_FAIL_IGNORE_CMD;
1246 #endif
1247
1248 /* Enforce synchronization for unknown commands */
1249
1250 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1251     check_sync &&                                  /* Local flag set */
1252     smtp_enforce_sync &&                           /* Global flag set */
1253     sender_host_address != NULL &&                 /* Not local input */
1254     !sender_host_notsocket)                        /* Really is a socket */
1255   return BADSYN_CMD;
1256
1257 return OTHER_CMD;
1258 }
1259
1260
1261
1262 /*************************************************
1263 *          Recheck synchronization               *
1264 *************************************************/
1265
1266 /* Synchronization checks can never be perfect because a packet may be on its
1267 way but not arrived when the check is done. Such checks can in any case only be
1268 done when TLS is not in use. Normally, the checks happen when commands are
1269 read: Exim ensures that there is no more input in the input buffer. In normal
1270 cases, the response to the command will be fast, and there is no further check.
1271
1272 However, for some commands an ACL is run, and that can include delays. In those
1273 cases, it is useful to do another check on the input just before sending the
1274 response. This also applies at the start of a connection. This function does
1275 that check by means of the select() function, as long as the facility is not
1276 disabled or inappropriate. A failure of select() is ignored.
1277
1278 When there is unwanted input, we read it so that it appears in the log of the
1279 error.
1280
1281 Arguments: none
1282 Returns:   TRUE if all is well; FALSE if there is input pending
1283 */
1284
1285 static BOOL
1286 check_sync(void)
1287 {
1288 int fd, rc;
1289 fd_set fds;
1290 struct timeval tzero;
1291
1292 if (!smtp_enforce_sync || sender_host_address == NULL ||
1293     sender_host_notsocket || tls_in.active >= 0)
1294   return TRUE;
1295
1296 fd = fileno(smtp_in);
1297 FD_ZERO(&fds);
1298 FD_SET(fd, &fds);
1299 tzero.tv_sec = 0;
1300 tzero.tv_usec = 0;
1301 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
1302
1303 if (rc <= 0) return TRUE;     /* Not ready to read */
1304 rc = smtp_getc();
1305 if (rc < 0) return TRUE;      /* End of file or error */
1306
1307 smtp_ungetc(rc);
1308 rc = smtp_inend - smtp_inptr;
1309 if (rc > 150) rc = 150;
1310 smtp_inptr[rc] = 0;
1311 return FALSE;
1312 }
1313
1314
1315
1316 /*************************************************
1317 *          Forced closedown of call              *
1318 *************************************************/
1319
1320 /* This function is called from log.c when Exim is dying because of a serious
1321 disaster, and also from some other places. If an incoming non-batched SMTP
1322 channel is open, it swallows the rest of the incoming message if in the DATA
1323 phase, sends the reply string, and gives an error to all subsequent commands
1324 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1325 smtp_in.
1326
1327 Arguments:
1328   message   SMTP reply string to send, excluding the code
1329
1330 Returns:    nothing
1331 */
1332
1333 void
1334 smtp_closedown(uschar *message)
1335 {
1336 if (smtp_in == NULL || smtp_batched_input) return;
1337 receive_swallow_smtp();
1338 smtp_printf("421 %s\r\n", message);
1339
1340 for (;;) switch(smtp_read_command(FALSE))
1341   {
1342   case EOF_CMD:
1343   return;
1344
1345   case QUIT_CMD:
1346   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1347   mac_smtp_fflush();
1348   return;
1349
1350   case RSET_CMD:
1351   smtp_printf("250 Reset OK\r\n");
1352   break;
1353
1354   default:
1355   smtp_printf("421 %s\r\n", message);
1356   break;
1357   }
1358 }
1359
1360
1361
1362
1363 /*************************************************
1364 *        Set up connection info for logging      *
1365 *************************************************/
1366
1367 /* This function is called when logging information about an SMTP connection.
1368 It sets up appropriate source information, depending on the type of connection.
1369 If sender_fullhost is NULL, we are at a very early stage of the connection;
1370 just use the IP address.
1371
1372 Argument:    none
1373 Returns:     a string describing the connection
1374 */
1375
1376 uschar *
1377 smtp_get_connection_info(void)
1378 {
1379 const uschar * hostname = sender_fullhost
1380   ? sender_fullhost : sender_host_address;
1381
1382 if (host_checking)
1383   return string_sprintf("SMTP connection from %s", hostname);
1384
1385 if (sender_host_unknown || sender_host_notsocket)
1386   return string_sprintf("SMTP connection from %s", sender_ident);
1387
1388 if (is_inetd)
1389   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1390
1391 if (LOGGING(incoming_interface) && interface_address != NULL)
1392   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1393     interface_address, interface_port);
1394
1395 return string_sprintf("SMTP connection from %s", hostname);
1396 }
1397
1398
1399
1400 #ifdef SUPPORT_TLS
1401 /* Append TLS-related information to a log line
1402
1403 Arguments:
1404   s             String under construction: allocated string to extend, or NULL
1405   sizep         Pointer to current allocation size (update on return), or NULL
1406   ptrp          Pointer to index for new entries in string (update on return), or NULL
1407
1408 Returns:        Allocated string or NULL
1409 */
1410 static uschar *
1411 s_tlslog(uschar * s, int * sizep, int * ptrp)
1412 {
1413   int size = sizep ? *sizep : 0;
1414   int ptr = ptrp ? *ptrp : 0;
1415
1416   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1417     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1418   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1419     s = string_append(s, &size, &ptr, 2, US" CV=",
1420       tls_in.certificate_verified? "yes":"no");
1421   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1422     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1423       string_printing(tls_in.peerdn), US"\"");
1424   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1425     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1426       string_printing(tls_in.sni), US"\"");
1427
1428   if (s)
1429     {
1430     s[ptr] = '\0';
1431     if (sizep) *sizep = size;
1432     if (ptrp) *ptrp = ptr;
1433     }
1434   return s;
1435 }
1436 #endif
1437
1438 /*************************************************
1439 *      Log lack of MAIL if so configured         *
1440 *************************************************/
1441
1442 /* This function is called when an SMTP session ends. If the log selector
1443 smtp_no_mail is set, write a log line giving some details of what has happened
1444 in the SMTP session.
1445
1446 Arguments:   none
1447 Returns:     nothing
1448 */
1449
1450 void
1451 smtp_log_no_mail(void)
1452 {
1453 int size, ptr, i;
1454 uschar *s, *sep;
1455
1456 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1457   return;
1458
1459 s = NULL;
1460 size = ptr = 0;
1461
1462 if (sender_host_authenticated != NULL)
1463   {
1464   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1465   if (authenticated_id != NULL)
1466     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1467   }
1468
1469 #ifdef SUPPORT_TLS
1470 s = s_tlslog(s, &size, &ptr);
1471 #endif
1472
1473 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1474   US" C=..." : US" C=";
1475 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1476   {
1477   if (smtp_connection_had[i] != SCH_NONE)
1478     {
1479     s = string_append(s, &size, &ptr, 2, sep,
1480       smtp_names[smtp_connection_had[i]]);
1481     sep = US",";
1482     }
1483   }
1484
1485 for (i = 0; i < smtp_ch_index; i++)
1486   {
1487   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1488   sep = US",";
1489   }
1490
1491 if (s != NULL) s[ptr] = 0; else s = US"";
1492 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1493   host_and_ident(FALSE),
1494   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1495   s);
1496 }
1497
1498
1499
1500 /*************************************************
1501 *   Check HELO line and set sender_helo_name     *
1502 *************************************************/
1503
1504 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1505 the domain name of the sending host, or an ip literal in square brackets. The
1506 arrgument is placed in sender_helo_name, which is in malloc store, because it
1507 must persist over multiple incoming messages. If helo_accept_junk is set, this
1508 host is permitted to send any old junk (needed for some broken hosts).
1509 Otherwise, helo_allow_chars can be used for rogue characters in general
1510 (typically people want to let in underscores).
1511
1512 Argument:
1513   s       the data portion of the line (already past any white space)
1514
1515 Returns:  TRUE or FALSE
1516 */
1517
1518 static BOOL
1519 check_helo(uschar *s)
1520 {
1521 uschar *start = s;
1522 uschar *end = s + Ustrlen(s);
1523 BOOL yield = helo_accept_junk;
1524
1525 /* Discard any previous helo name */
1526
1527 if (sender_helo_name != NULL)
1528   {
1529   store_free(sender_helo_name);
1530   sender_helo_name = NULL;
1531   }
1532
1533 /* Skip tests if junk is permitted. */
1534
1535 if (!yield)
1536   {
1537   /* Allow the new standard form for IPv6 address literals, namely,
1538   [IPv6:....], and because someone is bound to use it, allow an equivalent
1539   IPv4 form. Allow plain addresses as well. */
1540
1541   if (*s == '[')
1542     {
1543     if (end[-1] == ']')
1544       {
1545       end[-1] = 0;
1546       if (strncmpic(s, US"[IPv6:", 6) == 0)
1547         yield = (string_is_ip_address(s+6, NULL) == 6);
1548       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1549         yield = (string_is_ip_address(s+6, NULL) == 4);
1550       else
1551         yield = (string_is_ip_address(s+1, NULL) != 0);
1552       end[-1] = ']';
1553       }
1554     }
1555
1556   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1557   that have been configured (usually underscore - sigh). */
1558
1559   else if (*s != 0)
1560     {
1561     yield = TRUE;
1562     while (*s != 0)
1563       {
1564       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1565           Ustrchr(helo_allow_chars, *s) == NULL)
1566         {
1567         yield = FALSE;
1568         break;
1569         }
1570       s++;
1571       }
1572     }
1573   }
1574
1575 /* Save argument if OK */
1576
1577 if (yield) sender_helo_name = string_copy_malloc(start);
1578 return yield;
1579 }
1580
1581
1582
1583
1584
1585 /*************************************************
1586 *         Extract SMTP command option            *
1587 *************************************************/
1588
1589 /* This function picks the next option setting off the end of smtp_cmd_data. It
1590 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1591 things that can appear there.
1592
1593 Arguments:
1594    name           point this at the name
1595    value          point this at the data string
1596
1597 Returns:          TRUE if found an option
1598 */
1599
1600 static BOOL
1601 extract_option(uschar **name, uschar **value)
1602 {
1603 uschar *n;
1604 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1605 while (isspace(*v)) v--;
1606 v[1] = 0;
1607 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
1608
1609 n = v;
1610 if (*v == '=')
1611 {
1612   while(isalpha(n[-1])) n--;
1613   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1614   if (!isspace(n[-1])) return FALSE;
1615   n[-1] = 0;
1616 }
1617 else
1618 {
1619   n++;
1620   if (v == smtp_cmd_data) return FALSE;
1621 }
1622 *v++ = 0;
1623 *name = n;
1624 *value = v;
1625 return TRUE;
1626 }
1627
1628
1629
1630
1631
1632 /*************************************************
1633 *         Reset for new message                  *
1634 *************************************************/
1635
1636 /* This function is called whenever the SMTP session is reset from
1637 within either of the setup functions.
1638
1639 Argument:   the stacking pool storage reset point
1640 Returns:    nothing
1641 */
1642
1643 static void
1644 smtp_reset(void *reset_point)
1645 {
1646 store_reset(reset_point);
1647 recipients_list = NULL;
1648 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1649   raw_recipients_count = recipients_count = recipients_list_max = 0;
1650 cancel_cutthrough_connection("smtp reset");
1651 message_linecount = 0;
1652 message_size = -1;
1653 acl_added_headers = NULL;
1654 acl_removed_headers = NULL;
1655 queue_only_policy = FALSE;
1656 rcpt_smtp_response = NULL;
1657 rcpt_smtp_response_same = TRUE;
1658 rcpt_in_progress = FALSE;
1659 deliver_freeze = FALSE;                              /* Can be set by ACL */
1660 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1661 fake_response = OK;                                  /* Can be set by ACL */
1662 #ifdef WITH_CONTENT_SCAN
1663 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1664 #endif
1665 submission_mode = FALSE;                             /* Can be set by ACL */
1666 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1667 active_local_from_check = local_from_check;          /* Can be set by ACL */
1668 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1669 sender_address = NULL;
1670 submission_name = NULL;                              /* Can be set by ACL */
1671 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1672 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1673 sender_verified_list = NULL;        /* No senders verified */
1674 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1675 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1676
1677 authenticated_sender = NULL;
1678 #ifdef EXPERIMENTAL_BRIGHTMAIL
1679 bmi_run = 0;
1680 bmi_verdicts = NULL;
1681 #endif
1682 #ifndef DISABLE_DKIM
1683 dkim_signers = NULL;
1684 dkim_disable_verify = FALSE;
1685 dkim_collect_input = FALSE;
1686 #endif
1687 dsn_ret = 0;
1688 dsn_envid = NULL;
1689 #ifndef DISABLE_PRDR
1690 prdr_requested = FALSE;
1691 #endif
1692 #ifdef EXPERIMENTAL_SPF
1693 spf_header_comment = NULL;
1694 spf_received = NULL;
1695 spf_result = NULL;
1696 spf_smtp_comment = NULL;
1697 #endif
1698 #ifdef SUPPORT_I18N
1699 message_smtputf8 = FALSE;
1700 #endif
1701 body_linecount = body_zerocount = 0;
1702
1703 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1704 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1705                    /* Note that ratelimiters_conn persists across resets. */
1706
1707 /* Reset message ACL variables */
1708
1709 acl_var_m = NULL;
1710
1711 /* The message body variables use malloc store. They may be set if this is
1712 not the first message in an SMTP session and the previous message caused them
1713 to be referenced in an ACL. */
1714
1715 if (message_body != NULL)
1716   {
1717   store_free(message_body);
1718   message_body = NULL;
1719   }
1720
1721 if (message_body_end != NULL)
1722   {
1723   store_free(message_body_end);
1724   message_body_end = NULL;
1725   }
1726
1727 /* Warning log messages are also saved in malloc store. They are saved to avoid
1728 repetition in the same message, but it seems right to repeat them for different
1729 messages. */
1730
1731 while (acl_warn_logged != NULL)
1732   {
1733   string_item *this = acl_warn_logged;
1734   acl_warn_logged = acl_warn_logged->next;
1735   store_free(this);
1736   }
1737 }
1738
1739
1740
1741
1742
1743 /*************************************************
1744 *  Initialize for incoming batched SMTP message  *
1745 *************************************************/
1746
1747 /* This function is called from smtp_setup_msg() in the case when
1748 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1749 of messages in one file with SMTP commands between them. All errors must be
1750 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1751 relevant. After an error on a sender, or an invalid recipient, the remainder
1752 of the message is skipped. The value of received_protocol is already set.
1753
1754 Argument: none
1755 Returns:  > 0 message successfully started (reached DATA)
1756           = 0 QUIT read or end of file reached
1757           < 0 should not occur
1758 */
1759
1760 static int
1761 smtp_setup_batch_msg(void)
1762 {
1763 int done = 0;
1764 void *reset_point = store_get(0);
1765
1766 /* Save the line count at the start of each transaction - single commands
1767 like HELO and RSET count as whole transactions. */
1768
1769 bsmtp_transaction_linecount = receive_linecount;
1770
1771 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1772
1773 smtp_reset(reset_point);                /* Reset for start of message */
1774
1775 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1776 value. The values are 2 larger than the required yield of the function. */
1777
1778 while (done <= 0)
1779   {
1780   uschar *errmess;
1781   uschar *recipient = NULL;
1782   int start, end, sender_domain, recipient_domain;
1783
1784   switch(smtp_read_command(FALSE))
1785     {
1786     /* The HELO/EHLO commands set sender_address_helo if they have
1787     valid data; otherwise they are ignored, except that they do
1788     a reset of the state. */
1789
1790     case HELO_CMD:
1791     case EHLO_CMD:
1792
1793     check_helo(smtp_cmd_data);
1794     /* Fall through */
1795
1796     case RSET_CMD:
1797     smtp_reset(reset_point);
1798     bsmtp_transaction_linecount = receive_linecount;
1799     break;
1800
1801
1802     /* The MAIL FROM command requires an address as an operand. All we
1803     do here is to parse it for syntactic correctness. The form "<>" is
1804     a special case which converts into an empty string. The start/end
1805     pointers in the original are not used further for this address, as
1806     it is the canonical extracted address which is all that is kept. */
1807
1808     case MAIL_CMD:
1809     smtp_mailcmd_count++;              /* Count for no-mail log */
1810     if (sender_address != NULL)
1811       /* The function moan_smtp_batch() does not return. */
1812       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1813
1814     if (smtp_cmd_data[0] == 0)
1815       /* The function moan_smtp_batch() does not return. */
1816       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1817
1818     /* Reset to start of message */
1819
1820     smtp_reset(reset_point);
1821
1822     /* Apply SMTP rewrite */
1823
1824     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1825       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1826         US"", global_rewrite_rules) : smtp_cmd_data;
1827
1828     /* Extract the address; the TRUE flag allows <> as valid */
1829
1830     raw_sender =
1831       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1832         TRUE);
1833
1834     if (raw_sender == NULL)
1835       /* The function moan_smtp_batch() does not return. */
1836       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1837
1838     sender_address = string_copy(raw_sender);
1839
1840     /* Qualify unqualified sender addresses if permitted to do so. */
1841
1842     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1843       {
1844       if (allow_unqualified_sender)
1845         {
1846         sender_address = rewrite_address_qualify(sender_address, FALSE);
1847         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1848           "and rewritten\n", raw_sender);
1849         }
1850       /* The function moan_smtp_batch() does not return. */
1851       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1852         "a domain");
1853       }
1854     break;
1855
1856
1857     /* The RCPT TO command requires an address as an operand. All we do
1858     here is to parse it for syntactic correctness. There may be any number
1859     of RCPT TO commands, specifying multiple senders. We build them all into
1860     a data structure that is in argc/argv format. The start/end values
1861     given by parse_extract_address are not used, as we keep only the
1862     extracted address. */
1863
1864     case RCPT_CMD:
1865     if (sender_address == NULL)
1866       /* The function moan_smtp_batch() does not return. */
1867       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1868
1869     if (smtp_cmd_data[0] == 0)
1870       /* The function moan_smtp_batch() does not return. */
1871       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1872
1873     /* Check maximum number allowed */
1874
1875     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1876       /* The function moan_smtp_batch() does not return. */
1877       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1878         recipients_max_reject? "552": "452");
1879
1880     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1881     recipient address */
1882
1883     recipient = rewrite_existflags & rewrite_smtp
1884       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1885                     global_rewrite_rules)
1886       : smtp_cmd_data;
1887
1888     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1889       &recipient_domain, FALSE);
1890
1891     if (!recipient)
1892       /* The function moan_smtp_batch() does not return. */
1893       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1894
1895     /* If the recipient address is unqualified, qualify it if permitted. Then
1896     add it to the list of recipients. */
1897
1898     if (recipient_domain == 0)
1899       {
1900       if (allow_unqualified_recipient)
1901         {
1902         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1903           recipient);
1904         recipient = rewrite_address_qualify(recipient, TRUE);
1905         }
1906       /* The function moan_smtp_batch() does not return. */
1907       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1908         "a domain");
1909       }
1910     receive_add_recipient(recipient, -1);
1911     break;
1912
1913
1914     /* The DATA command is legal only if it follows successful MAIL FROM
1915     and RCPT TO commands. This function is complete when a valid DATA
1916     command is encountered. */
1917
1918     case DATA_CMD:
1919     if (sender_address == NULL || recipients_count <= 0)
1920       {
1921       /* The function moan_smtp_batch() does not return. */
1922       if (sender_address == NULL)
1923         moan_smtp_batch(smtp_cmd_buffer,
1924           "503 MAIL FROM:<sender> command must precede DATA");
1925       else
1926         moan_smtp_batch(smtp_cmd_buffer,
1927           "503 RCPT TO:<recipient> must precede DATA");
1928       }
1929     else
1930       {
1931       done = 3;                      /* DATA successfully achieved */
1932       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1933       }
1934     break;
1935
1936
1937     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1938
1939     case VRFY_CMD:
1940     case EXPN_CMD:
1941     case HELP_CMD:
1942     case NOOP_CMD:
1943     case ETRN_CMD:
1944     bsmtp_transaction_linecount = receive_linecount;
1945     break;
1946
1947
1948     case EOF_CMD:
1949     case QUIT_CMD:
1950     done = 2;
1951     break;
1952
1953
1954     case BADARG_CMD:
1955     /* The function moan_smtp_batch() does not return. */
1956     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1957     break;
1958
1959
1960     case BADCHAR_CMD:
1961     /* The function moan_smtp_batch() does not return. */
1962     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1963     break;
1964
1965
1966     default:
1967     /* The function moan_smtp_batch() does not return. */
1968     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1969     break;
1970     }
1971   }
1972
1973 return done - 2;  /* Convert yield values */
1974 }
1975
1976
1977
1978
1979 /*************************************************
1980 *          Start an SMTP session                 *
1981 *************************************************/
1982
1983 /* This function is called at the start of an SMTP session. Thereafter,
1984 smtp_setup_msg() is called to initiate each separate message. This
1985 function does host-specific testing, and outputs the banner line.
1986
1987 Arguments:     none
1988 Returns:       FALSE if the session can not continue; something has
1989                gone wrong, or the connection to the host is blocked
1990 */
1991
1992 BOOL
1993 smtp_start_session(void)
1994 {
1995 int size = 256;
1996 int ptr, esclen;
1997 uschar *user_msg, *log_msg;
1998 uschar *code, *esc;
1999 uschar *p, *s, *ss;
2000
2001 smtp_connection_start = time(NULL);
2002 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2003   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2004 smtp_ch_index = 0;
2005
2006 /* Default values for certain variables */
2007
2008 helo_seen = esmtp = helo_accept_junk = FALSE;
2009 smtp_mailcmd_count = 0;
2010 count_nonmail = TRUE_UNSET;
2011 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2012 smtp_delay_mail = smtp_rlm_base;
2013 auth_advertised = FALSE;
2014 pipelining_advertised = FALSE;
2015 pipelining_enable = TRUE;
2016 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2017 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2018
2019 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2020 authentication settings from -oMaa to remain in force. */
2021
2022 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2023 authenticated_by = NULL;
2024
2025 #ifdef SUPPORT_TLS
2026 tls_in.cipher = tls_in.peerdn = NULL;
2027 tls_in.ourcert = tls_in.peercert = NULL;
2028 tls_in.sni = NULL;
2029 tls_in.ocsp = OCSP_NOT_REQ;
2030 tls_advertised = FALSE;
2031 #endif
2032 dsn_advertised = FALSE;
2033 #ifdef SUPPORT_I18N
2034 smtputf8_advertised = FALSE;
2035 #endif
2036
2037 /* Reset ACL connection variables */
2038
2039 acl_var_c = NULL;
2040
2041 /* Allow for trailing 0 in the command and data buffers. */
2042
2043 if (!(smtp_cmd_buffer = US malloc(2*smtp_cmd_buffer_size + 2)))
2044   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2045     "malloc() failed for SMTP command buffer");
2046
2047 smtp_cmd_buffer[0] = 0;
2048 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
2049
2050 /* For batched input, the protocol setting can be overridden from the
2051 command line by a trusted caller. */
2052
2053 if (smtp_batched_input)
2054   {
2055   if (!received_protocol) received_protocol = US"local-bsmtp";
2056   }
2057
2058 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2059 reset later if any of EHLO/AUTH/STARTTLS are received. */
2060
2061 else
2062   received_protocol =
2063     (sender_host_address ? protocols : protocols_local) [pnormal];
2064
2065 /* Set up the buffer for inputting using direct read() calls, and arrange to
2066 call the local functions instead of the standard C ones. */
2067
2068 if (!(smtp_inbuffer = (uschar *)malloc(in_buffer_size)))
2069   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2070
2071 receive_getc = smtp_getc;
2072 receive_get_cache = smtp_get_cache;
2073 receive_ungetc = smtp_ungetc;
2074 receive_feof = smtp_feof;
2075 receive_ferror = smtp_ferror;
2076 receive_smtp_buffered = smtp_buffered;
2077 smtp_inptr = smtp_inend = smtp_inbuffer;
2078 smtp_had_eof = smtp_had_error = 0;
2079
2080 /* Set up the message size limit; this may be host-specific */
2081
2082 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2083 if (expand_string_message != NULL)
2084   {
2085   if (thismessage_size_limit == -1)
2086     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2087       "%s", expand_string_message);
2088   else
2089     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2090       "%s", expand_string_message);
2091   smtp_closedown(US"Temporary local problem - please try later");
2092   return FALSE;
2093   }
2094
2095 /* When a message is input locally via the -bs or -bS options, sender_host_
2096 unknown is set unless -oMa was used to force an IP address, in which case it
2097 is checked like a real remote connection. When -bs is used from inetd, this
2098 flag is not set, causing the sending host to be checked. The code that deals
2099 with IP source routing (if configured) is never required for -bs or -bS and
2100 the flag sender_host_notsocket is used to suppress it.
2101
2102 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2103 reserve for certain hosts and/or networks. */
2104
2105 if (!sender_host_unknown)
2106   {
2107   int rc;
2108   BOOL reserved_host = FALSE;
2109
2110   /* Look up IP options (source routing info) on the socket if this is not an
2111   -oMa "host", and if any are found, log them and drop the connection.
2112
2113   Linux (and others now, see below) is different to everyone else, so there
2114   has to be some conditional compilation here. Versions of Linux before 2.1.15
2115   used a structure whose name was "options". Somebody finally realized that
2116   this name was silly, and it got changed to "ip_options". I use the
2117   newer name here, but there is a fudge in the script that sets up os.h
2118   to define a macro in older Linux systems.
2119
2120   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2121   glibc 2, which has chosen ip_opts for the structure name. This is now
2122   really a glibc thing rather than a Linux thing, so the condition name
2123   has been changed to reflect this. It is relevant also to GNU/Hurd.
2124
2125   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2126   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2127   a special macro defined in the os.h file.
2128
2129   Some DGUX versions on older hardware appear not to support IP options at
2130   all, so there is now a general macro which can be set to cut out this
2131   support altogether.
2132
2133   How to do this properly in IPv6 is not yet known. */
2134
2135   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2136
2137   #ifdef GLIBC_IP_OPTIONS
2138     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2139     #define OPTSTYLE 1
2140     #else
2141     #define OPTSTYLE 2
2142     #endif
2143   #elif defined DARWIN_IP_OPTIONS
2144     #define OPTSTYLE 2
2145   #else
2146     #define OPTSTYLE 3
2147   #endif
2148
2149   if (!host_checking && !sender_host_notsocket)
2150     {
2151     #if OPTSTYLE == 1
2152     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2153     struct ip_options *ipopt = store_get(optlen);
2154     #elif OPTSTYLE == 2
2155     struct ip_opts ipoptblock;
2156     struct ip_opts *ipopt = &ipoptblock;
2157     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2158     #else
2159     struct ipoption ipoptblock;
2160     struct ipoption *ipopt = &ipoptblock;
2161     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2162     #endif
2163
2164     /* Occasional genuine failures of getsockopt() have been seen - for
2165     example, "reset by peer". Therefore, just log and give up on this
2166     call, unless the error is ENOPROTOOPT. This error is given by systems
2167     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2168     of writing. So for that error, carry on - we just can't do an IP options
2169     check. */
2170
2171     DEBUG(D_receive) debug_printf("checking for IP options\n");
2172
2173     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2174           &optlen) < 0)
2175       {
2176       if (errno != ENOPROTOOPT)
2177         {
2178         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2179           host_and_ident(FALSE), strerror(errno));
2180         smtp_printf("451 SMTP service not available\r\n");
2181         return FALSE;
2182         }
2183       }
2184
2185     /* Deal with any IP options that are set. On the systems I have looked at,
2186     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2187     more logging data than will fit in big_buffer. Nevertheless, after somebody
2188     questioned this code, I've added in some paranoid checking. */
2189
2190     else if (optlen > 0)
2191       {
2192       uschar *p = big_buffer;
2193       uschar *pend = big_buffer + big_buffer_size;
2194       uschar *opt, *adptr;
2195       int optcount;
2196       struct in_addr addr;
2197
2198       #if OPTSTYLE == 1
2199       uschar *optstart = (uschar *)(ipopt->__data);
2200       #elif OPTSTYLE == 2
2201       uschar *optstart = (uschar *)(ipopt->ip_opts);
2202       #else
2203       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2204       #endif
2205
2206       DEBUG(D_receive) debug_printf("IP options exist\n");
2207
2208       Ustrcpy(p, "IP options on incoming call:");
2209       p += Ustrlen(p);
2210
2211       for (opt = optstart; opt != NULL &&
2212            opt < (uschar *)(ipopt) + optlen;)
2213         {
2214         switch (*opt)
2215           {
2216           case IPOPT_EOL:
2217           opt = NULL;
2218           break;
2219
2220           case IPOPT_NOP:
2221           opt++;
2222           break;
2223
2224           case IPOPT_SSRR:
2225           case IPOPT_LSRR:
2226           if (!string_format(p, pend-p, " %s [@%s",
2227                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2228                #if OPTSTYLE == 1
2229                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2230                #elif OPTSTYLE == 2
2231                inet_ntoa(ipopt->ip_dst)))
2232                #else
2233                inet_ntoa(ipopt->ipopt_dst)))
2234                #endif
2235             {
2236             opt = NULL;
2237             break;
2238             }
2239
2240           p += Ustrlen(p);
2241           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2242           adptr = opt + 3;
2243           while (optcount-- > 0)
2244             {
2245             memcpy(&addr, adptr, sizeof(addr));
2246             if (!string_format(p, pend - p - 1, "%s%s",
2247                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2248               {
2249               opt = NULL;
2250               break;
2251               }
2252             p += Ustrlen(p);
2253             adptr += sizeof(struct in_addr);
2254             }
2255           *p++ = ']';
2256           opt += opt[1];
2257           break;
2258
2259           default:
2260             {
2261             int i;
2262             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2263             Ustrcat(p, "[ ");
2264             p += 2;
2265             for (i = 0; i < opt[1]; i++)
2266               {
2267               sprintf(CS p, "%2.2x ", opt[i]);
2268               p += 3;
2269               }
2270             *p++ = ']';
2271             }
2272           opt += opt[1];
2273           break;
2274           }
2275         }
2276
2277       *p = 0;
2278       log_write(0, LOG_MAIN, "%s", big_buffer);
2279
2280       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2281
2282       log_write(0, LOG_MAIN|LOG_REJECT,
2283         "connection from %s refused (IP options)", host_and_ident(FALSE));
2284
2285       smtp_printf("554 SMTP service not available\r\n");
2286       return FALSE;
2287       }
2288
2289     /* Length of options = 0 => there are no options */
2290
2291     else DEBUG(D_receive) debug_printf("no IP options found\n");
2292     }
2293   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2294
2295   /* Set keep-alive in socket options. The option is on by default. This
2296   setting is an attempt to get rid of some hanging connections that stick in
2297   read() when the remote end (usually a dialup) goes away. */
2298
2299   if (smtp_accept_keepalive && !sender_host_notsocket)
2300     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2301
2302   /* If the current host matches host_lookup, set the name by doing a
2303   reverse lookup. On failure, sender_host_name will be NULL and
2304   host_lookup_failed will be TRUE. This may or may not be serious - optional
2305   checks later. */
2306
2307   if (verify_check_host(&host_lookup) == OK)
2308     {
2309     (void)host_name_lookup();
2310     host_build_sender_fullhost();
2311     }
2312
2313   /* Delay this until we have the full name, if it is looked up. */
2314
2315   set_process_info("handling incoming connection from %s",
2316     host_and_ident(FALSE));
2317
2318   /* Expand smtp_receive_timeout, if needed */
2319
2320   if (smtp_receive_timeout_s)
2321     {
2322     uschar * exp;
2323     if (  !(exp = expand_string(smtp_receive_timeout_s))
2324        || !(*exp)
2325        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2326        )
2327       log_write(0, LOG_MAIN|LOG_PANIC,
2328         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2329     }
2330
2331   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2332   smtps port for use with older style SSL MTAs. */
2333
2334   #ifdef SUPPORT_TLS
2335   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2336     return FALSE;
2337   #endif
2338
2339   /* Test for explicit connection rejection */
2340
2341   if (verify_check_host(&host_reject_connection) == OK)
2342     {
2343     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2344       "from %s (host_reject_connection)", host_and_ident(FALSE));
2345     smtp_printf("554 SMTP service not available\r\n");
2346     return FALSE;
2347     }
2348
2349   /* Test with TCP Wrappers if so configured. There is a problem in that
2350   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2351   such as disks dying. In these cases, it is desirable to reject with a 4xx
2352   error instead of a 5xx error. There isn't a "right" way to detect such
2353   problems. The following kludge is used: errno is zeroed before calling
2354   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2355   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2356   not exist). */
2357
2358   #ifdef USE_TCP_WRAPPERS
2359   errno = 0;
2360   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
2361   if (tcp_wrappers_name == NULL)
2362     {
2363     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2364       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2365         expand_string_message);
2366     }
2367   if (!hosts_ctl(tcp_wrappers_name,
2368          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
2369          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
2370          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
2371     {
2372     if (errno == 0 || errno == ENOENT)
2373       {
2374       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2375       log_write(L_connection_reject,
2376                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2377                 "(tcp wrappers)", host_and_ident(FALSE));
2378       smtp_printf("554 SMTP service not available\r\n");
2379       }
2380     else
2381       {
2382       int save_errno = errno;
2383       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2384         "errno value %d\n", save_errno);
2385       log_write(L_connection_reject,
2386                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2387                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2388       smtp_printf("451 Temporary local problem - please try later\r\n");
2389       }
2390     return FALSE;
2391     }
2392   #endif
2393
2394   /* Check for reserved slots. The value of smtp_accept_count has already been
2395   incremented to include this process. */
2396
2397   if (smtp_accept_max > 0 &&
2398       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2399     {
2400     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2401       {
2402       log_write(L_connection_reject,
2403         LOG_MAIN, "temporarily refused connection from %s: not in "
2404         "reserve list: connected=%d max=%d reserve=%d%s",
2405         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2406         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2407       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2408         "please try again later\r\n", smtp_active_hostname);
2409       return FALSE;
2410       }
2411     reserved_host = TRUE;
2412     }
2413
2414   /* If a load level above which only messages from reserved hosts are
2415   accepted is set, check the load. For incoming calls via the daemon, the
2416   check is done in the superior process if there are no reserved hosts, to
2417   save a fork. In all cases, the load average will already be available
2418   in a global variable at this point. */
2419
2420   if (smtp_load_reserve >= 0 &&
2421        load_average > smtp_load_reserve &&
2422        !reserved_host &&
2423        verify_check_host(&smtp_reserve_hosts) != OK)
2424     {
2425     log_write(L_connection_reject,
2426       LOG_MAIN, "temporarily refused connection from %s: not in "
2427       "reserve list and load average = %.2f", host_and_ident(FALSE),
2428       (double)load_average/1000.0);
2429     smtp_printf("421 %s: Too much load; please try again later\r\n",
2430       smtp_active_hostname);
2431     return FALSE;
2432     }
2433
2434   /* Determine whether unqualified senders or recipients are permitted
2435   for this host. Unfortunately, we have to do this every time, in order to
2436   set the flags so that they can be inspected when considering qualifying
2437   addresses in the headers. For a site that permits no qualification, this
2438   won't take long, however. */
2439
2440   allow_unqualified_sender =
2441     verify_check_host(&sender_unqualified_hosts) == OK;
2442
2443   allow_unqualified_recipient =
2444     verify_check_host(&recipient_unqualified_hosts) == OK;
2445
2446   /* Determine whether HELO/EHLO is required for this host. The requirement
2447   can be hard or soft. */
2448
2449   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2450   if (!helo_required)
2451     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2452
2453   /* Determine whether this hosts is permitted to send syntactic junk
2454   after a HELO or EHLO command. */
2455
2456   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2457   }
2458
2459 /* For batch SMTP input we are now done. */
2460
2461 if (smtp_batched_input) return TRUE;
2462
2463 #ifdef SUPPORT_PROXY
2464 /* If valid Proxy Protocol source is connecting, set up session.
2465  * Failure will not allow any SMTP function other than QUIT. */
2466 proxy_session = FALSE;
2467 proxy_session_failed = FALSE;
2468 if (check_proxy_protocol_host())
2469   if (!setup_proxy_protocol_host())
2470     {
2471     proxy_session_failed = TRUE;
2472     DEBUG(D_receive)
2473       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
2474     }
2475   else
2476     {
2477     sender_host_name = NULL;
2478     (void)host_name_lookup();
2479     host_build_sender_fullhost();
2480     }
2481 #endif
2482
2483 /* Run the ACL if it exists */
2484
2485 user_msg = NULL;
2486 if (acl_smtp_connect)
2487   {
2488   int rc;
2489   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2490                       &log_msg)) != OK)
2491     {
2492     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2493     return FALSE;
2494     }
2495   }
2496
2497 /* Output the initial message for a two-way SMTP connection. It may contain
2498 newlines, which then cause a multi-line response to be given. */
2499
2500 code = US"220";   /* Default status code */
2501 esc = US"";       /* Default extended status code */
2502 esclen = 0;       /* Length of esc */
2503
2504 if (!user_msg)
2505   {
2506   if (!(s = expand_string(smtp_banner)))
2507     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2508       "failed: %s", smtp_banner, expand_string_message);
2509   }
2510 else
2511   {
2512   int codelen = 3;
2513   s = user_msg;
2514   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2515   if (codelen > 4)
2516     {
2517     esc = code + 4;
2518     esclen = codelen - 4;
2519     }
2520   }
2521
2522 /* Remove any terminating newlines; might as well remove trailing space too */
2523
2524 p = s + Ustrlen(s);
2525 while (p > s && isspace(p[-1])) p--;
2526 *p = 0;
2527
2528 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2529 is all contained in a single IP packet. The original code wrote out the
2530 greeting using several calls to fprint/fputc, and on busy servers this could
2531 cause it to be split over more than one packet - which caused CC:Mail to fall
2532 over when it got the second part of the greeting after sending its first
2533 command. Sigh. To try to avoid this, build the complete greeting message
2534 first, and output it in one fell swoop. This gives a better chance of it
2535 ending up as a single packet. */
2536
2537 ss = store_get(size);
2538 ptr = 0;
2539
2540 p = s;
2541 do       /* At least once, in case we have an empty string */
2542   {
2543   int len;
2544   uschar *linebreak = Ustrchr(p, '\n');
2545   ss = string_catn(ss, &size, &ptr, code, 3);
2546   if (linebreak == NULL)
2547     {
2548     len = Ustrlen(p);
2549     ss = string_catn(ss, &size, &ptr, US" ", 1);
2550     }
2551   else
2552     {
2553     len = linebreak - p;
2554     ss = string_catn(ss, &size, &ptr, US"-", 1);
2555     }
2556   ss = string_catn(ss, &size, &ptr, esc, esclen);
2557   ss = string_catn(ss, &size, &ptr, p, len);
2558   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2559   p += len;
2560   if (linebreak != NULL) p++;
2561   }
2562 while (*p != 0);
2563
2564 ss[ptr] = 0;  /* string_cat leaves room for this */
2565
2566 /* Before we write the banner, check that there is no input pending, unless
2567 this synchronisation check is disabled. */
2568
2569 if (!check_sync())
2570   {
2571   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2572     "synchronization error (input sent without waiting for greeting): "
2573     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2574     string_printing(smtp_inptr));
2575   smtp_printf("554 SMTP synchronization error\r\n");
2576   return FALSE;
2577   }
2578
2579 /* Now output the banner */
2580
2581 smtp_printf("%s", ss);
2582 return TRUE;
2583 }
2584
2585
2586
2587
2588
2589 /*************************************************
2590 *     Handle SMTP syntax and protocol errors     *
2591 *************************************************/
2592
2593 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2594 to do so. Then transmit the error response. The return value depends on the
2595 number of syntax and protocol errors in this SMTP session.
2596
2597 Arguments:
2598   type      error type, given as a log flag bit
2599   code      response code; <= 0 means don't send a response
2600   data      data to reflect in the response (can be NULL)
2601   errmess   the error message
2602
2603 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2604             +1   limit of syntax/protocol errors IS exceeded
2605
2606 These values fit in with the values of the "done" variable in the main
2607 processing loop in smtp_setup_msg(). */
2608
2609 static int
2610 synprot_error(int type, int code, uschar *data, uschar *errmess)
2611 {
2612 int yield = -1;
2613
2614 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2615   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2616   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2617
2618 if (++synprot_error_count > smtp_max_synprot_errors)
2619   {
2620   yield = 1;
2621   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2622     "syntax or protocol errors (last command was \"%s\")",
2623     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2624   }
2625
2626 if (code > 0)
2627   {
2628   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2629     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2630   if (yield == 1)
2631     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2632   }
2633
2634 return yield;
2635 }
2636
2637
2638
2639
2640 /*************************************************
2641 *          Log incomplete transactions           *
2642 *************************************************/
2643
2644 /* This function is called after a transaction has been aborted by RSET, QUIT,
2645 connection drops or other errors. It logs the envelope information received
2646 so far in order to preserve address verification attempts.
2647
2648 Argument:   string to indicate what aborted the transaction
2649 Returns:    nothing
2650 */
2651
2652 static void
2653 incomplete_transaction_log(uschar *what)
2654 {
2655 if (sender_address == NULL ||                 /* No transaction in progress */
2656     !LOGGING(smtp_incomplete_transaction))
2657   return;
2658
2659 /* Build list of recipients for logging */
2660
2661 if (recipients_count > 0)
2662   {
2663   int i;
2664   raw_recipients = store_get(recipients_count * sizeof(uschar *));
2665   for (i = 0; i < recipients_count; i++)
2666     raw_recipients[i] = recipients_list[i].address;
2667   raw_recipients_count = recipients_count;
2668   }
2669
2670 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
2671   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
2672 }
2673
2674
2675
2676
2677 /*************************************************
2678 *    Send SMTP response, possibly multiline      *
2679 *************************************************/
2680
2681 /* There are, it seems, broken clients out there that cannot handle multiline
2682 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2683 output nothing for non-final calls, and only the first line for anything else.
2684
2685 Arguments:
2686   code          SMTP code, may involve extended status codes
2687   codelen       length of smtp code; if > 4 there's an ESC
2688   final         FALSE if the last line isn't the final line
2689   msg           message text, possibly containing newlines
2690
2691 Returns:        nothing
2692 */
2693
2694 void
2695 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2696 {
2697 int esclen = 0;
2698 uschar *esc = US"";
2699
2700 if (!final && no_multiline_responses) return;
2701
2702 if (codelen > 4)
2703   {
2704   esc = code + 4;
2705   esclen = codelen - 4;
2706   }
2707
2708 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2709 have had the same. Note: this code is also present in smtp_printf(). It would
2710 be tidier to have it only in one place, but when it was added, it was easier to
2711 do it that way, so as not to have to mess with the code for the RCPT command,
2712 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2713
2714 if (rcpt_in_progress)
2715   {
2716   if (rcpt_smtp_response == NULL)
2717     rcpt_smtp_response = string_copy(msg);
2718   else if (rcpt_smtp_response_same &&
2719            Ustrcmp(rcpt_smtp_response, msg) != 0)
2720     rcpt_smtp_response_same = FALSE;
2721   rcpt_in_progress = FALSE;
2722   }
2723
2724 /* Not output the message, splitting it up into multiple lines if necessary. */
2725
2726 for (;;)
2727   {
2728   uschar *nl = Ustrchr(msg, '\n');
2729   if (nl == NULL)
2730     {
2731     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2732     return;
2733     }
2734   else if (nl[1] == 0 || no_multiline_responses)
2735     {
2736     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2737       (int)(nl - msg), msg);
2738     return;
2739     }
2740   else
2741     {
2742     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2743     msg = nl + 1;
2744     while (isspace(*msg)) msg++;
2745     }
2746   }
2747 }
2748
2749
2750
2751
2752 /*************************************************
2753 *            Parse user SMTP message             *
2754 *************************************************/
2755
2756 /* This function allows for user messages overriding the response code details
2757 by providing a suitable response code string at the start of the message
2758 user_msg. Check the message for starting with a response code and optionally an
2759 extended status code. If found, check that the first digit is valid, and if so,
2760 change the code pointer and length to use the replacement. An invalid code
2761 causes a panic log; in this case, if the log messages is the same as the user
2762 message, we must also adjust the value of the log message to show the code that
2763 is actually going to be used (the original one).
2764
2765 This function is global because it is called from receive.c as well as within
2766 this module.
2767
2768 Note that the code length returned includes the terminating whitespace
2769 character, which is always included in the regex match.
2770
2771 Arguments:
2772   code          SMTP code, may involve extended status codes
2773   codelen       length of smtp code; if > 4 there's an ESC
2774   msg           message text
2775   log_msg       optional log message, to be adjusted with the new SMTP code
2776   check_valid   if true, verify the response code
2777
2778 Returns:        nothing
2779 */
2780
2781 void
2782 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2783   BOOL check_valid)
2784 {
2785 int n;
2786 int ovector[3];
2787
2788 if (!msg || !*msg) return;
2789
2790 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2791   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2792
2793 if (check_valid && (*msg)[0] != (*code)[0])
2794   {
2795   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2796     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2797   if (log_msg != NULL && *log_msg == *msg)
2798     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2799   }
2800 else
2801   {
2802   *code = *msg;
2803   *codelen = ovector[1];    /* Includes final space */
2804   }
2805 *msg += ovector[1];         /* Chop the code off the message */
2806 return;
2807 }
2808
2809
2810
2811
2812 /*************************************************
2813 *           Handle an ACL failure                *
2814 *************************************************/
2815
2816 /* This function is called when acl_check() fails. As well as calls from within
2817 this module, it is called from receive.c for an ACL after DATA. It sorts out
2818 logging the incident, and sets up the error response. A message containing
2819 newlines is turned into a multiline SMTP response, but for logging, only the
2820 first line is used.
2821
2822 There's a table of default permanent failure response codes to use in
2823 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2824 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2825 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2826 state, because there are broken clients that try VRFY before RCPT. A 5xx
2827 response should be given only when the address is positively known to be
2828 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
2829 no explicit code, but if there is one we let it know best.
2830 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
2831
2832 From Exim 4.63, it is possible to override the response code details by
2833 providing a suitable response code string at the start of the message provided
2834 in user_msg. The code's first digit is checked for validity.
2835
2836 Arguments:
2837   where        where the ACL was called from
2838   rc           the failure code
2839   user_msg     a message that can be included in an SMTP response
2840   log_msg      a message for logging
2841
2842 Returns:     0 in most cases
2843              2 if the failure code was FAIL_DROP, in which case the
2844                SMTP connection should be dropped (this value fits with the
2845                "done" variable in smtp_setup_msg() below)
2846 */
2847
2848 int
2849 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2850 {
2851 BOOL drop = rc == FAIL_DROP;
2852 int codelen = 3;
2853 uschar *smtp_code;
2854 uschar *lognl;
2855 uschar *sender_info = US"";
2856 uschar *what =
2857 #ifdef WITH_CONTENT_SCAN
2858   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
2859 #endif
2860   where == ACL_WHERE_PREDATA ? US"DATA" :
2861   where == ACL_WHERE_DATA ? US"after DATA" :
2862 #ifndef DISABLE_PRDR
2863   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
2864 #endif
2865   smtp_cmd_data ?
2866     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
2867     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
2868
2869 if (drop) rc = FAIL;
2870
2871 /* Set the default SMTP code, and allow a user message to change it. */
2872
2873 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
2874 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
2875   where != ACL_WHERE_VRFY);
2876
2877 /* We used to have sender_address here; however, there was a bug that was not
2878 updating sender_address after a rewrite during a verify. When this bug was
2879 fixed, sender_address at this point became the rewritten address. I'm not sure
2880 this is what should be logged, so I've changed to logging the unrewritten
2881 address to retain backward compatibility. */
2882
2883 #ifndef WITH_CONTENT_SCAN
2884 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2885 #else
2886 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2887 #endif
2888   {
2889   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2890     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2891     sender_host_authenticated ? US" A="                                    : US"",
2892     sender_host_authenticated ? sender_host_authenticated                  : US"",
2893     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2894     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2895     );
2896   }
2897
2898 /* If there's been a sender verification failure with a specific message, and
2899 we have not sent a response about it yet, do so now, as a preliminary line for
2900 failures, but not defers. However, always log it for defer, and log it for fail
2901 unless the sender_verify_fail log selector has been turned off. */
2902
2903 if (sender_verified_failed != NULL &&
2904     !testflag(sender_verified_failed, af_sverify_told))
2905   {
2906   BOOL save_rcpt_in_progress = rcpt_in_progress;
2907   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2908
2909   setflag(sender_verified_failed, af_sverify_told);
2910
2911   if (rc != FAIL || LOGGING(sender_verify_fail))
2912     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2913       host_and_ident(TRUE),
2914       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2915       sender_verified_failed->address,
2916       (sender_verified_failed->message == NULL)? US"" :
2917       string_sprintf(": %s", sender_verified_failed->message));
2918
2919   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2920     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2921         testflag(sender_verified_failed, af_verify_pmfail)?
2922           "Postmaster verification failed while checking <%s>\n%s\n"
2923           "Several RFCs state that you are required to have a postmaster\n"
2924           "mailbox for each mail domain. This host does not accept mail\n"
2925           "from domains whose servers reject the postmaster address."
2926           :
2927         testflag(sender_verified_failed, af_verify_nsfail)?
2928           "Callback setup failed while verifying <%s>\n%s\n"
2929           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2930           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2931           "RFC requirements, and stops you from receiving standard bounce\n"
2932           "messages. This host does not accept mail from domains whose servers\n"
2933           "refuse bounces."
2934           :
2935           "Verification failed for <%s>\n%s",
2936         sender_verified_failed->address,
2937         sender_verified_failed->user_message));
2938
2939   rcpt_in_progress = save_rcpt_in_progress;
2940   }
2941
2942 /* Sort out text for logging */
2943
2944 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
2945 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
2946
2947 /* Send permanent failure response to the command, but the code used isn't
2948 always a 5xx one - see comments at the start of this function. If the original
2949 rc was FAIL_DROP we drop the connection and yield 2. */
2950
2951 if (rc == FAIL)
2952   smtp_respond(smtp_code, codelen, TRUE,
2953     user_msg ? user_msg : US"Administrative prohibition");
2954
2955 /* Send temporary failure response to the command. Don't give any details,
2956 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2957 verb, and for a header verify when smtp_return_error_details is set.
2958
2959 This conditional logic is all somewhat of a mess because of the odd
2960 interactions between temp_details and return_error_details. One day it should
2961 be re-implemented in a tidier fashion. */
2962
2963 else
2964   if (acl_temp_details && user_msg)
2965     {
2966     if (  smtp_return_error_details
2967        && sender_verified_failed
2968        && sender_verified_failed->message
2969        )
2970       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2971
2972     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2973     }
2974   else
2975     smtp_respond(smtp_code, codelen, TRUE,
2976       US"Temporary local problem - please try later");
2977
2978 /* Log the incident to the logs that are specified by log_reject_target
2979 (default main, reject). This can be empty to suppress logging of rejections. If
2980 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2981 is closing if required and return 2.  */
2982
2983 if (log_reject_target != 0)
2984   {
2985 #ifdef SUPPORT_TLS
2986   uschar * tls = s_tlslog(NULL, NULL, NULL);
2987   if (!tls) tls = US"";
2988 #else
2989   uschar * tls = US"";
2990 #endif
2991   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
2992     log_reject_target, "%s%s%s %s%srejected %s%s",
2993     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
2994     host_and_ident(TRUE),
2995     tls,
2996     sender_info,
2997     rc == FAIL ? US"" : US"temporarily ",
2998     what, log_msg);
2999   }
3000
3001 if (!drop) return 0;
3002
3003 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3004   smtp_get_connection_info());
3005
3006 /* Run the not-quit ACL, but without any custom messages. This should not be a
3007 problem, because we get here only if some other ACL has issued "drop", and
3008 in that case, *its* custom messages will have been used above. */
3009
3010 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3011 return 2;
3012 }
3013
3014
3015
3016
3017 /*************************************************
3018 *     Handle SMTP exit when QUIT is not given    *
3019 *************************************************/
3020
3021 /* This function provides a logging/statistics hook for when an SMTP connection
3022 is dropped on the floor or the other end goes away. It's a global function
3023 because it's called from receive.c as well as this module. As well as running
3024 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3025 response, either with a custom message from the ACL, or using a default. There
3026 is one case, however, when no message is output - after "drop". In that case,
3027 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3028 passed to this function.
3029
3030 In case things go wrong while processing this function, causing an error that
3031 may re-enter this funtion, there is a recursion check.
3032
3033 Arguments:
3034   reason          What $smtp_notquit_reason will be set to in the ACL;
3035                     if NULL, the ACL is not run
3036   code            The error code to return as part of the response
3037   defaultrespond  The default message if there's no user_msg
3038
3039 Returns:          Nothing
3040 */
3041
3042 void
3043 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3044 {
3045 int rc;
3046 uschar *user_msg = NULL;
3047 uschar *log_msg = NULL;
3048
3049 /* Check for recursive acll */
3050
3051 if (smtp_exit_function_called)
3052   {
3053   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3054     reason);
3055   return;
3056   }
3057 smtp_exit_function_called = TRUE;
3058
3059 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3060
3061 if (acl_smtp_notquit && reason)
3062   {
3063   smtp_notquit_reason = reason;
3064   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3065                       &log_msg)) == ERROR)
3066     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3067       log_msg);
3068   }
3069
3070 /* Write an SMTP response if we are expected to give one. As the default
3071 responses are all internal, they should always fit in the buffer, but code a
3072 warning, just in case. Note that string_vformat() still leaves a complete
3073 string, even if it is incomplete. */
3074
3075 if (code && defaultrespond)
3076   {
3077   if (user_msg)
3078     smtp_respond(code, 3, TRUE, user_msg);
3079   else
3080     {
3081     uschar buffer[128];
3082     va_list ap;
3083     va_start(ap, defaultrespond);
3084     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3085       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3086     smtp_printf("%s %s\r\n", code, buffer);
3087     va_end(ap);
3088     }
3089   mac_smtp_fflush();
3090   }
3091 }
3092
3093
3094
3095
3096 /*************************************************
3097 *             Verify HELO argument               *
3098 *************************************************/
3099
3100 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3101 matched. It is also called from ACL processing if verify = helo is used and
3102 verification was not previously tried (i.e. helo_try_verify_hosts was not
3103 matched). The result of its processing is to set helo_verified and
3104 helo_verify_failed. These variables should both be FALSE for this function to
3105 be called.
3106
3107 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3108 for IPv6 ::ffff: literals.
3109
3110 Argument:   none
3111 Returns:    TRUE if testing was completed;
3112             FALSE on a temporary failure
3113 */
3114
3115 BOOL
3116 smtp_verify_helo(void)
3117 {
3118 BOOL yield = TRUE;
3119
3120 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3121   sender_helo_name);
3122
3123 if (sender_helo_name == NULL)
3124   {
3125   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3126   }
3127
3128 /* Deal with the case of -bs without an IP address */
3129
3130 else if (sender_host_address == NULL)
3131   {
3132   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3133   helo_verified = TRUE;
3134   }
3135
3136 /* Deal with the more common case when there is a sending IP address */
3137
3138 else if (sender_helo_name[0] == '[')
3139   {
3140   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3141     Ustrlen(sender_host_address)) == 0;
3142
3143   #if HAVE_IPV6
3144   if (!helo_verified)
3145     {
3146     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3147       helo_verified = Ustrncmp(sender_helo_name + 1,
3148         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3149     }
3150   #endif
3151
3152   HDEBUG(D_receive)
3153     { if (helo_verified) debug_printf("matched host address\n"); }
3154   }
3155
3156 /* Do a reverse lookup if one hasn't already given a positive or negative
3157 response. If that fails, or the name doesn't match, try checking with a forward
3158 lookup. */
3159
3160 else
3161   {
3162   if (sender_host_name == NULL && !host_lookup_failed)
3163     yield = host_name_lookup() != DEFER;
3164
3165   /* If a host name is known, check it and all its aliases. */
3166
3167   if (sender_host_name)
3168     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3169       {
3170       sender_helo_dnssec = sender_host_dnssec;
3171       HDEBUG(D_receive) debug_printf("matched host name\n");
3172       }
3173     else
3174       {
3175       uschar **aliases = sender_host_aliases;
3176       while (*aliases)
3177         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3178           {
3179           sender_helo_dnssec = sender_host_dnssec;
3180           break;
3181           }
3182
3183       HDEBUG(D_receive) if (helo_verified)
3184           debug_printf("matched alias %s\n", *(--aliases));
3185       }
3186
3187   /* Final attempt: try a forward lookup of the helo name */
3188
3189   if (!helo_verified)
3190     {
3191     int rc;
3192     host_item h;
3193     dnssec_domains d;
3194     host_item *hh;
3195
3196     h.name = sender_helo_name;
3197     h.address = NULL;
3198     h.mx = MX_NONE;
3199     h.next = NULL;
3200     d.request = US"*";
3201     d.require = US"";
3202
3203     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3204       sender_helo_name);
3205     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3206                           NULL, NULL, NULL, &d, NULL, NULL);
3207     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3208       for (hh = &h; hh; hh = hh->next)
3209         if (Ustrcmp(hh->address, sender_host_address) == 0)
3210           {
3211           helo_verified = TRUE;
3212           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3213           HDEBUG(D_receive)
3214             {
3215             debug_printf("IP address for %s matches calling address\n"
3216               "Forward DNS security status: %sverified\n",
3217               sender_helo_name, sender_helo_dnssec ? "" : "un");
3218             }
3219           break;
3220           }
3221     }
3222   }
3223
3224 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3225 return yield;
3226 }
3227
3228
3229
3230
3231 /*************************************************
3232 *        Send user response message              *
3233 *************************************************/
3234
3235 /* This function is passed a default response code and a user message. It calls
3236 smtp_message_code() to check and possibly modify the response code, and then
3237 calls smtp_respond() to transmit the response. I put this into a function
3238 just to avoid a lot of repetition.
3239
3240 Arguments:
3241   code         the response code
3242   user_msg     the user message
3243
3244 Returns:       nothing
3245 */
3246
3247 static void
3248 smtp_user_msg(uschar *code, uschar *user_msg)
3249 {
3250 int len = 3;
3251 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3252 smtp_respond(code, len, TRUE, user_msg);
3253 }
3254
3255
3256
3257 static int
3258 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3259 {
3260 const uschar *set_id = NULL;
3261 int rc, i;
3262
3263 /* Run the checking code, passing the remainder of the command line as
3264 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3265 it as the only set numerical variable. The authenticator may set $auth<n>
3266 and also set other numeric variables. The $auth<n> variables are preferred
3267 nowadays; the numerical variables remain for backwards compatibility.
3268
3269 Afterwards, have a go at expanding the set_id string, even if
3270 authentication failed - for bad passwords it can be useful to log the
3271 userid. On success, require set_id to expand and exist, and put it in
3272 authenticated_id. Save this in permanent store, as the working store gets
3273 reset at HELO, RSET, etc. */
3274
3275 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3276 expand_nmax = 0;
3277 expand_nlength[0] = 0;   /* $0 contains nothing */
3278
3279 rc = (au->info->servercode)(au, smtp_cmd_data);
3280 if (au->set_id) set_id = expand_string(au->set_id);
3281 expand_nmax = -1;        /* Reset numeric variables */
3282 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3283
3284 /* The value of authenticated_id is stored in the spool file and printed in
3285 log lines. It must not contain binary zeros or newline characters. In
3286 normal use, it never will, but when playing around or testing, this error
3287 can (did) happen. To guard against this, ensure that the id contains only
3288 printing characters. */
3289
3290 if (set_id) set_id = string_printing(set_id);
3291
3292 /* For the non-OK cases, set up additional logging data if set_id
3293 is not empty. */
3294
3295 if (rc != OK)
3296   set_id = set_id && *set_id
3297     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3298
3299 /* Switch on the result */
3300
3301 switch(rc)
3302   {
3303   case OK:
3304   if (!au->set_id || set_id)    /* Complete success */
3305     {
3306     if (set_id) authenticated_id = string_copy_malloc(set_id);
3307     sender_host_authenticated = au->name;
3308     authentication_failed = FALSE;
3309     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3310
3311     received_protocol =
3312       (sender_host_address ? protocols : protocols_local)
3313         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3314     *s = *ss = US"235 Authentication succeeded";
3315     authenticated_by = au;
3316     break;
3317     }
3318
3319   /* Authentication succeeded, but we failed to expand the set_id string.
3320   Treat this as a temporary error. */
3321
3322   auth_defer_msg = expand_string_message;
3323   /* Fall through */
3324
3325   case DEFER:
3326   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3327   *s = string_sprintf("435 Unable to authenticate at present%s",
3328     auth_defer_user_msg);
3329   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3330     set_id, auth_defer_msg);
3331   break;
3332
3333   case BAD64:
3334   *s = *ss = US"501 Invalid base64 data";
3335   break;
3336
3337   case CANCELLED:
3338   *s = *ss = US"501 Authentication cancelled";
3339   break;
3340
3341   case UNEXPECTED:
3342   *s = *ss = US"553 Initial data not expected";
3343   break;
3344
3345   case FAIL:
3346   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3347   *s = US"535 Incorrect authentication data";
3348   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3349   break;
3350
3351   default:
3352   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3353   *s = US"435 Internal error";
3354   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3355     "check", set_id, rc);
3356   break;
3357   }
3358
3359 return rc;
3360 }
3361
3362
3363
3364
3365
3366 static int
3367 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3368 {
3369 int rd;
3370 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3371   {
3372   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3373     *recipient);
3374   rd = Ustrlen(recipient) + 1;
3375   *recipient = rewrite_address_qualify(*recipient, TRUE);
3376   return rd;
3377   }
3378 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3379   smtp_cmd_data);
3380 log_write(L_smtp_syntax_error,
3381   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3382   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3383 return 0;
3384 }
3385
3386
3387
3388
3389 static void
3390 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3391 {
3392 HAD(SCH_QUIT);
3393 incomplete_transaction_log(US"QUIT");
3394 if (acl_smtp_quit)
3395   {
3396   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3397   if (rc == ERROR)
3398     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3399       *log_msgp);
3400   }
3401 if (*user_msgp)
3402   smtp_respond(US"221", 3, TRUE, *user_msgp);
3403 else
3404   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3405
3406 #ifdef SUPPORT_TLS
3407 tls_close(TRUE, TRUE);
3408 #endif
3409
3410 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3411   smtp_get_connection_info());
3412 }
3413
3414
3415 static void
3416 smtp_rset_handler(void)
3417 {
3418 HAD(SCH_RSET);
3419 incomplete_transaction_log(US"RSET");
3420 smtp_printf("250 Reset OK\r\n");
3421 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3422 }
3423
3424
3425
3426 /*************************************************
3427 *       Initialize for SMTP incoming message     *
3428 *************************************************/
3429
3430 /* This function conducts the initial dialogue at the start of an incoming SMTP
3431 message, and builds a list of recipients. However, if the incoming message
3432 is part of a batch (-bS option) a separate function is called since it would
3433 be messy having tests splattered about all over this function. This function
3434 therefore handles the case where interaction is occurring. The input and output
3435 files are set up in smtp_in and smtp_out.
3436
3437 The global recipients_list is set to point to a vector of recipient_item
3438 blocks, whose number is given by recipients_count. This is extended by the
3439 receive_add_recipient() function. The global variable sender_address is set to
3440 the sender's address. The yield is +1 if a message has been successfully
3441 started, 0 if a QUIT command was encountered or the connection was refused from
3442 the particular host, or -1 if the connection was lost.
3443
3444 Argument: none
3445
3446 Returns:  > 0 message successfully started (reached DATA)
3447           = 0 QUIT read or end of file reached or call refused
3448           < 0 lost connection
3449 */
3450
3451 int
3452 smtp_setup_msg(void)
3453 {
3454 int done = 0;
3455 BOOL toomany = FALSE;
3456 BOOL discarded = FALSE;
3457 BOOL last_was_rej_mail = FALSE;
3458 BOOL last_was_rcpt = FALSE;
3459 void *reset_point = store_get(0);
3460
3461 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3462
3463 /* Reset for start of new message. We allow one RSET not to be counted as a
3464 nonmail command, for those MTAs that insist on sending it between every
3465 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3466 TLS between messages (an Exim client may do this if it has messages queued up
3467 for the host). Note: we do NOT reset AUTH at this point. */
3468
3469 smtp_reset(reset_point);
3470 message_ended = END_NOTSTARTED;
3471
3472 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3473
3474 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3475 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3476 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3477 #ifdef SUPPORT_TLS
3478 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3479 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3480 #endif
3481
3482 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3483
3484 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3485
3486 /* Batched SMTP is handled in a different function. */
3487
3488 if (smtp_batched_input) return smtp_setup_batch_msg();
3489
3490 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3491 value. The values are 2 larger than the required yield of the function. */
3492
3493 while (done <= 0)
3494   {
3495   const uschar **argv;
3496   uschar *etrn_command;
3497   uschar *etrn_serialize_key;
3498   uschar *errmess;
3499   uschar *log_msg, *smtp_code;
3500   uschar *user_msg = NULL;
3501   uschar *recipient = NULL;
3502   uschar *hello = NULL;
3503   uschar *s, *ss;
3504   BOOL was_rej_mail = FALSE;
3505   BOOL was_rcpt = FALSE;
3506   void (*oldsignal)(int);
3507   pid_t pid;
3508   int start, end, sender_domain, recipient_domain;
3509   int ptr, size, rc;
3510   int c;
3511   auth_instance *au;
3512   uschar *orcpt = NULL;
3513   int flags;
3514
3515 #ifdef AUTH_TLS
3516   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3517   if (  tls_in.active >= 0
3518      && tls_in.peercert
3519      && tls_in.certificate_verified
3520      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3521      )
3522     {
3523     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3524     if (  acl_smtp_auth
3525        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3526                   &user_msg, &log_msg)) != OK
3527        )
3528       {
3529       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3530       continue;
3531       }
3532
3533     for (au = auths; au; au = au->next)
3534       if (strcmpic(US"tls", au->driver_name) == 0)
3535         {
3536         smtp_cmd_data = NULL;
3537
3538         if (smtp_in_auth(au, &s, &ss) == OK)
3539           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3540         else
3541           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3542         break;
3543         }
3544     }
3545 #endif
3546
3547 #ifdef TCP_QUICKACK
3548   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3549     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3550             US &off, sizeof(off));
3551 #endif
3552
3553   switch(smtp_read_command(TRUE))
3554     {
3555     /* The AUTH command is not permitted to occur inside a transaction, and may
3556     occur successfully only once per connection. Actually, that isn't quite
3557     true. When TLS is started, all previous information about a connection must
3558     be discarded, so a new AUTH is permitted at that time.
3559
3560     AUTH may only be used when it has been advertised. However, it seems that
3561     there are clients that send AUTH when it hasn't been advertised, some of
3562     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3563     So there's a get-out that allows this to happen.
3564
3565     AUTH is initially labelled as a "nonmail command" so that one occurrence
3566     doesn't get counted. We change the label here so that multiple failing
3567     AUTHS will eventually hit the nonmail threshold. */
3568
3569     case AUTH_CMD:
3570     HAD(SCH_AUTH);
3571     authentication_failed = TRUE;
3572     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3573
3574     if (!auth_advertised && !allow_auth_unadvertised)
3575       {
3576       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3577         US"AUTH command used when not advertised");
3578       break;
3579       }
3580     if (sender_host_authenticated)
3581       {
3582       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3583         US"already authenticated");
3584       break;
3585       }
3586     if (sender_address)
3587       {
3588       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3589         US"not permitted in mail transaction");
3590       break;
3591       }
3592
3593     /* Check the ACL */
3594
3595     if (  acl_smtp_auth
3596        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3597                   &user_msg, &log_msg)) != OK
3598        )
3599       {
3600       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3601       break;
3602       }
3603
3604     /* Find the name of the requested authentication mechanism. */
3605
3606     s = smtp_cmd_data;
3607     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3608       {
3609       if (!isalnum(c) && c != '-' && c != '_')
3610         {
3611         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3612           US"invalid character in authentication mechanism name");
3613         goto COMMAND_LOOP;
3614         }
3615       smtp_cmd_data++;
3616       }
3617
3618     /* If not at the end of the line, we must be at white space. Terminate the
3619     name and move the pointer on to any data that may be present. */
3620
3621     if (*smtp_cmd_data != 0)
3622       {
3623       *smtp_cmd_data++ = 0;
3624       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3625       }
3626
3627     /* Search for an authentication mechanism which is configured for use
3628     as a server and which has been advertised (unless, sigh, allow_auth_
3629     unadvertised is set). */
3630
3631     for (au = auths; au; au = au->next)
3632       if (strcmpic(s, au->public_name) == 0 && au->server &&
3633           (au->advertised || allow_auth_unadvertised))
3634         break;
3635
3636     if (au)
3637       {
3638       c = smtp_in_auth(au, &s, &ss);
3639
3640       smtp_printf("%s\r\n", s);
3641       if (c != OK)
3642         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3643           au->name, host_and_ident(FALSE), ss);
3644       }
3645     else
3646       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3647         string_sprintf("%s authentication mechanism not supported", s));
3648
3649     break;  /* AUTH_CMD */
3650
3651     /* The HELO/EHLO commands are permitted to appear in the middle of a
3652     session as well as at the beginning. They have the effect of a reset in
3653     addition to their other functions. Their absence at the start cannot be
3654     taken to be an error.
3655
3656     RFC 2821 says:
3657
3658       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3659       or 502 failure replies MUST be returned as appropriate.  The SMTP
3660       server MUST stay in the same state after transmitting these replies
3661       that it was in before the EHLO was received.
3662
3663     Therefore, we do not do the reset until after checking the command for
3664     acceptability. This change was made for Exim release 4.11. Previously
3665     it did the reset first. */
3666
3667     case HELO_CMD:
3668     HAD(SCH_HELO);
3669     hello = US"HELO";
3670     esmtp = FALSE;
3671     goto HELO_EHLO;
3672
3673     case EHLO_CMD:
3674     HAD(SCH_EHLO);
3675     hello = US"EHLO";
3676     esmtp = TRUE;
3677
3678     HELO_EHLO:      /* Common code for HELO and EHLO */
3679     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3680     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3681
3682     /* Reject the HELO if its argument was invalid or non-existent. A
3683     successful check causes the argument to be saved in malloc store. */
3684
3685     if (!check_helo(smtp_cmd_data))
3686       {
3687       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3688
3689       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3690         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3691         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3692                            string_printing(smtp_cmd_argument));
3693
3694       if (++synprot_error_count > smtp_max_synprot_errors)
3695         {
3696         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3697           "syntax or protocol errors (last command was \"%s\")",
3698           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3699         done = 1;
3700         }
3701
3702       break;
3703       }
3704
3705     /* If sender_host_unknown is true, we have got here via the -bs interface,
3706     not called from inetd. Otherwise, we are running an IP connection and the
3707     host address will be set. If the helo name is the primary name of this
3708     host and we haven't done a reverse lookup, force one now. If helo_required
3709     is set, ensure that the HELO name matches the actual host. If helo_verify
3710     is set, do the same check, but softly. */
3711
3712     if (!sender_host_unknown)
3713       {
3714       BOOL old_helo_verified = helo_verified;
3715       uschar *p = smtp_cmd_data;
3716
3717       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3718       *p = 0;
3719
3720       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3721       because otherwise the log can be confusing. */
3722
3723       if (sender_host_name == NULL &&
3724            (deliver_domain = sender_helo_name,  /* set $domain */
3725             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3726               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3727         (void)host_name_lookup();
3728
3729       /* Rebuild the fullhost info to include the HELO name (and the real name
3730       if it was looked up.) */
3731
3732       host_build_sender_fullhost();  /* Rebuild */
3733       set_process_info("handling%s incoming connection from %s",
3734         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3735
3736       /* Verify if configured. This doesn't give much security, but it does
3737       make some people happy to be able to do it. If helo_required is set,
3738       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3739       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3740       now obsolescent, since the verification can now be requested selectively
3741       at ACL time. */
3742
3743       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3744       if (helo_required || helo_verify)
3745         {
3746         BOOL tempfail = !smtp_verify_helo();
3747         if (!helo_verified)
3748           {
3749           if (helo_required)
3750             {
3751             smtp_printf("%d %s argument does not match calling host\r\n",
3752               tempfail? 451 : 550, hello);
3753             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3754               tempfail? "temporarily " : "",
3755               hello, sender_helo_name, host_and_ident(FALSE));
3756             helo_verified = old_helo_verified;
3757             break;                   /* End of HELO/EHLO processing */
3758             }
3759           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3760             "helo_try_verify_hosts\n", hello);
3761           }
3762         }
3763       }
3764
3765 #ifdef EXPERIMENTAL_SPF
3766     /* set up SPF context */
3767     spf_init(sender_helo_name, sender_host_address);
3768 #endif
3769
3770     /* Apply an ACL check if one is defined; afterwards, recheck
3771     synchronization in case the client started sending in a delay. */
3772
3773     if (acl_smtp_helo)
3774       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3775                 &user_msg, &log_msg)) != OK)
3776         {
3777         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3778         sender_helo_name = NULL;
3779         host_build_sender_fullhost();  /* Rebuild */
3780         break;
3781         }
3782       else if (!check_sync()) goto SYNC_FAILURE;
3783
3784     /* Generate an OK reply. The default string includes the ident if present,
3785     and also the IP address if present. Reflecting back the ident is intended
3786     as a deterrent to mail forgers. For maximum efficiency, and also because
3787     some broken systems expect each response to be in a single packet, arrange
3788     that the entire reply is sent in one write(). */
3789
3790     auth_advertised = FALSE;
3791     pipelining_advertised = FALSE;
3792 #ifdef SUPPORT_TLS
3793     tls_advertised = FALSE;
3794 #endif
3795     dsn_advertised = FALSE;
3796 #ifdef SUPPORT_I18N
3797     smtputf8_advertised = FALSE;
3798 #endif
3799
3800     smtp_code = US"250 ";        /* Default response code plus space*/
3801     if (user_msg == NULL)
3802       {
3803       s = string_sprintf("%.3s %s Hello %s%s%s",
3804         smtp_code,
3805         smtp_active_hostname,
3806         (sender_ident == NULL)?  US"" : sender_ident,
3807         (sender_ident == NULL)?  US"" : US" at ",
3808         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
3809
3810       ptr = Ustrlen(s);
3811       size = ptr + 1;
3812
3813       if (sender_host_address != NULL)
3814         {
3815         s = string_catn(s, &size, &ptr, US" [", 2);
3816         s = string_cat (s, &size, &ptr, sender_host_address);
3817         s = string_catn(s, &size, &ptr, US"]", 1);
3818         }
3819       }
3820
3821     /* A user-supplied EHLO greeting may not contain more than one line. Note
3822     that the code returned by smtp_message_code() includes the terminating
3823     whitespace character. */
3824
3825     else
3826       {
3827       char *ss;
3828       int codelen = 4;
3829       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
3830       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3831       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3832         {
3833         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3834           "newlines: message truncated: %s", string_printing(s));
3835         *ss = 0;
3836         }
3837       ptr = Ustrlen(s);
3838       size = ptr + 1;
3839       }
3840
3841     s = string_catn(s, &size, &ptr, US"\r\n", 2);
3842
3843     /* If we received EHLO, we must create a multiline response which includes
3844     the functions supported. */
3845
3846     if (esmtp)
3847       {
3848       s[3] = '-';
3849
3850       /* I'm not entirely happy with this, as an MTA is supposed to check
3851       that it has enough room to accept a message of maximum size before
3852       it sends this. However, there seems little point in not sending it.
3853       The actual size check happens later at MAIL FROM time. By postponing it
3854       till then, VRFY and EXPN can be used after EHLO when space is short. */
3855
3856       if (thismessage_size_limit > 0)
3857         {
3858         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3859           thismessage_size_limit);
3860         s = string_cat(s, &size, &ptr, big_buffer);
3861         }
3862       else
3863         {
3864         s = string_catn(s, &size, &ptr, smtp_code, 3);
3865         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
3866         }
3867
3868       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3869       clean; if it has an 8-bit character in its hand, it just sends it. It
3870       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3871       However, some users want this option simply in order to stop MUAs
3872       mangling messages that contain top-bit-set characters. It is therefore
3873       provided as an option. */
3874
3875       if (accept_8bitmime)
3876         {
3877         s = string_catn(s, &size, &ptr, smtp_code, 3);
3878         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3879         }
3880
3881       /* Advertise DSN support if configured to do so. */
3882       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
3883         {
3884         s = string_catn(s, &size, &ptr, smtp_code, 3);
3885         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
3886         dsn_advertised = TRUE;
3887         }
3888
3889       /* Advertise ETRN if there's an ACL checking whether a host is
3890       permitted to issue it; a check is made when any host actually tries. */
3891
3892       if (acl_smtp_etrn != NULL)
3893         {
3894         s = string_catn(s, &size, &ptr, smtp_code, 3);
3895         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
3896         }
3897
3898       /* Advertise EXPN if there's an ACL checking whether a host is
3899       permitted to issue it; a check is made when any host actually tries. */
3900
3901       if (acl_smtp_expn != NULL)
3902         {
3903         s = string_catn(s, &size, &ptr, smtp_code, 3);
3904         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
3905         }
3906
3907       /* Exim is quite happy with pipelining, so let the other end know that
3908       it is safe to use it, unless advertising is disabled. */
3909
3910       if (pipelining_enable &&
3911           verify_check_host(&pipelining_advertise_hosts) == OK)
3912         {
3913         s = string_catn(s, &size, &ptr, smtp_code, 3);
3914         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3915         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3916         pipelining_advertised = TRUE;
3917         }
3918
3919
3920       /* If any server authentication mechanisms are configured, advertise
3921       them if the current host is in auth_advertise_hosts. The problem with
3922       advertising always is that some clients then require users to
3923       authenticate (and aren't configurable otherwise) even though it may not
3924       be necessary (e.g. if the host is in host_accept_relay).
3925
3926       RFC 2222 states that SASL mechanism names contain only upper case
3927       letters, so output the names in upper case, though we actually recognize
3928       them in either case in the AUTH command. */
3929
3930       if (  auths
3931 #ifdef AUTH_TLS
3932          && !sender_host_authenticated
3933 #endif
3934          && verify_check_host(&auth_advertise_hosts) == OK
3935          )
3936         {
3937         auth_instance *au;
3938         BOOL first = TRUE;
3939         for (au = auths; au; au = au->next)
3940           if (au->server && (au->advertise_condition == NULL ||
3941               expand_check_condition(au->advertise_condition, au->name,
3942               US"authenticator")))
3943             {
3944             int saveptr;
3945             if (first)
3946               {
3947               s = string_catn(s, &size, &ptr, smtp_code, 3);
3948               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
3949               first = FALSE;
3950               auth_advertised = TRUE;
3951               }
3952             saveptr = ptr;
3953             s = string_catn(s, &size, &ptr, US" ", 1);
3954             s = string_cat (s, &size, &ptr, au->public_name);
3955             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3956             au->advertised = TRUE;
3957             }
3958           else
3959             au->advertised = FALSE;
3960
3961         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
3962         }
3963
3964       /* RFC 3030 CHUNKING */
3965
3966       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
3967         {
3968         s = string_catn(s, &size, &ptr, smtp_code, 3);
3969         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
3970         chunking_offered = TRUE;
3971         chunking_state = CHUNKING_OFFERED;
3972         }
3973
3974       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3975       if it has been included in the binary, and the host matches
3976       tls_advertise_hosts. We must *not* advertise if we are already in a
3977       secure connection. */
3978
3979 #ifdef SUPPORT_TLS
3980       if (tls_in.active < 0 &&
3981           verify_check_host(&tls_advertise_hosts) != FAIL)
3982         {
3983         s = string_catn(s, &size, &ptr, smtp_code, 3);
3984         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3985         tls_advertised = TRUE;
3986         }
3987 #endif
3988
3989 #ifndef DISABLE_PRDR
3990       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
3991       if (prdr_enable)
3992         {
3993         s = string_catn(s, &size, &ptr, smtp_code, 3);
3994         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
3995         }
3996 #endif
3997
3998 #ifdef SUPPORT_I18N
3999       if (  accept_8bitmime
4000          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4001         {
4002         s = string_catn(s, &size, &ptr, smtp_code, 3);
4003         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4004         smtputf8_advertised = TRUE;
4005         }
4006 #endif
4007
4008       /* Finish off the multiline reply with one that is always available. */
4009
4010       s = string_catn(s, &size, &ptr, smtp_code, 3);
4011       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4012       }
4013
4014     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4015     has been seen. */
4016
4017     s[ptr] = 0;
4018
4019 #ifdef SUPPORT_TLS
4020     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4021 #endif
4022
4023       {
4024       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4025       }
4026     DEBUG(D_receive)
4027       {
4028       uschar *cr;
4029       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4030         memmove(cr, cr + 1, (ptr--) - (cr - s));
4031       debug_printf("SMTP>> %s", s);
4032       }
4033     helo_seen = TRUE;
4034
4035     /* Reset the protocol and the state, abandoning any previous message. */
4036     received_protocol =
4037       (sender_host_address ? protocols : protocols_local)
4038         [ (esmtp
4039           ? pextend + (sender_host_authenticated ? pauthed : 0)
4040           : pnormal)
4041         + (tls_in.active >= 0 ? pcrpted : 0)
4042         ];
4043     smtp_reset(reset_point);
4044     toomany = FALSE;
4045     break;   /* HELO/EHLO */
4046
4047
4048     /* The MAIL command requires an address as an operand. All we do
4049     here is to parse it for syntactic correctness. The form "<>" is
4050     a special case which converts into an empty string. The start/end
4051     pointers in the original are not used further for this address, as
4052     it is the canonical extracted address which is all that is kept. */
4053
4054     case MAIL_CMD:
4055     HAD(SCH_MAIL);
4056     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4057     was_rej_mail = TRUE;               /* Reset if accepted */
4058     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4059
4060     if (helo_required && !helo_seen)
4061       {
4062       smtp_printf("503 HELO or EHLO required\r\n");
4063       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4064         "HELO/EHLO given", host_and_ident(FALSE));
4065       break;
4066       }
4067
4068     if (sender_address != NULL)
4069       {
4070       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4071         US"sender already given");
4072       break;
4073       }
4074
4075     if (smtp_cmd_data[0] == 0)
4076       {
4077       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4078         US"MAIL must have an address operand");
4079       break;
4080       }
4081
4082     /* Check to see if the limit for messages per connection would be
4083     exceeded by accepting further messages. */
4084
4085     if (smtp_accept_max_per_connection > 0 &&
4086         smtp_mailcmd_count > smtp_accept_max_per_connection)
4087       {
4088       smtp_printf("421 too many messages in this connection\r\n");
4089       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4090         "messages in one connection", host_and_ident(TRUE));
4091       break;
4092       }
4093
4094     /* Reset for start of message - even if this is going to fail, we
4095     obviously need to throw away any previous data. */
4096
4097     smtp_reset(reset_point);
4098     toomany = FALSE;
4099     sender_data = recipient_data = NULL;
4100
4101     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4102
4103     if (esmtp) for(;;)
4104       {
4105       uschar *name, *value, *end;
4106       unsigned long int size;
4107       BOOL arg_error = FALSE;
4108
4109       if (!extract_option(&name, &value)) break;
4110
4111       for (mail_args = env_mail_type_list;
4112            mail_args->value != ENV_MAIL_OPT_NULL;
4113            mail_args++
4114           )
4115         if (strcmpic(name, mail_args->name) == 0)
4116           break;
4117       if (mail_args->need_value && strcmpic(value, US"") == 0)
4118         break;
4119
4120       switch(mail_args->value)
4121         {
4122         /* Handle SIZE= by reading the value. We don't do the check till later,
4123         in order to be able to log the sender address on failure. */
4124         case ENV_MAIL_OPT_SIZE:
4125           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4126             {
4127             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4128               size = INT_MAX;
4129             message_size = (int)size;
4130             }
4131           else
4132             arg_error = TRUE;
4133           break;
4134
4135         /* If this session was initiated with EHLO and accept_8bitmime is set,
4136         Exim will have indicated that it supports the BODY=8BITMIME option. In
4137         fact, it does not support this according to the RFCs, in that it does not
4138         take any special action for forwarding messages containing 8-bit
4139         characters. That is why accept_8bitmime is not the default setting, but
4140         some sites want the action that is provided. We recognize both "8BITMIME"
4141         and "7BIT" as body types, but take no action. */
4142         case ENV_MAIL_OPT_BODY:
4143           if (accept_8bitmime) {
4144             if (strcmpic(value, US"8BITMIME") == 0)
4145               body_8bitmime = 8;
4146             else if (strcmpic(value, US"7BIT") == 0)
4147               body_8bitmime = 7;
4148             else
4149               {
4150               body_8bitmime = 0;
4151               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4152                 US"invalid data for BODY");
4153               goto COMMAND_LOOP;
4154               }
4155             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4156             break;
4157           }
4158           arg_error = TRUE;
4159           break;
4160
4161         /* Handle the two DSN options, but only if configured to do so (which
4162         will have caused "DSN" to be given in the EHLO response). The code itself
4163         is included only if configured in at build time. */
4164
4165         case ENV_MAIL_OPT_RET:
4166           if (dsn_advertised)
4167             {
4168             /* Check if RET has already been set */
4169             if (dsn_ret > 0)
4170               {
4171               synprot_error(L_smtp_syntax_error, 501, NULL,
4172                 US"RET can be specified once only");
4173               goto COMMAND_LOOP;
4174               }
4175             dsn_ret = strcmpic(value, US"HDRS") == 0
4176               ? dsn_ret_hdrs
4177               : strcmpic(value, US"FULL") == 0
4178               ? dsn_ret_full
4179               : 0;
4180             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4181             /* Check for invalid invalid value, and exit with error */
4182             if (dsn_ret == 0)
4183               {
4184               synprot_error(L_smtp_syntax_error, 501, NULL,
4185                 US"Value for RET is invalid");
4186               goto COMMAND_LOOP;
4187               }
4188             }
4189           break;
4190         case ENV_MAIL_OPT_ENVID:
4191           if (dsn_advertised)
4192             {
4193             /* Check if the dsn envid has been already set */
4194             if (dsn_envid != NULL)
4195               {
4196               synprot_error(L_smtp_syntax_error, 501, NULL,
4197                 US"ENVID can be specified once only");
4198               goto COMMAND_LOOP;
4199               }
4200             dsn_envid = string_copy(value);
4201             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4202             }
4203           break;
4204
4205         /* Handle the AUTH extension. If the value given is not "<>" and either
4206         the ACL says "yes" or there is no ACL but the sending host is
4207         authenticated, we set it up as the authenticated sender. However, if the
4208         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4209         the condition is met. The value of AUTH is an xtext, which means that +,
4210         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4211         coding. */
4212         case ENV_MAIL_OPT_AUTH:
4213           if (Ustrcmp(value, "<>") != 0)
4214             {
4215             int rc;
4216             uschar *ignore_msg;
4217
4218             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4219               {
4220               /* Put back terminator overrides for error message */
4221               value[-1] = '=';
4222               name[-1] = ' ';
4223               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4224                 US"invalid data for AUTH");
4225               goto COMMAND_LOOP;
4226               }
4227             if (acl_smtp_mailauth == NULL)
4228               {
4229               ignore_msg = US"client not authenticated";
4230               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4231               }
4232             else
4233               {
4234               ignore_msg = US"rejected by ACL";
4235               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4236                 &user_msg, &log_msg);
4237               }
4238
4239             switch (rc)
4240               {
4241               case OK:
4242                 if (authenticated_by == NULL ||
4243                     authenticated_by->mail_auth_condition == NULL ||
4244                     expand_check_condition(authenticated_by->mail_auth_condition,
4245                         authenticated_by->name, US"authenticator"))
4246                   break;     /* Accept the AUTH */
4247
4248                 ignore_msg = US"server_mail_auth_condition failed";
4249                 if (authenticated_id != NULL)
4250                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4251                     ignore_msg, authenticated_id);
4252
4253               /* Fall through */
4254
4255               case FAIL:
4256                 authenticated_sender = NULL;
4257                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4258                   value, host_and_ident(TRUE), ignore_msg);
4259                 break;
4260
4261               /* Should only get DEFER or ERROR here. Put back terminator
4262               overrides for error message */
4263
4264               default:
4265                 value[-1] = '=';
4266                 name[-1] = ' ';
4267                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4268                   log_msg);
4269                 goto COMMAND_LOOP;
4270               }
4271             }
4272             break;
4273
4274 #ifndef DISABLE_PRDR
4275         case ENV_MAIL_OPT_PRDR:
4276           if (prdr_enable)
4277             prdr_requested = TRUE;
4278           break;
4279 #endif
4280
4281 #ifdef SUPPORT_I18N
4282         case ENV_MAIL_OPT_UTF8:
4283           if (smtputf8_advertised)
4284             {
4285             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4286             message_smtputf8 = allow_utf8_domains = TRUE;
4287             received_protocol = string_sprintf("utf8%s", received_protocol);
4288             }
4289           break;
4290 #endif
4291         /* No valid option. Stick back the terminator characters and break
4292         the loop.  Do the name-terminator second as extract_option sets
4293         value==name when it found no equal-sign.
4294         An error for a malformed address will occur. */
4295         case ENV_MAIL_OPT_NULL:
4296           value[-1] = '=';
4297           name[-1] = ' ';
4298           arg_error = TRUE;
4299           break;
4300
4301         default:  assert(0);
4302         }
4303       /* Break out of for loop if switch() had bad argument or
4304          when start of the email address is reached */
4305       if (arg_error) break;
4306       }
4307
4308     /* If we have passed the threshold for rate limiting, apply the current
4309     delay, and update it for next time, provided this is a limited host. */
4310
4311     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4312         verify_check_host(&smtp_ratelimit_hosts) == OK)
4313       {
4314       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4315         smtp_delay_mail/1000.0);
4316       millisleep((int)smtp_delay_mail);
4317       smtp_delay_mail *= smtp_rlm_factor;
4318       if (smtp_delay_mail > (double)smtp_rlm_limit)
4319         smtp_delay_mail = (double)smtp_rlm_limit;
4320       }
4321
4322     /* Now extract the address, first applying any SMTP-time rewriting. The
4323     TRUE flag allows "<>" as a sender address. */
4324
4325     raw_sender = rewrite_existflags & rewrite_smtp
4326       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4327                     global_rewrite_rules)
4328       : smtp_cmd_data;
4329
4330     raw_sender =
4331       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4332         TRUE);
4333
4334     if (!raw_sender)
4335       {
4336       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4337       break;
4338       }
4339
4340     sender_address = raw_sender;
4341
4342     /* If there is a configured size limit for mail, check that this message
4343     doesn't exceed it. The check is postponed to this point so that the sender
4344     can be logged. */
4345
4346     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4347       {
4348       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4349       log_write(L_size_reject,
4350           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4351           "message too big: size%s=%d max=%d",
4352           sender_address,
4353           host_and_ident(TRUE),
4354           (message_size == INT_MAX)? ">" : "",
4355           message_size,
4356           thismessage_size_limit);
4357       sender_address = NULL;
4358       break;
4359       }
4360
4361     /* Check there is enough space on the disk unless configured not to.
4362     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4363     plus the current message - i.e. we accept the message only if it won't
4364     reduce the space below the threshold. Add 5000 to the size to allow for
4365     overheads such as the Received: line and storing of recipients, etc.
4366     By putting the check here, even when SIZE is not given, it allow VRFY
4367     and EXPN etc. to be used when space is short. */
4368
4369     if (!receive_check_fs(
4370          (smtp_check_spool_space && message_size >= 0)?
4371             message_size + 5000 : 0))
4372       {
4373       smtp_printf("452 Space shortage, please try later\r\n");
4374       sender_address = NULL;
4375       break;
4376       }
4377
4378     /* If sender_address is unqualified, reject it, unless this is a locally
4379     generated message, or the sending host or net is permitted to send
4380     unqualified addresses - typically local machines behaving as MUAs -
4381     in which case just qualify the address. The flag is set above at the start
4382     of the SMTP connection. */
4383
4384     if (sender_domain == 0 && sender_address[0] != 0)
4385       {
4386       if (allow_unqualified_sender)
4387         {
4388         sender_domain = Ustrlen(sender_address) + 1;
4389         sender_address = rewrite_address_qualify(sender_address, FALSE);
4390         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4391           raw_sender);
4392         }
4393       else
4394         {
4395         smtp_printf("501 %s: sender address must contain a domain\r\n",
4396           smtp_cmd_data);
4397         log_write(L_smtp_syntax_error,
4398           LOG_MAIN|LOG_REJECT,
4399           "unqualified sender rejected: <%s> %s%s",
4400           raw_sender,
4401           host_and_ident(TRUE),
4402           host_lookup_msg);
4403         sender_address = NULL;
4404         break;
4405         }
4406       }
4407
4408     /* Apply an ACL check if one is defined, before responding. Afterwards,
4409     when pipelining is not advertised, do another sync check in case the ACL
4410     delayed and the client started sending in the meantime. */
4411
4412     if (acl_smtp_mail)
4413       {
4414       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4415       if (rc == OK && !pipelining_advertised && !check_sync())
4416         goto SYNC_FAILURE;
4417       }
4418     else
4419       rc = OK;
4420
4421     if (rc == OK || rc == DISCARD)
4422       {
4423       if (!user_msg)
4424         smtp_printf("%s%s%s", US"250 OK",
4425                   #ifndef DISABLE_PRDR
4426                     prdr_requested ? US", PRDR Requested" : US"",
4427                   #else
4428                     US"",
4429                   #endif
4430                     US"\r\n");
4431       else
4432         {
4433       #ifndef DISABLE_PRDR
4434         if (prdr_requested)
4435            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4436       #endif
4437         smtp_user_msg(US"250", user_msg);
4438         }
4439       smtp_delay_rcpt = smtp_rlr_base;
4440       recipients_discarded = (rc == DISCARD);
4441       was_rej_mail = FALSE;
4442       }
4443     else
4444       {
4445       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4446       sender_address = NULL;
4447       }
4448     break;
4449
4450
4451     /* The RCPT command requires an address as an operand. There may be any
4452     number of RCPT commands, specifying multiple recipients. We build them all
4453     into a data structure. The start/end values given by parse_extract_address
4454     are not used, as we keep only the extracted address. */
4455
4456     case RCPT_CMD:
4457     HAD(SCH_RCPT);
4458     rcpt_count++;
4459     was_rcpt = rcpt_in_progress = TRUE;
4460
4461     /* There must be a sender address; if the sender was rejected and
4462     pipelining was advertised, we assume the client was pipelining, and do not
4463     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4464     get the same treatment. */
4465
4466     if (sender_address == NULL)
4467       {
4468       if (pipelining_advertised && last_was_rej_mail)
4469         {
4470         smtp_printf("503 sender not yet given\r\n");
4471         was_rej_mail = TRUE;
4472         }
4473       else
4474         {
4475         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4476           US"sender not yet given");
4477         was_rcpt = FALSE;             /* Not a valid RCPT */
4478         }
4479       rcpt_fail_count++;
4480       break;
4481       }
4482
4483     /* Check for an operand */
4484
4485     if (smtp_cmd_data[0] == 0)
4486       {
4487       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4488         US"RCPT must have an address operand");
4489       rcpt_fail_count++;
4490       break;
4491       }
4492
4493     /* Set the DSN flags orcpt and dsn_flags from the session*/
4494     orcpt = NULL;
4495     flags = 0;
4496
4497     if (esmtp) for(;;)
4498       {
4499       uschar *name, *value;
4500
4501       if (!extract_option(&name, &value))
4502         break;
4503
4504       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4505         {
4506         /* Check whether orcpt has been already set */
4507         if (orcpt)
4508           {
4509           synprot_error(L_smtp_syntax_error, 501, NULL,
4510             US"ORCPT can be specified once only");
4511           goto COMMAND_LOOP;
4512           }
4513         orcpt = string_copy(value);
4514         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4515         }
4516
4517       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4518         {
4519         /* Check if the notify flags have been already set */
4520         if (flags > 0)
4521           {
4522           synprot_error(L_smtp_syntax_error, 501, NULL,
4523               US"NOTIFY can be specified once only");
4524           goto COMMAND_LOOP;
4525           }
4526         if (strcmpic(value, US"NEVER") == 0)
4527           flags |= rf_notify_never;
4528         else
4529           {
4530           uschar *p = value;
4531           while (*p != 0)
4532             {
4533             uschar *pp = p;
4534             while (*pp != 0 && *pp != ',') pp++;
4535             if (*pp == ',') *pp++ = 0;
4536             if (strcmpic(p, US"SUCCESS") == 0)
4537               {
4538               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4539               flags |= rf_notify_success;
4540               }
4541             else if (strcmpic(p, US"FAILURE") == 0)
4542               {
4543               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4544               flags |= rf_notify_failure;
4545               }
4546             else if (strcmpic(p, US"DELAY") == 0)
4547               {
4548               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4549               flags |= rf_notify_delay;
4550               }
4551             else
4552               {
4553               /* Catch any strange values */
4554               synprot_error(L_smtp_syntax_error, 501, NULL,
4555                 US"Invalid value for NOTIFY parameter");
4556               goto COMMAND_LOOP;
4557               }
4558             p = pp;
4559             }
4560             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4561           }
4562         }
4563
4564       /* Unknown option. Stick back the terminator characters and break
4565       the loop. An error for a malformed address will occur. */
4566
4567       else
4568         {
4569         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4570         name[-1] = ' ';
4571         value[-1] = '=';
4572         break;
4573         }
4574       }
4575
4576     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4577     as a recipient address */
4578
4579     recipient = rewrite_existflags & rewrite_smtp
4580       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4581           global_rewrite_rules)
4582       : smtp_cmd_data;
4583
4584     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4585       &recipient_domain, FALSE)))
4586       {
4587       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4588       rcpt_fail_count++;
4589       break;
4590       }
4591
4592     /* If the recipient address is unqualified, reject it, unless this is a
4593     locally generated message. However, unqualified addresses are permitted
4594     from a configured list of hosts and nets - typically when behaving as
4595     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4596     really. The flag is set at the start of the SMTP connection.
4597
4598     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4599     assumed this meant "reserved local part", but the revision of RFC 821 and
4600     friends now makes it absolutely clear that it means *mailbox*. Consequently
4601     we must always qualify this address, regardless. */
4602
4603     if (recipient_domain == 0)
4604       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4605                                   US"recipient")))
4606         {
4607         rcpt_fail_count++;
4608         break;
4609         }
4610
4611     /* Check maximum allowed */
4612
4613     if (rcpt_count > recipients_max && recipients_max > 0)
4614       {
4615       if (recipients_max_reject)
4616         {
4617         rcpt_fail_count++;
4618         smtp_printf("552 too many recipients\r\n");
4619         if (!toomany)
4620           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4621             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4622         }
4623       else
4624         {
4625         rcpt_defer_count++;
4626         smtp_printf("452 too many recipients\r\n");
4627         if (!toomany)
4628           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4629             "temporarily rejected: sender=<%s> %s", sender_address,
4630             host_and_ident(TRUE));
4631         }
4632
4633       toomany = TRUE;
4634       break;
4635       }
4636
4637     /* If we have passed the threshold for rate limiting, apply the current
4638     delay, and update it for next time, provided this is a limited host. */
4639
4640     if (rcpt_count > smtp_rlr_threshold &&
4641         verify_check_host(&smtp_ratelimit_hosts) == OK)
4642       {
4643       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4644         smtp_delay_rcpt/1000.0);
4645       millisleep((int)smtp_delay_rcpt);
4646       smtp_delay_rcpt *= smtp_rlr_factor;
4647       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4648         smtp_delay_rcpt = (double)smtp_rlr_limit;
4649       }
4650
4651     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4652     for them. Otherwise, check the access control list for this recipient. As
4653     there may be a delay in this, re-check for a synchronization error
4654     afterwards, unless pipelining was advertised. */
4655
4656     if (recipients_discarded)
4657       rc = DISCARD;
4658     else
4659       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4660                     &log_msg)) == OK
4661          && !pipelining_advertised && !check_sync())
4662         goto SYNC_FAILURE;
4663
4664     /* The ACL was happy */
4665
4666     if (rc == OK)
4667       {
4668       if (user_msg)
4669         smtp_user_msg(US"250", user_msg);
4670       else
4671         smtp_printf("250 Accepted\r\n");
4672       receive_add_recipient(recipient, -1);
4673
4674       /* Set the dsn flags in the recipients_list */
4675       recipients_list[recipients_count-1].orcpt = orcpt;
4676       recipients_list[recipients_count-1].dsn_flags = flags;
4677
4678       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4679         recipients_list[recipients_count-1].orcpt,
4680         recipients_list[recipients_count-1].dsn_flags);
4681       }
4682
4683     /* The recipient was discarded */
4684
4685     else if (rc == DISCARD)
4686       {
4687       if (user_msg)
4688         smtp_user_msg(US"250", user_msg);
4689       else
4690         smtp_printf("250 Accepted\r\n");
4691       rcpt_fail_count++;
4692       discarded = TRUE;
4693       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4694         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4695         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4696         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4697         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4698       }
4699
4700     /* Either the ACL failed the address, or it was deferred. */
4701
4702     else
4703       {
4704       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4705       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4706       }
4707     break;
4708
4709
4710     /* The DATA command is legal only if it follows successful MAIL FROM
4711     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4712     not counted as a protocol error if it follows RCPT (which must have been
4713     rejected if there are no recipients.) This function is complete when a
4714     valid DATA command is encountered.
4715
4716     Note concerning the code used: RFC 2821 says this:
4717
4718      -  If there was no MAIL, or no RCPT, command, or all such commands
4719         were rejected, the server MAY return a "command out of sequence"
4720         (503) or "no valid recipients" (554) reply in response to the
4721         DATA command.
4722
4723     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4724     because it is the same whether pipelining is in use or not.
4725
4726     If all the RCPT commands that precede DATA provoked the same error message
4727     (often indicating some kind of system error), it is helpful to include it
4728     with the DATA rejection (an idea suggested by Tony Finch). */
4729
4730     case BDAT_CMD:
4731     HAD(SCH_BDAT);
4732       {
4733       int n;
4734
4735       if (chunking_state != CHUNKING_OFFERED)
4736         {
4737         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4738           US"BDAT command used when CHUNKING not advertised");
4739         break;
4740         }
4741
4742       /* grab size, endmarker */
4743
4744       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4745         {
4746         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4747           US"missing size for BDAT command");
4748         break;
4749         }
4750       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4751         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4752       chunking_data_left = chunking_datasize;
4753
4754       lwr_receive_getc = receive_getc;
4755       lwr_receive_ungetc = receive_ungetc;
4756       receive_getc = bdat_getc;
4757       receive_ungetc = bdat_ungetc;
4758
4759       DEBUG(D_any)
4760         debug_printf("chunking state %d\n", (int)chunking_state);
4761       goto DATA_BDAT;
4762       }
4763
4764     case DATA_CMD:
4765     HAD(SCH_DATA);
4766
4767     DATA_BDAT:          /* Common code for DATA and BDAT */
4768     if (!discarded && recipients_count <= 0)
4769       {
4770       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4771         {
4772         uschar *code = US"503";
4773         int len = Ustrlen(rcpt_smtp_response);
4774         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4775           "this error:");
4776         /* Responses from smtp_printf() will have \r\n on the end */
4777         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4778           rcpt_smtp_response[len-2] = 0;
4779         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4780         }
4781       if (pipelining_advertised && last_was_rcpt)
4782         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4783           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4784       else
4785         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4786           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4787           ? US"valid RCPT command must precede DATA"
4788           : US"valid RCPT command must precede BDAT");
4789
4790       if (chunking_state > CHUNKING_OFFERED)
4791         bdat_flush_data();
4792       break;
4793       }
4794
4795     if (toomany && recipients_max_reject)
4796       {
4797       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4798       sender_address_unrewritten = NULL;
4799       smtp_printf("554 Too many recipients\r\n");
4800       break;
4801       }
4802
4803     if (chunking_state > CHUNKING_OFFERED)
4804       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
4805     else
4806       {
4807       /* If there is an ACL, re-check the synchronization afterwards, since the
4808       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
4809       to get the DATA command sent. */
4810
4811       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
4812         rc = OK;
4813       else
4814         {
4815         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
4816         enable_dollar_recipients = TRUE;
4817         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
4818           &log_msg);
4819         enable_dollar_recipients = FALSE;
4820         if (rc == OK && !check_sync())
4821           goto SYNC_FAILURE;
4822
4823         if (rc != OK)
4824           {     /* Either the ACL failed the address, or it was deferred. */
4825           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
4826           break;
4827           }
4828         }
4829
4830       if (user_msg)
4831         smtp_user_msg(US"354", user_msg);
4832       else
4833         smtp_printf(
4834           "354 Enter message, ending with \".\" on a line by itself\r\n");
4835       }
4836
4837 #ifdef TCP_QUICKACK
4838     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
4839       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
4840               US &on, sizeof(on));
4841 #endif
4842     done = 3;
4843     message_ended = END_NOTENDED;   /* Indicate in middle of data */
4844
4845     break;
4846
4847
4848     case VRFY_CMD:
4849       {
4850       uschar * address;
4851
4852       HAD(SCH_VRFY);
4853
4854       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
4855             &start, &end, &recipient_domain, FALSE)))
4856         {
4857         smtp_printf("501 %s\r\n", errmess);
4858         break;
4859         }
4860
4861       if (recipient_domain == 0)
4862         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
4863                                     US"verify")))
4864           break;
4865
4866       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
4867                     &user_msg, &log_msg)) != OK)
4868         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
4869       else
4870         {
4871         uschar * s = NULL;
4872         address_item * addr = deliver_make_addr(address, FALSE);
4873
4874         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
4875                -1, -1, NULL, NULL, NULL))
4876           {
4877           case OK:
4878             s = string_sprintf("250 <%s> is deliverable", address);
4879             break;
4880
4881           case DEFER:
4882             s = (addr->user_message != NULL)?
4883               string_sprintf("451 <%s> %s", address, addr->user_message) :
4884               string_sprintf("451 Cannot resolve <%s> at this time", address);
4885             break;
4886
4887           case FAIL:
4888             s = (addr->user_message != NULL)?
4889               string_sprintf("550 <%s> %s", address, addr->user_message) :
4890               string_sprintf("550 <%s> is not deliverable", address);
4891             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
4892               smtp_cmd_argument, host_and_ident(TRUE));
4893             break;
4894           }
4895
4896         smtp_printf("%s\r\n", s);
4897         }
4898       break;
4899       }
4900
4901
4902     case EXPN_CMD:
4903     HAD(SCH_EXPN);
4904     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
4905     if (rc != OK)
4906       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
4907     else
4908       {
4909       BOOL save_log_testing_mode = log_testing_mode;
4910       address_test_mode = log_testing_mode = TRUE;
4911       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
4912         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
4913         NULL, NULL, NULL);
4914       address_test_mode = FALSE;
4915       log_testing_mode = save_log_testing_mode;    /* true for -bh */
4916       }
4917     break;
4918
4919
4920     #ifdef SUPPORT_TLS
4921
4922     case STARTTLS_CMD:
4923     HAD(SCH_STARTTLS);
4924     if (!tls_advertised)
4925       {
4926       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4927         US"STARTTLS command used when not advertised");
4928       break;
4929       }
4930
4931     /* Apply an ACL check if one is defined */
4932
4933     if (  acl_smtp_starttls
4934        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
4935                   &user_msg, &log_msg)) != OK
4936        )
4937       {
4938       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
4939       break;
4940       }
4941
4942     /* RFC 2487 is not clear on when this command may be sent, though it
4943     does state that all information previously obtained from the client
4944     must be discarded if a TLS session is started. It seems reasonble to
4945     do an implied RSET when STARTTLS is received. */
4946
4947     incomplete_transaction_log(US"STARTTLS");
4948     smtp_reset(reset_point);
4949     toomany = FALSE;
4950     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
4951
4952     /* There's an attack where more data is read in past the STARTTLS command
4953     before TLS is negotiated, then assumed to be part of the secure session
4954     when used afterwards; we use segregated input buffers, so are not
4955     vulnerable, but we want to note when it happens and, for sheer paranoia,
4956     ensure that the buffer is "wiped".
4957     Pipelining sync checks will normally have protected us too, unless disabled
4958     by configuration. */
4959
4960     if (receive_smtp_buffered())
4961       {
4962       DEBUG(D_any)
4963         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
4964       if (tls_in.active < 0)
4965         smtp_inend = smtp_inptr = smtp_inbuffer;
4966       /* and if TLS is already active, tls_server_start() should fail */
4967       }
4968
4969     /* There is nothing we value in the input buffer and if TLS is succesfully
4970     negotiated, we won't use this buffer again; if TLS fails, we'll just read
4971     fresh content into it.  The buffer contains arbitrary content from an
4972     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
4973     It seems safest to just wipe away the content rather than leave it as a
4974     target to jump to. */
4975
4976     memset(smtp_inbuffer, 0, in_buffer_size);
4977
4978     /* Attempt to start up a TLS session, and if successful, discard all
4979     knowledge that was obtained previously. At least, that's what the RFC says,
4980     and that's what happens by default. However, in order to work round YAEB,
4981     there is an option to remember the esmtp state. Sigh.
4982
4983     We must allow for an extra EHLO command and an extra AUTH command after
4984     STARTTLS that don't add to the nonmail command count. */
4985
4986     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
4987       {
4988       if (!tls_remember_esmtp)
4989         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
4990       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
4991       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
4992       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
4993       if (sender_helo_name != NULL)
4994         {
4995         store_free(sender_helo_name);
4996         sender_helo_name = NULL;
4997         host_build_sender_fullhost();  /* Rebuild */
4998         set_process_info("handling incoming TLS connection from %s",
4999           host_and_ident(FALSE));
5000         }
5001       received_protocol =
5002         (sender_host_address ? protocols : protocols_local)
5003           [ (esmtp
5004             ? pextend + (sender_host_authenticated ? pauthed : 0)
5005             : pnormal)
5006           + (tls_in.active >= 0 ? pcrpted : 0)
5007           ];
5008
5009       sender_host_authenticated = NULL;
5010       authenticated_id = NULL;
5011       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5012       DEBUG(D_tls) debug_printf("TLS active\n");
5013       break;     /* Successful STARTTLS */
5014       }
5015
5016     /* Some local configuration problem was discovered before actually trying
5017     to do a TLS handshake; give a temporary error. */
5018
5019     else if (rc == DEFER)
5020       {
5021       smtp_printf("454 TLS currently unavailable\r\n");
5022       break;
5023       }
5024
5025     /* Hard failure. Reject everything except QUIT or closed connection. One
5026     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5027     set, but we must still reject all incoming commands. */
5028
5029     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5030     while (done <= 0) switch(smtp_read_command(FALSE))
5031       {
5032       case EOF_CMD:
5033         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5034           smtp_get_connection_info());
5035         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5036         done = 2;
5037         break;
5038
5039       /* It is perhaps arguable as to which exit ACL should be called here,
5040       but as it is probably a situation that almost never arises, it
5041       probably doesn't matter. We choose to call the real QUIT ACL, which in
5042       some sense is perhaps "right". */
5043
5044       case QUIT_CMD:
5045         user_msg = NULL;
5046         if (  acl_smtp_quit
5047            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5048                               &log_msg)) == ERROR))
5049             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5050               log_msg);
5051         if (user_msg)
5052           smtp_respond(US"221", 3, TRUE, user_msg);
5053         else
5054           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5055         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5056           smtp_get_connection_info());
5057         done = 2;
5058         break;
5059
5060       default:
5061         smtp_printf("554 Security failure\r\n");
5062         break;
5063       }
5064     tls_close(TRUE, TRUE);
5065     break;
5066     #endif
5067
5068
5069     /* The ACL for QUIT is provided for gathering statistical information or
5070     similar; it does not affect the response code, but it can supply a custom
5071     message. */
5072
5073     case QUIT_CMD:
5074     smtp_quit_handler(&user_msg, &log_msg);
5075     done = 2;
5076     break;
5077
5078
5079     case RSET_CMD:
5080     smtp_rset_handler();
5081     smtp_reset(reset_point);
5082     toomany = FALSE;
5083     break;
5084
5085
5086     case NOOP_CMD:
5087     HAD(SCH_NOOP);
5088     smtp_printf("250 OK\r\n");
5089     break;
5090
5091
5092     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5093     used, a check will be done for permitted hosts. Show STARTTLS only if not
5094     already in a TLS session and if it would be advertised in the EHLO
5095     response. */
5096
5097     case HELP_CMD:
5098     HAD(SCH_HELP);
5099     smtp_printf("214-Commands supported:\r\n");
5100       {
5101       uschar buffer[256];
5102       buffer[0] = 0;
5103       Ustrcat(buffer, " AUTH");
5104       #ifdef SUPPORT_TLS
5105       if (tls_in.active < 0 &&
5106           verify_check_host(&tls_advertise_hosts) != FAIL)
5107         Ustrcat(buffer, " STARTTLS");
5108       #endif
5109       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5110       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5111       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5112       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5113       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5114       smtp_printf("214%s\r\n", buffer);
5115       }
5116     break;
5117
5118
5119     case EOF_CMD:
5120     incomplete_transaction_log(US"connection lost");
5121     smtp_notquit_exit(US"connection-lost", US"421",
5122       US"%s lost input connection", smtp_active_hostname);
5123
5124     /* Don't log by default unless in the middle of a message, as some mailers
5125     just drop the call rather than sending QUIT, and it clutters up the logs.
5126     */
5127
5128     if (sender_address != NULL || recipients_count > 0)
5129       log_write(L_lost_incoming_connection,
5130           LOG_MAIN,
5131           "unexpected %s while reading SMTP command from %s%s",
5132           sender_host_unknown? "EOF" : "disconnection",
5133           host_and_ident(FALSE), smtp_read_error);
5134
5135     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5136       smtp_get_connection_info(), smtp_read_error);
5137
5138     done = 1;
5139     break;
5140
5141
5142     case ETRN_CMD:
5143     HAD(SCH_ETRN);
5144     if (sender_address != NULL)
5145       {
5146       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5147         US"ETRN is not permitted inside a transaction");
5148       break;
5149       }
5150
5151     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5152       host_and_ident(FALSE));
5153
5154     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5155                 &user_msg, &log_msg)) != OK)
5156       {
5157       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5158       break;
5159       }
5160
5161     /* Compute the serialization key for this command. */
5162
5163     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5164
5165     /* If a command has been specified for running as a result of ETRN, we
5166     permit any argument to ETRN. If not, only the # standard form is permitted,
5167     since that is strictly the only kind of ETRN that can be implemented
5168     according to the RFC. */
5169
5170     if (smtp_etrn_command != NULL)
5171       {
5172       uschar *error;
5173       BOOL rc;
5174       etrn_command = smtp_etrn_command;
5175       deliver_domain = smtp_cmd_data;
5176       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5177         US"ETRN processing", &error);
5178       deliver_domain = NULL;
5179       if (!rc)
5180         {
5181         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5182           error);
5183         smtp_printf("458 Internal failure\r\n");
5184         break;
5185         }
5186       }
5187
5188     /* Else set up to call Exim with the -R option. */
5189
5190     else
5191       {
5192       if (*smtp_cmd_data++ != '#')
5193         {
5194         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5195           US"argument must begin with #");
5196         break;
5197         }
5198       etrn_command = US"exim -R";
5199       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5200         *queue_name ? 4 : 2,
5201         US"-R", smtp_cmd_data,
5202         US"-MCG", queue_name);
5203       }
5204
5205     /* If we are host-testing, don't actually do anything. */
5206
5207     if (host_checking)
5208       {
5209       HDEBUG(D_any)
5210         {
5211         debug_printf("ETRN command is: %s\n", etrn_command);
5212         debug_printf("ETRN command execution skipped\n");
5213         }
5214       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5215         else smtp_user_msg(US"250", user_msg);
5216       break;
5217       }
5218
5219
5220     /* If ETRN queue runs are to be serialized, check the database to
5221     ensure one isn't already running. */
5222
5223     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5224       {
5225       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5226       break;
5227       }
5228
5229     /* Fork a child process and run the command. We don't want to have to
5230     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5231     forking. It should be set that way anyway for external incoming SMTP,
5232     but we save and restore to be tidy. If serialization is required, we
5233     actually run the command in yet another process, so we can wait for it
5234     to complete and then remove the serialization lock. */
5235
5236     oldsignal = signal(SIGCHLD, SIG_IGN);
5237
5238     if ((pid = fork()) == 0)
5239       {
5240       smtp_input = FALSE;       /* This process is not associated with the */
5241       (void)fclose(smtp_in);    /* SMTP call any more. */
5242       (void)fclose(smtp_out);
5243
5244       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5245
5246       /* If not serializing, do the exec right away. Otherwise, fork down
5247       into another process. */
5248
5249       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5250         {
5251         DEBUG(D_exec) debug_print_argv(argv);
5252         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5253         execv(CS argv[0], (char *const *)argv);
5254         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5255           etrn_command, strerror(errno));
5256         _exit(EXIT_FAILURE);         /* paranoia */
5257         }
5258
5259       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5260       is, we are in the first subprocess, after forking again. All we can do
5261       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5262       complete, before removing the serialization. */
5263
5264       if (pid < 0)
5265         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5266           "failed: %s", strerror(errno));
5267       else
5268         {
5269         int status;
5270         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5271           (int)pid);
5272         (void)wait(&status);
5273         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5274           (int)pid);
5275         }
5276
5277       enq_end(etrn_serialize_key);
5278       _exit(EXIT_SUCCESS);
5279       }
5280
5281     /* Back in the top level SMTP process. Check that we started a subprocess
5282     and restore the signal state. */
5283
5284     if (pid < 0)
5285       {
5286       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5287         strerror(errno));
5288       smtp_printf("458 Unable to fork process\r\n");
5289       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5290       }
5291     else
5292       {
5293       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5294         else smtp_user_msg(US"250", user_msg);
5295       }
5296
5297     signal(SIGCHLD, oldsignal);
5298     break;
5299
5300
5301     case BADARG_CMD:
5302     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5303       US"unexpected argument data");
5304     break;
5305
5306
5307     /* This currently happens only for NULLs, but could be extended. */
5308
5309     case BADCHAR_CMD:
5310     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5311       US"NULL character(s) present (shown as '?')");
5312     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5313     break;
5314
5315
5316     case BADSYN_CMD:
5317     SYNC_FAILURE:
5318     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
5319       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
5320     c = smtp_inend - smtp_inptr;
5321     if (c > 150) c = 150;
5322     smtp_inptr[c] = 0;
5323     incomplete_transaction_log(US"sync failure");
5324     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5325       "(next input sent too soon: pipelining was%s advertised): "
5326       "rejected \"%s\" %s next input=\"%s\"",
5327       pipelining_advertised? "" : " not",
5328       smtp_cmd_buffer, host_and_ident(TRUE),
5329       string_printing(smtp_inptr));
5330     smtp_notquit_exit(US"synchronization-error", US"554",
5331       US"SMTP synchronization error");
5332     done = 1;   /* Pretend eof - drops connection */
5333     break;
5334
5335
5336     case TOO_MANY_NONMAIL_CMD:
5337     s = smtp_cmd_buffer;
5338     while (*s != 0 && !isspace(*s)) s++;
5339     incomplete_transaction_log(US"too many non-mail commands");
5340     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5341       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5342       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5343     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5344     done = 1;   /* Pretend eof - drops connection */
5345     break;
5346
5347 #ifdef SUPPORT_PROXY
5348     case PROXY_FAIL_IGNORE_CMD:
5349     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5350     break;
5351 #endif
5352
5353     default:
5354     if (unknown_command_count++ >= smtp_max_unknown_commands)
5355       {
5356       log_write(L_smtp_syntax_error, LOG_MAIN,
5357         "SMTP syntax error in \"%s\" %s %s",
5358         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5359         US"unrecognized command");
5360       incomplete_transaction_log(US"unrecognized command");
5361       smtp_notquit_exit(US"bad-commands", US"500",
5362         US"Too many unrecognized commands");
5363       done = 2;
5364       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5365         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5366         string_printing(smtp_cmd_buffer));
5367       }
5368     else
5369       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5370         US"unrecognized command");
5371     break;
5372     }
5373
5374   /* This label is used by goto's inside loops that want to break out to
5375   the end of the command-processing loop. */
5376
5377   COMMAND_LOOP:
5378   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5379   last_was_rcpt = was_rcpt;             /* protocol error handling */
5380   continue;
5381   }
5382
5383 return done - 2;  /* Convert yield values */
5384 }
5385
5386 /* vi: aw ai sw=2
5387 */
5388 /* End of smtp_in.c */