bd83de0456b0322662a9a51f1be93295d6b7a8c6
[users/heiko/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2017 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12 #include <assert.h>
13
14
15 /* Initialize for TCP wrappers if so configured. It appears that the macro
16 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
17 including that header, and restore its value afterwards. */
18
19 #ifdef USE_TCP_WRAPPERS
20
21   #if HAVE_IPV6
22   #define EXIM_HAVE_IPV6
23   #endif
24   #undef HAVE_IPV6
25   #include <tcpd.h>
26   #undef HAVE_IPV6
27   #ifdef EXIM_HAVE_IPV6
28   #define HAVE_IPV6 TRUE
29   #endif
30
31 int allow_severity = LOG_INFO;
32 int deny_severity  = LOG_NOTICE;
33 uschar *tcp_wrappers_name;
34 #endif
35
36
37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
39 commands that accept arguments, and this in particular applies to AUTH, where
40 the data can be quite long.  More recently this value was 2048 in Exim;
41 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
42 such as Thunderbird will send an AUTH with an initial-response for GSSAPI.
43 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and
44 we need room to handle large base64-encoded AUTHs for GSSAPI.
45 */
46
47 #define SMTP_CMD_BUFFER_SIZE  16384
48
49 /* Size of buffer for reading SMTP incoming packets */
50
51 #define IN_BUFFER_SIZE  8192
52
53 /* Structure for SMTP command list */
54
55 typedef struct {
56   const char *name;
57   int len;
58   short int cmd;
59   short int has_arg;
60   short int is_mail_cmd;
61 } smtp_cmd_list;
62
63 /* Codes for identifying commands. We order them so that those that come first
64 are those for which synchronization is always required. Checking this can help
65 block some spam.  */
66
67 enum {
68   /* These commands are required to be synchronized, i.e. to be the last in a
69   block of commands when pipelining. */
70
71   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
72   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
73   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
74   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
75   TLS_AUTH_CMD,                 /* auto-command at start of SSL */
76
77   /* This is a dummy to identify the non-sync commands when pipelining */
78
79   NON_SYNC_CMD_PIPELINING,
80
81   /* These commands need not be synchronized when pipelining */
82
83   MAIL_CMD, RCPT_CMD, RSET_CMD,
84
85   /* This is a dummy to identify the non-sync commands when not pipelining */
86
87   NON_SYNC_CMD_NON_PIPELINING,
88
89   /* RFC3030 section 2: "After all MAIL and RCPT responses are collected and
90   processed the message is sent using a series of BDAT commands"
91   implies that BDAT should be synchronized.  However, we see Google, at least,
92   sending MAIL,RCPT,BDAT-LAST in a single packet, clearly not waiting for
93   processing of the RCPT response(s).  We shall do the same, and not require
94   synch for BDAT.  Worse, as the chunk may (very likely will) follow the
95   command-header in the same packet we cannot do the usual "is there any
96   follow-on data after the command line" even for non-pipeline mode.
97   So we'll need an explicit check after reading the expected chunk amount
98   when non-pipe, before sending the ACK. */
99
100   BDAT_CMD,
101
102   /* I have been unable to find a statement about the use of pipelining
103   with AUTH, so to be on the safe side it is here, though I kind of feel
104   it should be up there with the synchronized commands. */
105
106   AUTH_CMD,
107
108   /* I'm not sure about these, but I don't think they matter. */
109
110   QUIT_CMD, HELP_CMD,
111
112 #ifdef SUPPORT_PROXY
113   PROXY_FAIL_IGNORE_CMD,
114 #endif
115
116   /* These are specials that don't correspond to actual commands */
117
118   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
119   TOO_MANY_NONMAIL_CMD };
120
121
122 /* This is a convenience macro for adding the identity of an SMTP command
123 to the circular buffer that holds a list of the last n received. */
124
125 #define HAD(n) \
126     smtp_connection_had[smtp_ch_index++] = n; \
127     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
128
129
130 /*************************************************
131 *                Local static variables          *
132 *************************************************/
133
134 static auth_instance *authenticated_by;
135 static BOOL auth_advertised;
136 #ifdef SUPPORT_TLS
137 static BOOL tls_advertised;
138 #endif
139 static BOOL dsn_advertised;
140 static BOOL esmtp;
141 static BOOL helo_required = FALSE;
142 static BOOL helo_verify = FALSE;
143 static BOOL helo_seen;
144 static BOOL helo_accept_junk;
145 static BOOL count_nonmail;
146 static BOOL pipelining_advertised;
147 static BOOL rcpt_smtp_response_same;
148 static BOOL rcpt_in_progress;
149 static int  nonmail_command_count;
150 static BOOL smtp_exit_function_called = 0;
151 #ifdef SUPPORT_I18N
152 static BOOL smtputf8_advertised;
153 #endif
154 static int  synprot_error_count;
155 static int  unknown_command_count;
156 static int  sync_cmd_limit;
157 static int  smtp_write_error = 0;
158
159 static uschar *rcpt_smtp_response;
160 static uschar *smtp_data_buffer;
161 static uschar *smtp_cmd_data;
162
163 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
164 final fields of all except AUTH are forced TRUE at the start of a new message
165 setup, to allow one of each between messages that is not counted as a nonmail
166 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
167 allow a new EHLO after starting up TLS.
168
169 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
170 counted. However, the flag is changed when AUTH is received, so that multiple
171 failing AUTHs will eventually hit the limit. After a successful AUTH, another
172 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
173 forced TRUE, to allow for the re-authentication that can happen at that point.
174
175 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
176 count of non-mail commands and possibly provoke an error.
177
178 tls_auth is a pseudo-command, never expected in input.  It is activated
179 on TLS startup and looks for a tls authenticator. */
180
181 static smtp_cmd_list cmd_list[] = {
182   /* name         len                     cmd     has_arg is_mail_cmd */
183
184   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
185   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
186   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
187   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
188   #ifdef SUPPORT_TLS
189   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
190   { "tls_auth",   0,                      TLS_AUTH_CMD, FALSE, TRUE },
191   #endif
192
193 /* If you change anything above here, also fix the definitions below. */
194
195   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
196   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
197   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
198   { "bdat",       sizeof("bdat")-1,       BDAT_CMD, TRUE,  TRUE  },
199   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
200   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
201   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
202   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
203   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
204   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
205 };
206
207 static smtp_cmd_list *cmd_list_end =
208   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
209
210 #define CMD_LIST_RSET      0
211 #define CMD_LIST_HELO      1
212 #define CMD_LIST_EHLO      2
213 #define CMD_LIST_AUTH      3
214 #define CMD_LIST_STARTTLS  4
215 #define CMD_LIST_TLS_AUTH  5
216
217 /* This list of names is used for performing the smtp_no_mail logging action.
218 It must be kept in step with the SCH_xxx enumerations. */
219
220 static uschar *smtp_names[] =
221   {
222   US"NONE", US"AUTH", US"DATA", US"BDAT", US"EHLO", US"ETRN", US"EXPN",
223   US"HELO", US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET",
224   US"STARTTLS", US"VRFY" };
225
226 static uschar *protocols_local[] = {
227   US"local-smtp",        /* HELO */
228   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
229   US"local-esmtp",       /* EHLO */
230   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
231   US"local-esmtpa",      /* EHLO->AUTH */
232   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
233   };
234 static uschar *protocols[] = {
235   US"smtp",              /* HELO */
236   US"smtps",             /* The rare case EHLO->STARTTLS->HELO */
237   US"esmtp",             /* EHLO */
238   US"esmtps",            /* EHLO->STARTTLS->EHLO */
239   US"esmtpa",            /* EHLO->AUTH */
240   US"esmtpsa"            /* EHLO->STARTTLS->EHLO->AUTH */
241   };
242
243 #define pnormal  0
244 #define pextend  2
245 #define pcrpted  1  /* added to pextend or pnormal */
246 #define pauthed  2  /* added to pextend */
247
248 /* Sanity check and validate optional args to MAIL FROM: envelope */
249 enum {
250   ENV_MAIL_OPT_NULL,
251   ENV_MAIL_OPT_SIZE, ENV_MAIL_OPT_BODY, ENV_MAIL_OPT_AUTH,
252 #ifndef DISABLE_PRDR
253   ENV_MAIL_OPT_PRDR,
254 #endif
255   ENV_MAIL_OPT_RET, ENV_MAIL_OPT_ENVID,
256 #ifdef SUPPORT_I18N
257   ENV_MAIL_OPT_UTF8,
258 #endif
259   };
260 typedef struct {
261   uschar *   name;  /* option requested during MAIL cmd */
262   int       value;  /* enum type */
263   BOOL need_value;  /* TRUE requires value (name=value pair format)
264                        FALSE is a singleton */
265   } env_mail_type_t;
266 static env_mail_type_t env_mail_type_list[] = {
267     { US"SIZE",   ENV_MAIL_OPT_SIZE,   TRUE  },
268     { US"BODY",   ENV_MAIL_OPT_BODY,   TRUE  },
269     { US"AUTH",   ENV_MAIL_OPT_AUTH,   TRUE  },
270 #ifndef DISABLE_PRDR
271     { US"PRDR",   ENV_MAIL_OPT_PRDR,   FALSE },
272 #endif
273     { US"RET",    ENV_MAIL_OPT_RET,    TRUE },
274     { US"ENVID",  ENV_MAIL_OPT_ENVID,  TRUE },
275 #ifdef SUPPORT_I18N
276     { US"SMTPUTF8",ENV_MAIL_OPT_UTF8,  FALSE },         /* rfc6531 */
277 #endif
278     /* keep this the last entry */
279     { US"NULL",   ENV_MAIL_OPT_NULL,   FALSE },
280   };
281
282 /* When reading SMTP from a remote host, we have to use our own versions of the
283 C input-reading functions, in order to be able to flush the SMTP output only
284 when about to read more data from the socket. This is the only way to get
285 optimal performance when the client is using pipelining. Flushing for every
286 command causes a separate packet and reply packet each time; saving all the
287 responses up (when pipelining) combines them into one packet and one response.
288
289 For simplicity, these functions are used for *all* SMTP input, not only when
290 receiving over a socket. However, after setting up a secure socket (SSL), input
291 is read via the OpenSSL library, and another set of functions is used instead
292 (see tls.c).
293
294 These functions are set in the receive_getc etc. variables and called with the
295 same interface as the C functions. However, since there can only ever be
296 one incoming SMTP call, we just use a single buffer and flags. There is no need
297 to implement a complicated private FILE-like structure.*/
298
299 static uschar *smtp_inbuffer;
300 static uschar *smtp_inptr;
301 static uschar *smtp_inend;
302 static int     smtp_had_eof;
303 static int     smtp_had_error;
304
305
306 /* forward declarations */
307 int bdat_ungetc(int ch);
308 static int smtp_read_command(BOOL check_sync, unsigned buffer_lim);
309 static int synprot_error(int type, int code, uschar *data, uschar *errmess);
310 static void smtp_quit_handler(uschar **, uschar **);
311 static void smtp_rset_handler(void);
312
313 /*************************************************
314 *          Recheck synchronization               *
315 *************************************************/
316
317 /* Synchronization checks can never be perfect because a packet may be on its
318 way but not arrived when the check is done. Such checks can in any case only be
319 done when TLS is not in use. Normally, the checks happen when commands are
320 read: Exim ensures that there is no more input in the input buffer. In normal
321 cases, the response to the command will be fast, and there is no further check.
322
323 However, for some commands an ACL is run, and that can include delays. In those
324 cases, it is useful to do another check on the input just before sending the
325 response. This also applies at the start of a connection. This function does
326 that check by means of the select() function, as long as the facility is not
327 disabled or inappropriate. A failure of select() is ignored.
328
329 When there is unwanted input, we read it so that it appears in the log of the
330 error.
331
332 Arguments: none
333 Returns:   TRUE if all is well; FALSE if there is input pending
334 */
335
336 static BOOL
337 check_sync(void)
338 {
339 int fd, rc;
340 fd_set fds;
341 struct timeval tzero;
342
343 if (!smtp_enforce_sync || sender_host_address == NULL ||
344     sender_host_notsocket || tls_in.active >= 0)
345   return TRUE;
346
347 fd = fileno(smtp_in);
348 FD_ZERO(&fds);
349 FD_SET(fd, &fds);
350 tzero.tv_sec = 0;
351 tzero.tv_usec = 0;
352 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
353
354 if (rc <= 0) return TRUE;     /* Not ready to read */
355 rc = smtp_getc(GETC_BUFFER_UNLIMITED);
356 if (rc < 0) return TRUE;      /* End of file or error */
357
358 smtp_ungetc(rc);
359 rc = smtp_inend - smtp_inptr;
360 if (rc > 150) rc = 150;
361 smtp_inptr[rc] = 0;
362 return FALSE;
363 }
364
365
366
367 /*************************************************
368 *          Log incomplete transactions           *
369 *************************************************/
370
371 /* This function is called after a transaction has been aborted by RSET, QUIT,
372 connection drops or other errors. It logs the envelope information received
373 so far in order to preserve address verification attempts.
374
375 Argument:   string to indicate what aborted the transaction
376 Returns:    nothing
377 */
378
379 static void
380 incomplete_transaction_log(uschar *what)
381 {
382 if (sender_address == NULL ||                 /* No transaction in progress */
383     !LOGGING(smtp_incomplete_transaction))
384   return;
385
386 /* Build list of recipients for logging */
387
388 if (recipients_count > 0)
389   {
390   int i;
391   raw_recipients = store_get(recipients_count * sizeof(uschar *));
392   for (i = 0; i < recipients_count; i++)
393     raw_recipients[i] = recipients_list[i].address;
394   raw_recipients_count = recipients_count;
395   }
396
397 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
398   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
399 }
400
401
402
403
404 /*************************************************
405 *          SMTP version of getc()                *
406 *************************************************/
407
408 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
409 it flushes the output, and refills the buffer, with a timeout. The signal
410 handler is set appropriately by the calling function. This function is not used
411 after a connection has negotiated itself into an TLS/SSL state.
412
413 Arguments:  lim         Maximum amount to read/buffer
414 Returns:    the next character or EOF
415 */
416
417 int
418 smtp_getc(unsigned lim)
419 {
420 if (smtp_inptr >= smtp_inend)
421   {
422   int rc, save_errno;
423   if (!smtp_out) return EOF;
424   fflush(smtp_out);
425   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
426
427   /* Limit amount read, so non-message data is not fed to DKIM */
428
429   rc = read(fileno(smtp_in), smtp_inbuffer, MIN(IN_BUFFER_SIZE, lim));
430   save_errno = errno;
431   alarm(0);
432   if (rc <= 0)
433     {
434     /* Must put the error text in fixed store, because this might be during
435     header reading, where it releases unused store above the header. */
436     if (rc < 0)
437       {
438       smtp_had_error = save_errno;
439       smtp_read_error = string_copy_malloc(
440         string_sprintf(" (error: %s)", strerror(save_errno)));
441       }
442     else smtp_had_eof = 1;
443     return EOF;
444     }
445 #ifndef DISABLE_DKIM
446   dkim_exim_verify_feed(smtp_inbuffer, rc);
447 #endif
448   smtp_inend = smtp_inbuffer + rc;
449   smtp_inptr = smtp_inbuffer;
450   }
451 return *smtp_inptr++;
452 }
453
454 void
455 smtp_get_cache(void)
456 {
457 #ifndef DISABLE_DKIM
458 int n = smtp_inend - smtp_inptr;
459 if (n > 0)
460   dkim_exim_verify_feed(smtp_inptr, n);
461 #endif
462 }
463
464
465 /* Get a byte from the smtp input, in CHUNKING mode.  Handle ack of the
466 previous BDAT chunk and getting new ones when we run out.  Uses the
467 underlying smtp_getc or tls_getc both for that and for getting the
468 (buffered) data byte.  EOD signals (an expected) no further data.
469 ERR signals a protocol error, and EOF a closed input stream.
470
471 Called from read_bdat_smtp() in receive.c for the message body, but also
472 by the headers read loop in receive_msg(); manipulates chunking_state
473 to handle the BDAT command/response.
474 Placed here due to the correlation with the above smtp_getc(), which it wraps,
475 and also by the need to do smtp command/response handling.
476
477 Arguments:  lim         (ignored)
478 Returns:    the next character or ERR, EOD or EOF
479 */
480
481 int
482 bdat_getc(unsigned lim)
483 {
484 uschar * user_msg = NULL;
485 uschar * log_msg;
486
487 for(;;)
488   {
489   if (chunking_data_left > 0)
490     return lwr_receive_getc(chunking_data_left--);
491
492   receive_getc = lwr_receive_getc;
493   receive_ungetc = lwr_receive_ungetc;
494 #ifndef DISABLE_DKIM
495   dkim_collect_input = FALSE;
496 #endif
497
498   /* Unless PIPELINING was offered, there should be no next command
499   until after we ack that chunk */
500
501   if (!pipelining_advertised && !check_sync())
502     {
503     incomplete_transaction_log(US"sync failure");
504     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
505       "(next input sent too soon: pipelining was not advertised): "
506       "rejected \"%s\" %s next input=\"%s\"",
507       smtp_cmd_buffer, host_and_ident(TRUE),
508       string_printing(smtp_inptr));
509       (void) synprot_error(L_smtp_protocol_error, 554, NULL,
510         US"SMTP synchronization error");
511     goto repeat_until_rset;
512     }
513
514   /* If not the last, ack the received chunk.  The last response is delayed
515   until after the data ACL decides on it */
516
517   if (chunking_state == CHUNKING_LAST)
518     {
519 #ifndef DISABLE_DKIM
520     dkim_exim_verify_feed(NULL, 0);     /* notify EOD */
521 #endif
522     return EOD;
523     }
524
525   smtp_printf("250 %u byte chunk received\r\n", chunking_datasize);
526   chunking_state = CHUNKING_OFFERED;
527   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
528
529   /* Expect another BDAT cmd from input. RFC 3030 says nothing about
530   QUIT, RSET or NOOP but handling them seems obvious */
531
532 next_cmd:
533   switch(smtp_read_command(TRUE, 1))
534     {
535     default:
536       (void) synprot_error(L_smtp_protocol_error, 503, NULL,
537         US"only BDAT permissible after non-LAST BDAT");
538
539   repeat_until_rset:
540       switch(smtp_read_command(TRUE, 1))
541         {
542         case QUIT_CMD:  smtp_quit_handler(&user_msg, &log_msg); /*FALLTHROUGH */
543         case EOF_CMD:   return EOF;
544         case RSET_CMD:  smtp_rset_handler(); return ERR;
545         default:        if (synprot_error(L_smtp_protocol_error, 503, NULL,
546                                           US"only RSET accepted now") > 0)
547                           return EOF;
548                         goto repeat_until_rset;
549         }
550
551     case QUIT_CMD:
552       smtp_quit_handler(&user_msg, &log_msg);
553       /*FALLTHROUGH*/
554     case EOF_CMD:
555       return EOF;
556
557     case RSET_CMD:
558       smtp_rset_handler();
559       return ERR;
560
561     case NOOP_CMD:
562       HAD(SCH_NOOP);
563       smtp_printf("250 OK\r\n");
564       goto next_cmd;
565
566     case BDAT_CMD:
567       {
568       int n;
569
570       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
571         {
572         (void) synprot_error(L_smtp_protocol_error, 501, NULL,
573           US"missing size for BDAT command");
574         return ERR;
575         }
576       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
577         ? CHUNKING_LAST : CHUNKING_ACTIVE;
578       chunking_data_left = chunking_datasize;
579       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
580                                     (int)chunking_state, chunking_data_left);
581
582       if (chunking_datasize == 0)
583         if (chunking_state == CHUNKING_LAST)
584           return EOD;
585         else
586           {
587           (void) synprot_error(L_smtp_protocol_error, 504, NULL,
588             US"zero size for BDAT command");
589           goto repeat_until_rset;
590           }
591
592       receive_getc = bdat_getc;
593       receive_ungetc = bdat_ungetc;
594 #ifndef DISABLE_DKIM
595       dkim_collect_input = TRUE;
596 #endif
597       break;    /* to top of main loop */
598       }
599     }
600   }
601 }
602
603 void
604 bdat_flush_data(void)
605 {
606 while (chunking_data_left > 0)
607   if (lwr_receive_getc(chunking_data_left--) < 0)
608     break;
609
610 receive_getc = lwr_receive_getc;
611 receive_ungetc = lwr_receive_ungetc;
612
613 if (chunking_state != CHUNKING_LAST)
614   {
615   chunking_state = CHUNKING_OFFERED;
616   DEBUG(D_receive) debug_printf("chunking state %d\n", (int)chunking_state);
617   }
618 }
619
620
621
622
623 /*************************************************
624 *          SMTP version of ungetc()              *
625 *************************************************/
626
627 /* Puts a character back in the input buffer. Only ever
628 called once.
629
630 Arguments:
631   ch           the character
632
633 Returns:       the character
634 */
635
636 int
637 smtp_ungetc(int ch)
638 {
639 *--smtp_inptr = ch;
640 return ch;
641 }
642
643
644 int
645 bdat_ungetc(int ch)
646 {
647 chunking_data_left++;
648 return lwr_receive_ungetc(ch);
649 }
650
651
652
653 /*************************************************
654 *          SMTP version of feof()                *
655 *************************************************/
656
657 /* Tests for a previous EOF
658
659 Arguments:     none
660 Returns:       non-zero if the eof flag is set
661 */
662
663 int
664 smtp_feof(void)
665 {
666 return smtp_had_eof;
667 }
668
669
670
671
672 /*************************************************
673 *          SMTP version of ferror()              *
674 *************************************************/
675
676 /* Tests for a previous read error, and returns with errno
677 restored to what it was when the error was detected.
678
679 Arguments:     none
680 Returns:       non-zero if the error flag is set
681 */
682
683 int
684 smtp_ferror(void)
685 {
686 errno = smtp_had_error;
687 return smtp_had_error;
688 }
689
690
691
692 /*************************************************
693 *      Test for characters in the SMTP buffer    *
694 *************************************************/
695
696 /* Used at the end of a message
697
698 Arguments:     none
699 Returns:       TRUE/FALSE
700 */
701
702 BOOL
703 smtp_buffered(void)
704 {
705 return smtp_inptr < smtp_inend;
706 }
707
708
709
710 /*************************************************
711 *     Write formatted string to SMTP channel     *
712 *************************************************/
713
714 /* This is a separate function so that we don't have to repeat everything for
715 TLS support or debugging. It is global so that the daemon and the
716 authentication functions can use it. It does not return any error indication,
717 because major problems such as dropped connections won't show up till an output
718 flush for non-TLS connections. The smtp_fflush() function is available for
719 checking that: for convenience, TLS output errors are remembered here so that
720 they are also picked up later by smtp_fflush().
721
722 Arguments:
723   format      format string
724   ...         optional arguments
725
726 Returns:      nothing
727 */
728
729 void
730 smtp_printf(const char *format, ...)
731 {
732 va_list ap;
733
734 va_start(ap, format);
735 smtp_vprintf(format, ap);
736 va_end(ap);
737 }
738
739 /* This is split off so that verify.c:respond_printf() can, in effect, call
740 smtp_printf(), bearing in mind that in C a vararg function can't directly
741 call another vararg function, only a function which accepts a va_list. */
742
743 void
744 smtp_vprintf(const char *format, va_list ap)
745 {
746 BOOL yield;
747
748 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
749
750 DEBUG(D_receive)
751   {
752   void *reset_point = store_get(0);
753   uschar *msg_copy, *cr, *end;
754   msg_copy = string_copy(big_buffer);
755   end = msg_copy + Ustrlen(msg_copy);
756   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
757   memmove(cr, cr + 1, (end--) - cr);
758   debug_printf("SMTP>> %s", msg_copy);
759   store_reset(reset_point);
760   }
761
762 if (!yield)
763   {
764   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
765   smtp_closedown(US"Unexpected error");
766   exim_exit(EXIT_FAILURE);
767   }
768
769 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
770 have had the same. Note: this code is also present in smtp_respond(). It would
771 be tidier to have it only in one place, but when it was added, it was easier to
772 do it that way, so as not to have to mess with the code for the RCPT command,
773 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
774
775 if (rcpt_in_progress)
776   {
777   if (rcpt_smtp_response == NULL)
778     rcpt_smtp_response = string_copy(big_buffer);
779   else if (rcpt_smtp_response_same &&
780            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
781     rcpt_smtp_response_same = FALSE;
782   rcpt_in_progress = FALSE;
783   }
784
785 /* Now write the string */
786
787 #ifdef SUPPORT_TLS
788 if (tls_in.active >= 0)
789   {
790   if (tls_write(TRUE, big_buffer, Ustrlen(big_buffer)) < 0)
791     smtp_write_error = -1;
792   }
793 else
794 #endif
795
796 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
797 }
798
799
800
801 /*************************************************
802 *        Flush SMTP out and check for error      *
803 *************************************************/
804
805 /* This function isn't currently used within Exim (it detects errors when it
806 tries to read the next SMTP input), but is available for use in local_scan().
807 For non-TLS connections, it flushes the output and checks for errors. For
808 TLS-connections, it checks for a previously-detected TLS write error.
809
810 Arguments:  none
811 Returns:    0 for no error; -1 after an error
812 */
813
814 int
815 smtp_fflush(void)
816 {
817 if (tls_in.active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
818 return smtp_write_error;
819 }
820
821
822
823 /*************************************************
824 *          SMTP command read timeout             *
825 *************************************************/
826
827 /* Signal handler for timing out incoming SMTP commands. This attempts to
828 finish off tidily.
829
830 Argument: signal number (SIGALRM)
831 Returns:  nothing
832 */
833
834 static void
835 command_timeout_handler(int sig)
836 {
837 sig = sig;    /* Keep picky compilers happy */
838 log_write(L_lost_incoming_connection,
839           LOG_MAIN, "SMTP command timeout on%s connection from %s",
840           (tls_in.active >= 0)? " TLS" : "",
841           host_and_ident(FALSE));
842 if (smtp_batched_input)
843   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
844 smtp_notquit_exit(US"command-timeout", US"421",
845   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
846 exim_exit(EXIT_FAILURE);
847 }
848
849
850
851 /*************************************************
852 *               SIGTERM received                 *
853 *************************************************/
854
855 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
856
857 Argument: signal number (SIGTERM)
858 Returns:  nothing
859 */
860
861 static void
862 command_sigterm_handler(int sig)
863 {
864 sig = sig;    /* Keep picky compilers happy */
865 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
866 if (smtp_batched_input)
867   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
868 smtp_notquit_exit(US"signal-exit", US"421",
869   US"%s: Service not available - closing connection", smtp_active_hostname);
870 exim_exit(EXIT_FAILURE);
871 }
872
873
874
875
876 #ifdef SUPPORT_PROXY
877 /*************************************************
878 *     Restore socket timeout to previous value   *
879 *************************************************/
880 /* If the previous value was successfully retrieved, restore
881 it before returning control to the non-proxy routines
882
883 Arguments: fd     - File descriptor for input
884            get_ok - Successfully retrieved previous values
885            tvtmp  - Time struct with previous values
886            vslen  - Length of time struct
887 Returns:   none
888 */
889 static void
890 restore_socket_timeout(int fd, int get_ok, struct timeval * tvtmp, socklen_t vslen)
891 {
892 if (get_ok == 0)
893   (void) setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS tvtmp, vslen);
894 }
895
896 /*************************************************
897 *       Check if host is required proxy host     *
898 *************************************************/
899 /* The function determines if inbound host will be a regular smtp host
900 or if it is configured that it must use Proxy Protocol.  A local
901 connection cannot.
902
903 Arguments: none
904 Returns:   bool
905 */
906
907 static BOOL
908 check_proxy_protocol_host()
909 {
910 int rc;
911
912 if (  sender_host_address
913    && (rc = verify_check_this_host(CUSS &hosts_proxy, NULL, NULL,
914                            sender_host_address, NULL)) == OK)
915   {
916   DEBUG(D_receive)
917     debug_printf("Detected proxy protocol configured host\n");
918   proxy_session = TRUE;
919   }
920 return proxy_session;
921 }
922
923
924 /*************************************************
925 *    Read data until newline or end of buffer    *
926 *************************************************/
927 /* While SMTP is server-speaks-first, TLS is client-speaks-first, so we can't
928 read an entire buffer and assume there will be nothing past a proxy protocol
929 header.  Our approach normally is to use stdio, but again that relies upon
930 "STARTTLS\r\n" and a server response before the client starts TLS handshake, or
931 reading _nothing_ before client TLS handshake.  So we don't want to use the
932 usual buffering reads which may read enough to block TLS starting.
933
934 So unfortunately we're down to "read one byte at a time, with a syscall each,
935 and expect a little overhead", for all proxy-opened connections which are v1,
936 just to handle the TLS-on-connect case.  Since SSL functions wrap the
937 underlying fd, we can't assume that we can feed them any already-read content.
938
939 We need to know where to read to, the max capacity, and we'll read until we
940 get a CR and one more character.  Let the caller scream if it's CR+!LF.
941
942 Return the amount read.
943 */
944
945 static int
946 swallow_until_crlf(int fd, uschar *base, int already, int capacity)
947 {
948   uschar *to = base + already;
949   uschar *cr;
950   int have = 0;
951   int ret;
952   int last = 0;
953
954   /* For "PROXY UNKNOWN\r\n" we, at time of writing, expect to have read
955   up through the \r; for the _normal_ case, we haven't yet seen the \r. */
956   cr = memchr(base, '\r', already);
957   if (cr != NULL)
958     {
959     if ((cr - base) < already - 1)
960       {
961       /* \r and presumed \n already within what we have; probably not
962       actually proxy protocol, but abort cleanly. */
963       return 0;
964       }
965     /* \r is last character read, just need one more. */
966     last = 1;
967     }
968
969   while (capacity > 0)
970     {
971     do { ret = recv(fd, to, 1, 0); } while (ret == -1 && errno == EINTR);
972     if (ret == -1)
973       return -1;
974     have++;
975     if (last)
976       return have;
977     if (*to == '\r')
978       last = 1;
979     capacity--;
980     to++;
981     }
982   // reached end without having room for a final newline, abort
983   errno = EOVERFLOW;
984   return -1;
985 }
986
987 /*************************************************
988 *         Setup host for proxy protocol          *
989 *************************************************/
990 /* The function configures the connection based on a header from the
991 inbound host to use Proxy Protocol. The specification is very exact
992 so exit with an error if do not find the exact required pieces. This
993 includes an incorrect number of spaces separating args.
994
995 Arguments: none
996 Returns:   Boolean success
997 */
998
999 static void
1000 setup_proxy_protocol_host()
1001 {
1002 union {
1003   struct {
1004     uschar line[108];
1005   } v1;
1006   struct {
1007     uschar sig[12];
1008     uint8_t ver_cmd;
1009     uint8_t fam;
1010     uint16_t len;
1011     union {
1012       struct { /* TCP/UDP over IPv4, len = 12 */
1013         uint32_t src_addr;
1014         uint32_t dst_addr;
1015         uint16_t src_port;
1016         uint16_t dst_port;
1017       } ip4;
1018       struct { /* TCP/UDP over IPv6, len = 36 */
1019         uint8_t  src_addr[16];
1020         uint8_t  dst_addr[16];
1021         uint16_t src_port;
1022         uint16_t dst_port;
1023       } ip6;
1024       struct { /* AF_UNIX sockets, len = 216 */
1025         uschar   src_addr[108];
1026         uschar   dst_addr[108];
1027       } unx;
1028     } addr;
1029   } v2;
1030 } hdr;
1031
1032 /* Temp variables used in PPv2 address:port parsing */
1033 uint16_t tmpport;
1034 char tmpip[INET_ADDRSTRLEN];
1035 struct sockaddr_in tmpaddr;
1036 char tmpip6[INET6_ADDRSTRLEN];
1037 struct sockaddr_in6 tmpaddr6;
1038
1039 /* We can't read "all data until end" because while SMTP is
1040 server-speaks-first, the TLS handshake is client-speaks-first, so for
1041 TLS-on-connect ports the proxy protocol header will usually be immediately
1042 followed by a TLS handshake, and with N TLS libraries, we can't reliably
1043 reinject data for reading by those.  So instead we first read "enough to be
1044 safely read within the header, and figure out how much more to read".
1045 For v1 we will later read to the end-of-line, for v2 we will read based upon
1046 the stated length.
1047
1048 The v2 sig is 12 octets, and another 4 gets us the length, so we know how much
1049 data is needed total.  For v1, where the line looks like:
1050 PROXY TCPn L3src L3dest SrcPort DestPort \r\n
1051
1052 However, for v1 there's also `PROXY UNKNOWN\r\n` which is only 15 octets.
1053 We seem to support that.  So, if we read 14 octets then we can tell if we're
1054 v2 or v1.  If we're v1, we can continue reading as normal.
1055
1056 If we're v2, we can't slurp up the entire header.  We need the length in the
1057 15th & 16th octets, then to read everything after that.
1058
1059 So to safely handle v1 and v2, with client-sent-first supported correctly,
1060 we have to do a minimum of 3 read calls, not 1.  Eww.
1061 */
1062
1063 #define PROXY_INITIAL_READ 14
1064 #define PROXY_V2_HEADER_SIZE 16
1065 #if PROXY_INITIAL_READ > PROXY_V2_HEADER_SIZE
1066 # error Code bug in sizes of data to read for proxy usage
1067 #endif
1068
1069 int get_ok = 0;
1070 int size, ret;
1071 int fd = fileno(smtp_in);
1072 const char v2sig[12] = "\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A";
1073 uschar * iptype;  /* To display debug info */
1074 struct timeval tv;
1075 struct timeval tvtmp;
1076 socklen_t vslen = sizeof(struct timeval);
1077 BOOL yield = FALSE;
1078
1079 /* Save current socket timeout values */
1080 get_ok = getsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tvtmp, &vslen);
1081
1082 /* Proxy Protocol host must send header within a short time
1083 (default 3 seconds) or it's considered invalid */
1084 tv.tv_sec  = PROXY_NEGOTIATION_TIMEOUT_SEC;
1085 tv.tv_usec = PROXY_NEGOTIATION_TIMEOUT_USEC;
1086 if (setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, CS &tv, sizeof(tv)) < 0)
1087   goto bad;
1088
1089 do
1090   {
1091   /* The inbound host was declared to be a Proxy Protocol host, so
1092      don't do a PEEK into the data, actually slurp up enough to be
1093      "safe". Can't take it all because TLS-on-connect clients follow
1094      immediately with TLS handshake. */
1095   ret = recv(fd, &hdr, PROXY_INITIAL_READ, 0);
1096   }
1097   while (ret == -1 && errno == EINTR);
1098
1099 if (ret == -1)
1100   goto proxyfail;
1101
1102 /* For v2, handle reading the length, and then the rest. */
1103 if ((ret == PROXY_INITIAL_READ) && (memcmp(&hdr.v2, v2sig, sizeof(v2sig)) == 0))
1104   {
1105   int retmore;
1106   uint8_t ver;
1107
1108   /* First get the length fields. */
1109   do
1110     {
1111     retmore = recv(fd, (uschar*)&hdr + ret, PROXY_V2_HEADER_SIZE - PROXY_INITIAL_READ, 0);
1112     } while (retmore == -1 && errno == EINTR);
1113   if (retmore == -1)
1114     goto proxyfail;
1115   ret += retmore;
1116
1117   ver = (hdr.v2.ver_cmd & 0xf0) >> 4;
1118
1119   /* May 2014: haproxy combined the version and command into one byte to
1120      allow two full bytes for the length field in order to proxy SSL
1121      connections.  SSL Proxy is not supported in this version of Exim, but
1122      must still separate values here. */
1123
1124   if (ver != 0x02)
1125     {
1126     DEBUG(D_receive) debug_printf("Invalid Proxy Protocol version: %d\n", ver);
1127     goto proxyfail;
1128     }
1129
1130   /* The v2 header will always be 16 bytes per the spec. */
1131   size = 16 + ntohs(hdr.v2.len);
1132   DEBUG(D_receive) debug_printf("Detected PROXYv2 header, size %d (limit %d)\n",
1133       size, (int)sizeof(hdr));
1134
1135   /* We should now have 16 octets (PROXY_V2_HEADER_SIZE), and we know the total
1136   amount that we need.  Double-check that the size is not unreasonable, then
1137   get the rest. */
1138   if (size > sizeof(hdr))
1139     {
1140     DEBUG(D_receive) debug_printf("PROXYv2 header size unreasonably large; security attack?\n");
1141     goto proxyfail;
1142     }
1143
1144   do
1145     {
1146     do
1147       {
1148       retmore = recv(fd, (uschar*)&hdr + ret, size-ret, 0);
1149       } while (retmore == -1 && errno == EINTR);
1150     if (retmore == -1)
1151       goto proxyfail;
1152     ret += retmore;
1153     DEBUG(D_receive) debug_printf("PROXYv2: have %d/%d required octets\n", ret, size);
1154     } while (ret < size);
1155
1156   } /* end scope for getting rest of data for v2 */
1157
1158 /* At this point: if PROXYv2, we've read the exact size required for all data;
1159 if PROXYv1 then we've read "less than required for any valid line" and should
1160 read the rest". */
1161
1162 if (ret >= 16 && memcmp(&hdr.v2, v2sig, 12) == 0)
1163   {
1164   uint8_t cmd = (hdr.v2.ver_cmd & 0x0f);
1165
1166   switch (cmd)
1167     {
1168     case 0x01: /* PROXY command */
1169       switch (hdr.v2.fam)
1170         {
1171         case 0x11:  /* TCPv4 address type */
1172           iptype = US"IPv4";
1173           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.src_addr;
1174           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1175           if (!string_is_ip_address(US tmpip, NULL))
1176             {
1177             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1178             goto proxyfail;
1179             }
1180           proxy_local_address = sender_host_address;
1181           sender_host_address = string_copy(US tmpip);
1182           tmpport             = ntohs(hdr.v2.addr.ip4.src_port);
1183           proxy_local_port    = sender_host_port;
1184           sender_host_port    = tmpport;
1185           /* Save dest ip/port */
1186           tmpaddr.sin_addr.s_addr = hdr.v2.addr.ip4.dst_addr;
1187           inet_ntop(AF_INET, &tmpaddr.sin_addr, CS &tmpip, sizeof(tmpip));
1188           if (!string_is_ip_address(US tmpip, NULL))
1189             {
1190             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1191             goto proxyfail;
1192             }
1193           proxy_external_address = string_copy(US tmpip);
1194           tmpport              = ntohs(hdr.v2.addr.ip4.dst_port);
1195           proxy_external_port  = tmpport;
1196           goto done;
1197         case 0x21:  /* TCPv6 address type */
1198           iptype = US"IPv6";
1199           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.src_addr, 16);
1200           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1201           if (!string_is_ip_address(US tmpip6, NULL))
1202             {
1203             DEBUG(D_receive) debug_printf("Invalid %s source IP\n", iptype);
1204             goto proxyfail;
1205             }
1206           proxy_local_address = sender_host_address;
1207           sender_host_address = string_copy(US tmpip6);
1208           tmpport             = ntohs(hdr.v2.addr.ip6.src_port);
1209           proxy_local_port    = sender_host_port;
1210           sender_host_port    = tmpport;
1211           /* Save dest ip/port */
1212           memmove(tmpaddr6.sin6_addr.s6_addr, hdr.v2.addr.ip6.dst_addr, 16);
1213           inet_ntop(AF_INET6, &tmpaddr6.sin6_addr, CS &tmpip6, sizeof(tmpip6));
1214           if (!string_is_ip_address(US tmpip6, NULL))
1215             {
1216             DEBUG(D_receive) debug_printf("Invalid %s dest port\n", iptype);
1217             goto proxyfail;
1218             }
1219           proxy_external_address = string_copy(US tmpip6);
1220           tmpport              = ntohs(hdr.v2.addr.ip6.dst_port);
1221           proxy_external_port  = tmpport;
1222           goto done;
1223         default:
1224           DEBUG(D_receive)
1225             debug_printf("Unsupported PROXYv2 connection type: 0x%02x\n",
1226                          hdr.v2.fam);
1227           goto proxyfail;
1228         }
1229       /* Unsupported protocol, keep local connection address */
1230       break;
1231     case 0x00: /* LOCAL command */
1232       /* Keep local connection address for LOCAL */
1233       iptype = US"local";
1234       break;
1235     default:
1236       DEBUG(D_receive)
1237         debug_printf("Unsupported PROXYv2 command: 0x%x\n", cmd);
1238       goto proxyfail;
1239     }
1240   }
1241 else if (ret >= 8 && memcmp(hdr.v1.line, "PROXY", 5) == 0)
1242   {
1243   uschar *p;
1244   uschar *end;
1245   uschar *sp;     /* Utility variables follow */
1246   int     tmp_port;
1247   int     r2;
1248   char   *endc;
1249
1250   /* get the rest of the line */
1251   r2 = swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1252   if (r2 == -1)
1253     goto proxyfail;
1254   ret += r2;
1255
1256   p = string_copy(hdr.v1.line);
1257   end = memchr(p, '\r', ret - 1);
1258
1259   if (!end || (end == (uschar*)&hdr + ret) || end[1] != '\n')
1260     {
1261     DEBUG(D_receive) debug_printf("Partial or invalid PROXY header\n");
1262     goto proxyfail;
1263     }
1264   *end = '\0'; /* Terminate the string */
1265   size = end + 2 - p; /* Skip header + CRLF */
1266   DEBUG(D_receive) debug_printf("Detected PROXYv1 header\n");
1267   DEBUG(D_receive) debug_printf("Bytes read not within PROXY header: %d\n", ret - size);
1268   /* Step through the string looking for the required fields. Ensure
1269      strict adherence to required formatting, exit for any error. */
1270   p += 5;
1271   if (!isspace(*(p++)))
1272     {
1273     DEBUG(D_receive) debug_printf("Missing space after PROXY command\n");
1274     goto proxyfail;
1275     }
1276   if (!Ustrncmp(p, CCS"TCP4", 4))
1277     iptype = US"IPv4";
1278   else if (!Ustrncmp(p,CCS"TCP6", 4))
1279     iptype = US"IPv6";
1280   else if (!Ustrncmp(p,CCS"UNKNOWN", 7))
1281     {
1282     iptype = US"Unknown";
1283     goto done;
1284     }
1285   else
1286     {
1287     DEBUG(D_receive) debug_printf("Invalid TCP type\n");
1288     goto proxyfail;
1289     }
1290
1291   p += Ustrlen(iptype);
1292   if (!isspace(*(p++)))
1293     {
1294     DEBUG(D_receive) debug_printf("Missing space after TCP4/6 command\n");
1295     goto proxyfail;
1296     }
1297   /* Find the end of the arg */
1298   if ((sp = Ustrchr(p, ' ')) == NULL)
1299     {
1300     DEBUG(D_receive)
1301       debug_printf("Did not find proxied src %s\n", iptype);
1302     goto proxyfail;
1303     }
1304   *sp = '\0';
1305   if(!string_is_ip_address(p, NULL))
1306     {
1307     DEBUG(D_receive)
1308       debug_printf("Proxied src arg is not an %s address\n", iptype);
1309     goto proxyfail;
1310     }
1311   proxy_local_address = sender_host_address;
1312   sender_host_address = p;
1313   p = sp + 1;
1314   if ((sp = Ustrchr(p, ' ')) == NULL)
1315     {
1316     DEBUG(D_receive)
1317       debug_printf("Did not find proxy dest %s\n", iptype);
1318     goto proxyfail;
1319     }
1320   *sp = '\0';
1321   if(!string_is_ip_address(p, NULL))
1322     {
1323     DEBUG(D_receive)
1324       debug_printf("Proxy dest arg is not an %s address\n", iptype);
1325     goto proxyfail;
1326     }
1327   proxy_external_address = p;
1328   p = sp + 1;
1329   if ((sp = Ustrchr(p, ' ')) == NULL)
1330     {
1331     DEBUG(D_receive) debug_printf("Did not find proxied src port\n");
1332     goto proxyfail;
1333     }
1334   *sp = '\0';
1335   tmp_port = strtol(CCS p, &endc, 10);
1336   if (*endc || tmp_port == 0)
1337     {
1338     DEBUG(D_receive)
1339       debug_printf("Proxied src port '%s' not an integer\n", p);
1340     goto proxyfail;
1341     }
1342   proxy_local_port = sender_host_port;
1343   sender_host_port = tmp_port;
1344   p = sp + 1;
1345   if ((sp = Ustrchr(p, '\0')) == NULL)
1346     {
1347     DEBUG(D_receive) debug_printf("Did not find proxy dest port\n");
1348     goto proxyfail;
1349     }
1350   tmp_port = strtol(CCS p, &endc, 10);
1351   if (*endc || tmp_port == 0)
1352     {
1353     DEBUG(D_receive)
1354       debug_printf("Proxy dest port '%s' not an integer\n", p);
1355     goto proxyfail;
1356     }
1357   proxy_external_port = tmp_port;
1358   /* Already checked for /r /n above. Good V1 header received. */
1359   }
1360 else
1361   {
1362   /* Wrong protocol */
1363   DEBUG(D_receive) debug_printf("Invalid proxy protocol version negotiation\n");
1364   (void) swallow_until_crlf(fd, (uschar*)&hdr, ret, sizeof(hdr)-ret);
1365   goto proxyfail;
1366   }
1367
1368 done:
1369   DEBUG(D_receive)
1370     debug_printf("Valid %s sender from Proxy Protocol header\n", iptype);
1371   yield = proxy_session;
1372
1373 /* Don't flush any potential buffer contents. Any input on proxyfail
1374 should cause a synchronization failure */
1375
1376 proxyfail:
1377   restore_socket_timeout(fd, get_ok, &tvtmp, vslen);
1378
1379 bad:
1380   if (yield)
1381     {
1382     sender_host_name = NULL;
1383     (void) host_name_lookup();
1384     host_build_sender_fullhost();
1385     }
1386   else
1387     {
1388     proxy_session_failed = TRUE;
1389     DEBUG(D_receive)
1390       debug_printf("Failure to extract proxied host, only QUIT allowed\n");
1391     }
1392
1393 return;
1394 }
1395 #endif
1396
1397 /*************************************************
1398 *           Read one command line                *
1399 *************************************************/
1400
1401 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
1402 There are sites that don't do this, and in any case internal SMTP probably
1403 should check only for LF. Consequently, we check here for LF only. The line
1404 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
1405 an unknown command. The command is read into the global smtp_cmd_buffer so that
1406 it is available via $smtp_command.
1407
1408 The character reading routine sets up a timeout for each block actually read
1409 from the input (which may contain more than one command). We set up a special
1410 signal handler that closes down the session on a timeout. Control does not
1411 return when it runs.
1412
1413 Arguments:
1414   check_sync    if TRUE, check synchronization rules if global option is TRUE
1415   buffer_lim    maximum to buffer in lower layer
1416
1417 Returns:       a code identifying the command (enumerated above)
1418 */
1419
1420 static int
1421 smtp_read_command(BOOL check_sync, unsigned buffer_lim)
1422 {
1423 int c;
1424 int ptr = 0;
1425 smtp_cmd_list *p;
1426 BOOL hadnull = FALSE;
1427
1428 os_non_restarting_signal(SIGALRM, command_timeout_handler);
1429
1430 while ((c = (receive_getc)(buffer_lim)) != '\n' && c != EOF)
1431   {
1432   if (ptr >= SMTP_CMD_BUFFER_SIZE)
1433     {
1434     os_non_restarting_signal(SIGALRM, sigalrm_handler);
1435     return OTHER_CMD;
1436     }
1437   if (c == 0)
1438     {
1439     hadnull = TRUE;
1440     c = '?';
1441     }
1442   smtp_cmd_buffer[ptr++] = c;
1443   }
1444
1445 receive_linecount++;    /* For BSMTP errors */
1446 os_non_restarting_signal(SIGALRM, sigalrm_handler);
1447
1448 /* If hit end of file, return pseudo EOF command. Whether we have a
1449 part-line already read doesn't matter, since this is an error state. */
1450
1451 if (c == EOF) return EOF_CMD;
1452
1453 /* Remove any CR and white space at the end of the line, and terminate the
1454 string. */
1455
1456 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
1457 smtp_cmd_buffer[ptr] = 0;
1458
1459 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
1460
1461 /* NULLs are not allowed in SMTP commands */
1462
1463 if (hadnull) return BADCHAR_CMD;
1464
1465 /* Scan command list and return identity, having set the data pointer
1466 to the start of the actual data characters. Check for SMTP synchronization
1467 if required. */
1468
1469 for (p = cmd_list; p < cmd_list_end; p++)
1470   {
1471 #ifdef SUPPORT_PROXY
1472   /* Only allow QUIT command if Proxy Protocol parsing failed */
1473   if (proxy_session && proxy_session_failed && p->cmd != QUIT_CMD)
1474     continue;
1475 #endif
1476   if (  p->len
1477      && strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0
1478      && (  smtp_cmd_buffer[p->len-1] == ':'    /* "mail from:" or "rcpt to:" */
1479         || smtp_cmd_buffer[p->len] == 0
1480         || smtp_cmd_buffer[p->len] == ' '
1481      )  )
1482     {
1483     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1484         p->cmd < sync_cmd_limit &&                     /* Command should sync */
1485         check_sync &&                                  /* Local flag set */
1486         smtp_enforce_sync &&                           /* Global flag set */
1487         sender_host_address != NULL &&                 /* Not local input */
1488         !sender_host_notsocket)                        /* Really is a socket */
1489       return BADSYN_CMD;
1490
1491     /* The variables $smtp_command and $smtp_command_argument point into the
1492     unmodified input buffer. A copy of the latter is taken for actual
1493     processing, so that it can be chopped up into separate parts if necessary,
1494     for example, when processing a MAIL command options such as SIZE that can
1495     follow the sender address. */
1496
1497     smtp_cmd_argument = smtp_cmd_buffer + p->len;
1498     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
1499     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
1500     smtp_cmd_data = smtp_data_buffer;
1501
1502     /* Count non-mail commands from those hosts that are controlled in this
1503     way. The default is all hosts. We don't waste effort checking the list
1504     until we get a non-mail command, but then cache the result to save checking
1505     again. If there's a DEFER while checking the host, assume it's in the list.
1506
1507     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
1508     start of each incoming message by fiddling with the value in the table. */
1509
1510     if (!p->is_mail_cmd)
1511       {
1512       if (count_nonmail == TRUE_UNSET) count_nonmail =
1513         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
1514       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
1515         return TOO_MANY_NONMAIL_CMD;
1516       }
1517
1518     /* If there is data for a command that does not expect it, generate the
1519     error here. */
1520
1521     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
1522     }
1523   }
1524
1525 #ifdef SUPPORT_PROXY
1526 /* Only allow QUIT command if Proxy Protocol parsing failed */
1527 if (proxy_session && proxy_session_failed)
1528   return PROXY_FAIL_IGNORE_CMD;
1529 #endif
1530
1531 /* Enforce synchronization for unknown commands */
1532
1533 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
1534     check_sync &&                                  /* Local flag set */
1535     smtp_enforce_sync &&                           /* Global flag set */
1536     sender_host_address != NULL &&                 /* Not local input */
1537     !sender_host_notsocket)                        /* Really is a socket */
1538   return BADSYN_CMD;
1539
1540 return OTHER_CMD;
1541 }
1542
1543
1544
1545 /*************************************************
1546 *          Forced closedown of call              *
1547 *************************************************/
1548
1549 /* This function is called from log.c when Exim is dying because of a serious
1550 disaster, and also from some other places. If an incoming non-batched SMTP
1551 channel is open, it swallows the rest of the incoming message if in the DATA
1552 phase, sends the reply string, and gives an error to all subsequent commands
1553 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
1554 smtp_in.
1555
1556 Arguments:
1557   message   SMTP reply string to send, excluding the code
1558
1559 Returns:    nothing
1560 */
1561
1562 void
1563 smtp_closedown(uschar *message)
1564 {
1565 if (smtp_in == NULL || smtp_batched_input) return;
1566 receive_swallow_smtp();
1567 smtp_printf("421 %s\r\n", message);
1568
1569 for (;;) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
1570   {
1571   case EOF_CMD:
1572   return;
1573
1574   case QUIT_CMD:
1575   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
1576   mac_smtp_fflush();
1577   return;
1578
1579   case RSET_CMD:
1580   smtp_printf("250 Reset OK\r\n");
1581   break;
1582
1583   default:
1584   smtp_printf("421 %s\r\n", message);
1585   break;
1586   }
1587 }
1588
1589
1590
1591
1592 /*************************************************
1593 *        Set up connection info for logging      *
1594 *************************************************/
1595
1596 /* This function is called when logging information about an SMTP connection.
1597 It sets up appropriate source information, depending on the type of connection.
1598 If sender_fullhost is NULL, we are at a very early stage of the connection;
1599 just use the IP address.
1600
1601 Argument:    none
1602 Returns:     a string describing the connection
1603 */
1604
1605 uschar *
1606 smtp_get_connection_info(void)
1607 {
1608 const uschar * hostname = sender_fullhost
1609   ? sender_fullhost : sender_host_address;
1610
1611 if (host_checking)
1612   return string_sprintf("SMTP connection from %s", hostname);
1613
1614 if (sender_host_unknown || sender_host_notsocket)
1615   return string_sprintf("SMTP connection from %s", sender_ident);
1616
1617 if (is_inetd)
1618   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
1619
1620 if (LOGGING(incoming_interface) && interface_address != NULL)
1621   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
1622     interface_address, interface_port);
1623
1624 return string_sprintf("SMTP connection from %s", hostname);
1625 }
1626
1627
1628
1629 #ifdef SUPPORT_TLS
1630 /* Append TLS-related information to a log line
1631
1632 Arguments:
1633   s             String under construction: allocated string to extend, or NULL
1634   sizep         Pointer to current allocation size (update on return), or NULL
1635   ptrp          Pointer to index for new entries in string (update on return), or NULL
1636
1637 Returns:        Allocated string or NULL
1638 */
1639 static uschar *
1640 s_tlslog(uschar * s, int * sizep, int * ptrp)
1641 {
1642   int size = sizep ? *sizep : 0;
1643   int ptr = ptrp ? *ptrp : 0;
1644
1645   if (LOGGING(tls_cipher) && tls_in.cipher != NULL)
1646     s = string_append(s, &size, &ptr, 2, US" X=", tls_in.cipher);
1647   if (LOGGING(tls_certificate_verified) && tls_in.cipher != NULL)
1648     s = string_append(s, &size, &ptr, 2, US" CV=",
1649       tls_in.certificate_verified? "yes":"no");
1650   if (LOGGING(tls_peerdn) && tls_in.peerdn != NULL)
1651     s = string_append(s, &size, &ptr, 3, US" DN=\"",
1652       string_printing(tls_in.peerdn), US"\"");
1653   if (LOGGING(tls_sni) && tls_in.sni != NULL)
1654     s = string_append(s, &size, &ptr, 3, US" SNI=\"",
1655       string_printing(tls_in.sni), US"\"");
1656
1657   if (s)
1658     {
1659     s[ptr] = '\0';
1660     if (sizep) *sizep = size;
1661     if (ptrp) *ptrp = ptr;
1662     }
1663   return s;
1664 }
1665 #endif
1666
1667 /*************************************************
1668 *      Log lack of MAIL if so configured         *
1669 *************************************************/
1670
1671 /* This function is called when an SMTP session ends. If the log selector
1672 smtp_no_mail is set, write a log line giving some details of what has happened
1673 in the SMTP session.
1674
1675 Arguments:   none
1676 Returns:     nothing
1677 */
1678
1679 void
1680 smtp_log_no_mail(void)
1681 {
1682 int size, ptr, i;
1683 uschar *s, *sep;
1684
1685 if (smtp_mailcmd_count > 0 || !LOGGING(smtp_no_mail))
1686   return;
1687
1688 s = NULL;
1689 size = ptr = 0;
1690
1691 if (sender_host_authenticated != NULL)
1692   {
1693   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
1694   if (authenticated_id != NULL)
1695     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
1696   }
1697
1698 #ifdef SUPPORT_TLS
1699 s = s_tlslog(s, &size, &ptr);
1700 #endif
1701
1702 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
1703   US" C=..." : US" C=";
1704 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
1705   {
1706   if (smtp_connection_had[i] != SCH_NONE)
1707     {
1708     s = string_append(s, &size, &ptr, 2, sep,
1709       smtp_names[smtp_connection_had[i]]);
1710     sep = US",";
1711     }
1712   }
1713
1714 for (i = 0; i < smtp_ch_index; i++)
1715   {
1716   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
1717   sep = US",";
1718   }
1719
1720 if (s != NULL) s[ptr] = 0; else s = US"";
1721 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
1722   host_and_ident(FALSE),
1723   readconf_printtime( (int) ((long)time(NULL) - (long)smtp_connection_start)),
1724   s);
1725 }
1726
1727
1728
1729 /*************************************************
1730 *   Check HELO line and set sender_helo_name     *
1731 *************************************************/
1732
1733 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
1734 the domain name of the sending host, or an ip literal in square brackets. The
1735 argument is placed in sender_helo_name, which is in malloc store, because it
1736 must persist over multiple incoming messages. If helo_accept_junk is set, this
1737 host is permitted to send any old junk (needed for some broken hosts).
1738 Otherwise, helo_allow_chars can be used for rogue characters in general
1739 (typically people want to let in underscores).
1740
1741 Argument:
1742   s       the data portion of the line (already past any white space)
1743
1744 Returns:  TRUE or FALSE
1745 */
1746
1747 static BOOL
1748 check_helo(uschar *s)
1749 {
1750 uschar *start = s;
1751 uschar *end = s + Ustrlen(s);
1752 BOOL yield = helo_accept_junk;
1753
1754 /* Discard any previous helo name */
1755
1756 if (sender_helo_name != NULL)
1757   {
1758   store_free(sender_helo_name);
1759   sender_helo_name = NULL;
1760   }
1761
1762 /* Skip tests if junk is permitted. */
1763
1764 if (!yield)
1765   {
1766   /* Allow the new standard form for IPv6 address literals, namely,
1767   [IPv6:....], and because someone is bound to use it, allow an equivalent
1768   IPv4 form. Allow plain addresses as well. */
1769
1770   if (*s == '[')
1771     {
1772     if (end[-1] == ']')
1773       {
1774       end[-1] = 0;
1775       if (strncmpic(s, US"[IPv6:", 6) == 0)
1776         yield = (string_is_ip_address(s+6, NULL) == 6);
1777       else if (strncmpic(s, US"[IPv4:", 6) == 0)
1778         yield = (string_is_ip_address(s+6, NULL) == 4);
1779       else
1780         yield = (string_is_ip_address(s+1, NULL) != 0);
1781       end[-1] = ']';
1782       }
1783     }
1784
1785   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
1786   that have been configured (usually underscore - sigh). */
1787
1788   else if (*s != 0)
1789     {
1790     yield = TRUE;
1791     while (*s != 0)
1792       {
1793       if (!isalnum(*s) && *s != '.' && *s != '-' &&
1794           Ustrchr(helo_allow_chars, *s) == NULL)
1795         {
1796         yield = FALSE;
1797         break;
1798         }
1799       s++;
1800       }
1801     }
1802   }
1803
1804 /* Save argument if OK */
1805
1806 if (yield) sender_helo_name = string_copy_malloc(start);
1807 return yield;
1808 }
1809
1810
1811
1812
1813
1814 /*************************************************
1815 *         Extract SMTP command option            *
1816 *************************************************/
1817
1818 /* This function picks the next option setting off the end of smtp_cmd_data. It
1819 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
1820 things that can appear there.
1821
1822 Arguments:
1823    name           point this at the name
1824    value          point this at the data string
1825
1826 Returns:          TRUE if found an option
1827 */
1828
1829 static BOOL
1830 extract_option(uschar **name, uschar **value)
1831 {
1832 uschar *n;
1833 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
1834 while (isspace(*v)) v--;
1835 v[1] = 0;
1836 while (v > smtp_cmd_data && *v != '=' && !isspace(*v))
1837   {
1838   /* Take care to not stop at a space embedded in a quoted local-part */
1839
1840   if (*v == '"') do v--; while (*v != '"' && v > smtp_cmd_data+1);
1841   v--;
1842   }
1843
1844 n = v;
1845 if (*v == '=')
1846 {
1847   while(isalpha(n[-1])) n--;
1848   /* RFC says SP, but TAB seen in wild and other major MTAs accept it */
1849   if (!isspace(n[-1])) return FALSE;
1850   n[-1] = 0;
1851 }
1852 else
1853 {
1854   n++;
1855   if (v == smtp_cmd_data) return FALSE;
1856 }
1857 *v++ = 0;
1858 *name = n;
1859 *value = v;
1860 return TRUE;
1861 }
1862
1863
1864
1865
1866
1867 /*************************************************
1868 *         Reset for new message                  *
1869 *************************************************/
1870
1871 /* This function is called whenever the SMTP session is reset from
1872 within either of the setup functions.
1873
1874 Argument:   the stacking pool storage reset point
1875 Returns:    nothing
1876 */
1877
1878 static void
1879 smtp_reset(void *reset_point)
1880 {
1881 recipients_list = NULL;
1882 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1883   raw_recipients_count = recipients_count = recipients_list_max = 0;
1884 cancel_cutthrough_connection("smtp reset");
1885 message_linecount = 0;
1886 message_size = -1;
1887 acl_added_headers = NULL;
1888 acl_removed_headers = NULL;
1889 queue_only_policy = FALSE;
1890 rcpt_smtp_response = NULL;
1891 rcpt_smtp_response_same = TRUE;
1892 rcpt_in_progress = FALSE;
1893 deliver_freeze = FALSE;                              /* Can be set by ACL */
1894 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1895 fake_response = OK;                                  /* Can be set by ACL */
1896 #ifdef WITH_CONTENT_SCAN
1897 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1898 #endif
1899 submission_mode = FALSE;                             /* Can be set by ACL */
1900 suppress_local_fixups = suppress_local_fixups_default; /* Can be set by ACL */
1901 active_local_from_check = local_from_check;          /* Can be set by ACL */
1902 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1903 sending_ip_address = NULL;
1904 return_path = sender_address = NULL;
1905 sender_data = NULL;                                  /* Can be set by ACL */
1906 deliver_localpart_orig = NULL;
1907 deliver_domain_orig = NULL;
1908 callout_address = NULL;
1909 submission_name = NULL;                              /* Can be set by ACL */
1910 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1911 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1912 sender_verified_list = NULL;        /* No senders verified */
1913 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1914 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1915
1916 authenticated_sender = NULL;
1917 #ifdef EXPERIMENTAL_BRIGHTMAIL
1918 bmi_run = 0;
1919 bmi_verdicts = NULL;
1920 #endif
1921 dnslist_domain = dnslist_matched = NULL;
1922 #ifndef DISABLE_DKIM
1923 dkim_signers = NULL;
1924 dkim_disable_verify = FALSE;
1925 dkim_collect_input = FALSE;
1926 #endif
1927 dsn_ret = 0;
1928 dsn_envid = NULL;
1929 deliver_host = deliver_host_address = NULL;     /* Can be set by ACL */
1930 #ifndef DISABLE_PRDR
1931 prdr_requested = FALSE;
1932 #endif
1933 #ifdef EXPERIMENTAL_SPF
1934 spf_header_comment = NULL;
1935 spf_received = NULL;
1936 spf_result = NULL;
1937 spf_smtp_comment = NULL;
1938 #endif
1939 #ifdef SUPPORT_I18N
1940 message_smtputf8 = FALSE;
1941 #endif
1942 body_linecount = body_zerocount = 0;
1943
1944 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1945 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1946                    /* Note that ratelimiters_conn persists across resets. */
1947
1948 /* Reset message ACL variables */
1949
1950 acl_var_m = NULL;
1951
1952 /* The message body variables use malloc store. They may be set if this is
1953 not the first message in an SMTP session and the previous message caused them
1954 to be referenced in an ACL. */
1955
1956 if (message_body)
1957   {
1958   store_free(message_body);
1959   message_body = NULL;
1960   }
1961
1962 if (message_body_end)
1963   {
1964   store_free(message_body_end);
1965   message_body_end = NULL;
1966   }
1967
1968 /* Warning log messages are also saved in malloc store. They are saved to avoid
1969 repetition in the same message, but it seems right to repeat them for different
1970 messages. */
1971
1972 while (acl_warn_logged)
1973   {
1974   string_item *this = acl_warn_logged;
1975   acl_warn_logged = acl_warn_logged->next;
1976   store_free(this);
1977   }
1978 store_reset(reset_point);
1979 }
1980
1981
1982
1983
1984
1985 /*************************************************
1986 *  Initialize for incoming batched SMTP message  *
1987 *************************************************/
1988
1989 /* This function is called from smtp_setup_msg() in the case when
1990 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1991 of messages in one file with SMTP commands between them. All errors must be
1992 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1993 relevant. After an error on a sender, or an invalid recipient, the remainder
1994 of the message is skipped. The value of received_protocol is already set.
1995
1996 Argument: none
1997 Returns:  > 0 message successfully started (reached DATA)
1998           = 0 QUIT read or end of file reached
1999           < 0 should not occur
2000 */
2001
2002 static int
2003 smtp_setup_batch_msg(void)
2004 {
2005 int done = 0;
2006 void *reset_point = store_get(0);
2007
2008 /* Save the line count at the start of each transaction - single commands
2009 like HELO and RSET count as whole transactions. */
2010
2011 bsmtp_transaction_linecount = receive_linecount;
2012
2013 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
2014
2015 smtp_reset(reset_point);                /* Reset for start of message */
2016
2017 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2018 value. The values are 2 larger than the required yield of the function. */
2019
2020 while (done <= 0)
2021   {
2022   uschar *errmess;
2023   uschar *recipient = NULL;
2024   int start, end, sender_domain, recipient_domain;
2025
2026   switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
2027     {
2028     /* The HELO/EHLO commands set sender_address_helo if they have
2029     valid data; otherwise they are ignored, except that they do
2030     a reset of the state. */
2031
2032     case HELO_CMD:
2033     case EHLO_CMD:
2034
2035     check_helo(smtp_cmd_data);
2036     /* Fall through */
2037
2038     case RSET_CMD:
2039     smtp_reset(reset_point);
2040     bsmtp_transaction_linecount = receive_linecount;
2041     break;
2042
2043
2044     /* The MAIL FROM command requires an address as an operand. All we
2045     do here is to parse it for syntactic correctness. The form "<>" is
2046     a special case which converts into an empty string. The start/end
2047     pointers in the original are not used further for this address, as
2048     it is the canonical extracted address which is all that is kept. */
2049
2050     case MAIL_CMD:
2051     smtp_mailcmd_count++;              /* Count for no-mail log */
2052     if (sender_address != NULL)
2053       /* The function moan_smtp_batch() does not return. */
2054       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
2055
2056     if (smtp_cmd_data[0] == 0)
2057       /* The function moan_smtp_batch() does not return. */
2058       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
2059
2060     /* Reset to start of message */
2061
2062     smtp_reset(reset_point);
2063
2064     /* Apply SMTP rewrite */
2065
2066     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2067       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
2068         US"", global_rewrite_rules) : smtp_cmd_data;
2069
2070     /* Extract the address; the TRUE flag allows <> as valid */
2071
2072     raw_sender =
2073       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2074         TRUE);
2075
2076     if (raw_sender == NULL)
2077       /* The function moan_smtp_batch() does not return. */
2078       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2079
2080     sender_address = string_copy(raw_sender);
2081
2082     /* Qualify unqualified sender addresses if permitted to do so. */
2083
2084     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
2085       {
2086       if (allow_unqualified_sender)
2087         {
2088         sender_address = rewrite_address_qualify(sender_address, FALSE);
2089         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
2090           "and rewritten\n", raw_sender);
2091         }
2092       /* The function moan_smtp_batch() does not return. */
2093       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
2094         "a domain");
2095       }
2096     break;
2097
2098
2099     /* The RCPT TO command requires an address as an operand. All we do
2100     here is to parse it for syntactic correctness. There may be any number
2101     of RCPT TO commands, specifying multiple senders. We build them all into
2102     a data structure that is in argc/argv format. The start/end values
2103     given by parse_extract_address are not used, as we keep only the
2104     extracted address. */
2105
2106     case RCPT_CMD:
2107     if (sender_address == NULL)
2108       /* The function moan_smtp_batch() does not return. */
2109       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
2110
2111     if (smtp_cmd_data[0] == 0)
2112       /* The function moan_smtp_batch() does not return. */
2113       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
2114
2115     /* Check maximum number allowed */
2116
2117     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
2118       /* The function moan_smtp_batch() does not return. */
2119       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
2120         recipients_max_reject? "552": "452");
2121
2122     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
2123     recipient address */
2124
2125     recipient = rewrite_existflags & rewrite_smtp
2126       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
2127                     global_rewrite_rules)
2128       : smtp_cmd_data;
2129
2130     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2131       &recipient_domain, FALSE);
2132
2133     if (!recipient)
2134       /* The function moan_smtp_batch() does not return. */
2135       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
2136
2137     /* If the recipient address is unqualified, qualify it if permitted. Then
2138     add it to the list of recipients. */
2139
2140     if (recipient_domain == 0)
2141       {
2142       if (allow_unqualified_recipient)
2143         {
2144         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2145           recipient);
2146         recipient = rewrite_address_qualify(recipient, TRUE);
2147         }
2148       /* The function moan_smtp_batch() does not return. */
2149       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
2150         "a domain");
2151       }
2152     receive_add_recipient(recipient, -1);
2153     break;
2154
2155
2156     /* The DATA command is legal only if it follows successful MAIL FROM
2157     and RCPT TO commands. This function is complete when a valid DATA
2158     command is encountered. */
2159
2160     case DATA_CMD:
2161     if (sender_address == NULL || recipients_count <= 0)
2162       {
2163       /* The function moan_smtp_batch() does not return. */
2164       if (sender_address == NULL)
2165         moan_smtp_batch(smtp_cmd_buffer,
2166           "503 MAIL FROM:<sender> command must precede DATA");
2167       else
2168         moan_smtp_batch(smtp_cmd_buffer,
2169           "503 RCPT TO:<recipient> must precede DATA");
2170       }
2171     else
2172       {
2173       done = 3;                      /* DATA successfully achieved */
2174       message_ended = END_NOTENDED;  /* Indicate in middle of message */
2175       }
2176     break;
2177
2178
2179     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
2180
2181     case VRFY_CMD:
2182     case EXPN_CMD:
2183     case HELP_CMD:
2184     case NOOP_CMD:
2185     case ETRN_CMD:
2186     bsmtp_transaction_linecount = receive_linecount;
2187     break;
2188
2189
2190     case EOF_CMD:
2191     case QUIT_CMD:
2192     done = 2;
2193     break;
2194
2195
2196     case BADARG_CMD:
2197     /* The function moan_smtp_batch() does not return. */
2198     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
2199     break;
2200
2201
2202     case BADCHAR_CMD:
2203     /* The function moan_smtp_batch() does not return. */
2204     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
2205     break;
2206
2207
2208     default:
2209     /* The function moan_smtp_batch() does not return. */
2210     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
2211     break;
2212     }
2213   }
2214
2215 return done - 2;  /* Convert yield values */
2216 }
2217
2218
2219
2220
2221 /*************************************************
2222 *          Start an SMTP session                 *
2223 *************************************************/
2224
2225 /* This function is called at the start of an SMTP session. Thereafter,
2226 smtp_setup_msg() is called to initiate each separate message. This
2227 function does host-specific testing, and outputs the banner line.
2228
2229 Arguments:     none
2230 Returns:       FALSE if the session can not continue; something has
2231                gone wrong, or the connection to the host is blocked
2232 */
2233
2234 BOOL
2235 smtp_start_session(void)
2236 {
2237 int size = 256;
2238 int ptr, esclen;
2239 uschar *user_msg, *log_msg;
2240 uschar *code, *esc;
2241 uschar *p, *s, *ss;
2242
2243 smtp_connection_start = time(NULL);
2244 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
2245   smtp_connection_had[smtp_ch_index] = SCH_NONE;
2246 smtp_ch_index = 0;
2247
2248 /* Default values for certain variables */
2249
2250 helo_seen = esmtp = helo_accept_junk = FALSE;
2251 smtp_mailcmd_count = 0;
2252 count_nonmail = TRUE_UNSET;
2253 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
2254 smtp_delay_mail = smtp_rlm_base;
2255 auth_advertised = FALSE;
2256 pipelining_advertised = FALSE;
2257 pipelining_enable = TRUE;
2258 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
2259 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
2260
2261 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
2262 authentication settings from -oMaa to remain in force. */
2263
2264 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
2265 authenticated_by = NULL;
2266
2267 #ifdef SUPPORT_TLS
2268 tls_in.cipher = tls_in.peerdn = NULL;
2269 tls_in.ourcert = tls_in.peercert = NULL;
2270 tls_in.sni = NULL;
2271 tls_in.ocsp = OCSP_NOT_REQ;
2272 tls_advertised = FALSE;
2273 #endif
2274 dsn_advertised = FALSE;
2275 #ifdef SUPPORT_I18N
2276 smtputf8_advertised = FALSE;
2277 #endif
2278
2279 /* Reset ACL connection variables */
2280
2281 acl_var_c = NULL;
2282
2283 /* Allow for trailing 0 in the command and data buffers. */
2284
2285 if (!(smtp_cmd_buffer = US malloc(2*SMTP_CMD_BUFFER_SIZE + 2)))
2286   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
2287     "malloc() failed for SMTP command buffer");
2288
2289 smtp_cmd_buffer[0] = 0;
2290 smtp_data_buffer = smtp_cmd_buffer + SMTP_CMD_BUFFER_SIZE + 1;
2291
2292 /* For batched input, the protocol setting can be overridden from the
2293 command line by a trusted caller. */
2294
2295 if (smtp_batched_input)
2296   {
2297   if (!received_protocol) received_protocol = US"local-bsmtp";
2298   }
2299
2300 /* For non-batched SMTP input, the protocol setting is forced here. It will be
2301 reset later if any of EHLO/AUTH/STARTTLS are received. */
2302
2303 else
2304   received_protocol =
2305     (sender_host_address ? protocols : protocols_local) [pnormal];
2306
2307 /* Set up the buffer for inputting using direct read() calls, and arrange to
2308 call the local functions instead of the standard C ones. */
2309
2310 if (!(smtp_inbuffer = (uschar *)malloc(IN_BUFFER_SIZE)))
2311   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
2312
2313 receive_getc = smtp_getc;
2314 receive_get_cache = smtp_get_cache;
2315 receive_ungetc = smtp_ungetc;
2316 receive_feof = smtp_feof;
2317 receive_ferror = smtp_ferror;
2318 receive_smtp_buffered = smtp_buffered;
2319 smtp_inptr = smtp_inend = smtp_inbuffer;
2320 smtp_had_eof = smtp_had_error = 0;
2321
2322 /* Set up the message size limit; this may be host-specific */
2323
2324 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
2325 if (expand_string_message != NULL)
2326   {
2327   if (thismessage_size_limit == -1)
2328     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
2329       "%s", expand_string_message);
2330   else
2331     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
2332       "%s", expand_string_message);
2333   smtp_closedown(US"Temporary local problem - please try later");
2334   return FALSE;
2335   }
2336
2337 /* When a message is input locally via the -bs or -bS options, sender_host_
2338 unknown is set unless -oMa was used to force an IP address, in which case it
2339 is checked like a real remote connection. When -bs is used from inetd, this
2340 flag is not set, causing the sending host to be checked. The code that deals
2341 with IP source routing (if configured) is never required for -bs or -bS and
2342 the flag sender_host_notsocket is used to suppress it.
2343
2344 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
2345 reserve for certain hosts and/or networks. */
2346
2347 if (!sender_host_unknown)
2348   {
2349   int rc;
2350   BOOL reserved_host = FALSE;
2351
2352   /* Look up IP options (source routing info) on the socket if this is not an
2353   -oMa "host", and if any are found, log them and drop the connection.
2354
2355   Linux (and others now, see below) is different to everyone else, so there
2356   has to be some conditional compilation here. Versions of Linux before 2.1.15
2357   used a structure whose name was "options". Somebody finally realized that
2358   this name was silly, and it got changed to "ip_options". I use the
2359   newer name here, but there is a fudge in the script that sets up os.h
2360   to define a macro in older Linux systems.
2361
2362   Sigh. Linux is a fast-moving target. Another generation of Linux uses
2363   glibc 2, which has chosen ip_opts for the structure name. This is now
2364   really a glibc thing rather than a Linux thing, so the condition name
2365   has been changed to reflect this. It is relevant also to GNU/Hurd.
2366
2367   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
2368   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
2369   a special macro defined in the os.h file.
2370
2371   Some DGUX versions on older hardware appear not to support IP options at
2372   all, so there is now a general macro which can be set to cut out this
2373   support altogether.
2374
2375   How to do this properly in IPv6 is not yet known. */
2376
2377   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
2378
2379   #ifdef GLIBC_IP_OPTIONS
2380     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
2381     #define OPTSTYLE 1
2382     #else
2383     #define OPTSTYLE 2
2384     #endif
2385   #elif defined DARWIN_IP_OPTIONS
2386     #define OPTSTYLE 2
2387   #else
2388     #define OPTSTYLE 3
2389   #endif
2390
2391   if (!host_checking && !sender_host_notsocket)
2392     {
2393     #if OPTSTYLE == 1
2394     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
2395     struct ip_options *ipopt = store_get(optlen);
2396     #elif OPTSTYLE == 2
2397     struct ip_opts ipoptblock;
2398     struct ip_opts *ipopt = &ipoptblock;
2399     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2400     #else
2401     struct ipoption ipoptblock;
2402     struct ipoption *ipopt = &ipoptblock;
2403     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
2404     #endif
2405
2406     /* Occasional genuine failures of getsockopt() have been seen - for
2407     example, "reset by peer". Therefore, just log and give up on this
2408     call, unless the error is ENOPROTOOPT. This error is given by systems
2409     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
2410     of writing. So for that error, carry on - we just can't do an IP options
2411     check. */
2412
2413     DEBUG(D_receive) debug_printf("checking for IP options\n");
2414
2415     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
2416           &optlen) < 0)
2417       {
2418       if (errno != ENOPROTOOPT)
2419         {
2420         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
2421           host_and_ident(FALSE), strerror(errno));
2422         smtp_printf("451 SMTP service not available\r\n");
2423         return FALSE;
2424         }
2425       }
2426
2427     /* Deal with any IP options that are set. On the systems I have looked at,
2428     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
2429     more logging data than will fit in big_buffer. Nevertheless, after somebody
2430     questioned this code, I've added in some paranoid checking. */
2431
2432     else if (optlen > 0)
2433       {
2434       uschar *p = big_buffer;
2435       uschar *pend = big_buffer + big_buffer_size;
2436       uschar *opt, *adptr;
2437       int optcount;
2438       struct in_addr addr;
2439
2440       #if OPTSTYLE == 1
2441       uschar *optstart = (uschar *)(ipopt->__data);
2442       #elif OPTSTYLE == 2
2443       uschar *optstart = (uschar *)(ipopt->ip_opts);
2444       #else
2445       uschar *optstart = (uschar *)(ipopt->ipopt_list);
2446       #endif
2447
2448       DEBUG(D_receive) debug_printf("IP options exist\n");
2449
2450       Ustrcpy(p, "IP options on incoming call:");
2451       p += Ustrlen(p);
2452
2453       for (opt = optstart; opt != NULL &&
2454            opt < (uschar *)(ipopt) + optlen;)
2455         {
2456         switch (*opt)
2457           {
2458           case IPOPT_EOL:
2459           opt = NULL;
2460           break;
2461
2462           case IPOPT_NOP:
2463           opt++;
2464           break;
2465
2466           case IPOPT_SSRR:
2467           case IPOPT_LSRR:
2468           if (!string_format(p, pend-p, " %s [@%s",
2469                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
2470                #if OPTSTYLE == 1
2471                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
2472                #elif OPTSTYLE == 2
2473                inet_ntoa(ipopt->ip_dst)))
2474                #else
2475                inet_ntoa(ipopt->ipopt_dst)))
2476                #endif
2477             {
2478             opt = NULL;
2479             break;
2480             }
2481
2482           p += Ustrlen(p);
2483           optcount = (opt[1] - 3) / sizeof(struct in_addr);
2484           adptr = opt + 3;
2485           while (optcount-- > 0)
2486             {
2487             memcpy(&addr, adptr, sizeof(addr));
2488             if (!string_format(p, pend - p - 1, "%s%s",
2489                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
2490               {
2491               opt = NULL;
2492               break;
2493               }
2494             p += Ustrlen(p);
2495             adptr += sizeof(struct in_addr);
2496             }
2497           *p++ = ']';
2498           opt += opt[1];
2499           break;
2500
2501           default:
2502             {
2503             int i;
2504             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
2505             Ustrcat(p, "[ ");
2506             p += 2;
2507             for (i = 0; i < opt[1]; i++)
2508               {
2509               sprintf(CS p, "%2.2x ", opt[i]);
2510               p += 3;
2511               }
2512             *p++ = ']';
2513             }
2514           opt += opt[1];
2515           break;
2516           }
2517         }
2518
2519       *p = 0;
2520       log_write(0, LOG_MAIN, "%s", big_buffer);
2521
2522       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
2523
2524       log_write(0, LOG_MAIN|LOG_REJECT,
2525         "connection from %s refused (IP options)", host_and_ident(FALSE));
2526
2527       smtp_printf("554 SMTP service not available\r\n");
2528       return FALSE;
2529       }
2530
2531     /* Length of options = 0 => there are no options */
2532
2533     else DEBUG(D_receive) debug_printf("no IP options found\n");
2534     }
2535   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
2536
2537   /* Set keep-alive in socket options. The option is on by default. This
2538   setting is an attempt to get rid of some hanging connections that stick in
2539   read() when the remote end (usually a dialup) goes away. */
2540
2541   if (smtp_accept_keepalive && !sender_host_notsocket)
2542     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
2543
2544   /* If the current host matches host_lookup, set the name by doing a
2545   reverse lookup. On failure, sender_host_name will be NULL and
2546   host_lookup_failed will be TRUE. This may or may not be serious - optional
2547   checks later. */
2548
2549   if (verify_check_host(&host_lookup) == OK)
2550     {
2551     (void)host_name_lookup();
2552     host_build_sender_fullhost();
2553     }
2554
2555   /* Delay this until we have the full name, if it is looked up. */
2556
2557   set_process_info("handling incoming connection from %s",
2558     host_and_ident(FALSE));
2559
2560   /* Expand smtp_receive_timeout, if needed */
2561
2562   if (smtp_receive_timeout_s)
2563     {
2564     uschar * exp;
2565     if (  !(exp = expand_string(smtp_receive_timeout_s))
2566        || !(*exp)
2567        || (smtp_receive_timeout = readconf_readtime(exp, 0, FALSE)) < 0
2568        )
2569       log_write(0, LOG_MAIN|LOG_PANIC,
2570         "bad value for smtp_receive_timeout: '%s'", exp ? exp : US"");
2571     }
2572
2573   /* Test for explicit connection rejection */
2574
2575   if (verify_check_host(&host_reject_connection) == OK)
2576     {
2577     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
2578       "from %s (host_reject_connection)", host_and_ident(FALSE));
2579     smtp_printf("554 SMTP service not available\r\n");
2580     return FALSE;
2581     }
2582
2583   /* Test with TCP Wrappers if so configured. There is a problem in that
2584   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
2585   such as disks dying. In these cases, it is desirable to reject with a 4xx
2586   error instead of a 5xx error. There isn't a "right" way to detect such
2587   problems. The following kludge is used: errno is zeroed before calling
2588   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
2589   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
2590   not exist). */
2591
2592 #ifdef USE_TCP_WRAPPERS
2593   errno = 0;
2594   if (!(tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name)))
2595     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
2596       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
2597         expand_string_message);
2598
2599   if (!hosts_ctl(tcp_wrappers_name,
2600          sender_host_name ? CS sender_host_name : STRING_UNKNOWN,
2601          sender_host_address ? CS sender_host_address : STRING_UNKNOWN,
2602          sender_ident ? CS sender_ident : STRING_UNKNOWN))
2603     {
2604     if (errno == 0 || errno == ENOENT)
2605       {
2606       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
2607       log_write(L_connection_reject,
2608                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
2609                 "(tcp wrappers)", host_and_ident(FALSE));
2610       smtp_printf("554 SMTP service not available\r\n");
2611       }
2612     else
2613       {
2614       int save_errno = errno;
2615       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
2616         "errno value %d\n", save_errno);
2617       log_write(L_connection_reject,
2618                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
2619                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
2620       smtp_printf("451 Temporary local problem - please try later\r\n");
2621       }
2622     return FALSE;
2623     }
2624 #endif
2625
2626   /* Check for reserved slots. The value of smtp_accept_count has already been
2627   incremented to include this process. */
2628
2629   if (smtp_accept_max > 0 &&
2630       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
2631     {
2632     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
2633       {
2634       log_write(L_connection_reject,
2635         LOG_MAIN, "temporarily refused connection from %s: not in "
2636         "reserve list: connected=%d max=%d reserve=%d%s",
2637         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
2638         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
2639       smtp_printf("421 %s: Too many concurrent SMTP connections; "
2640         "please try again later\r\n", smtp_active_hostname);
2641       return FALSE;
2642       }
2643     reserved_host = TRUE;
2644     }
2645
2646   /* If a load level above which only messages from reserved hosts are
2647   accepted is set, check the load. For incoming calls via the daemon, the
2648   check is done in the superior process if there are no reserved hosts, to
2649   save a fork. In all cases, the load average will already be available
2650   in a global variable at this point. */
2651
2652   if (smtp_load_reserve >= 0 &&
2653        load_average > smtp_load_reserve &&
2654        !reserved_host &&
2655        verify_check_host(&smtp_reserve_hosts) != OK)
2656     {
2657     log_write(L_connection_reject,
2658       LOG_MAIN, "temporarily refused connection from %s: not in "
2659       "reserve list and load average = %.2f", host_and_ident(FALSE),
2660       (double)load_average/1000.0);
2661     smtp_printf("421 %s: Too much load; please try again later\r\n",
2662       smtp_active_hostname);
2663     return FALSE;
2664     }
2665
2666   /* Determine whether unqualified senders or recipients are permitted
2667   for this host. Unfortunately, we have to do this every time, in order to
2668   set the flags so that they can be inspected when considering qualifying
2669   addresses in the headers. For a site that permits no qualification, this
2670   won't take long, however. */
2671
2672   allow_unqualified_sender =
2673     verify_check_host(&sender_unqualified_hosts) == OK;
2674
2675   allow_unqualified_recipient =
2676     verify_check_host(&recipient_unqualified_hosts) == OK;
2677
2678   /* Determine whether HELO/EHLO is required for this host. The requirement
2679   can be hard or soft. */
2680
2681   helo_required = verify_check_host(&helo_verify_hosts) == OK;
2682   if (!helo_required)
2683     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
2684
2685   /* Determine whether this hosts is permitted to send syntactic junk
2686   after a HELO or EHLO command. */
2687
2688   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
2689   }
2690
2691 /* For batch SMTP input we are now done. */
2692
2693 if (smtp_batched_input) return TRUE;
2694
2695 /* If valid Proxy Protocol source is connecting, set up session.
2696  * Failure will not allow any SMTP function other than QUIT. */
2697
2698 #ifdef SUPPORT_PROXY
2699 proxy_session = FALSE;
2700 proxy_session_failed = FALSE;
2701 if (check_proxy_protocol_host())
2702   setup_proxy_protocol_host();
2703 #endif
2704
2705   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
2706   smtps port for use with older style SSL MTAs. */
2707
2708 #ifdef SUPPORT_TLS
2709   if (tls_in.on_connect && tls_server_start(tls_require_ciphers) != OK)
2710     return FALSE;
2711 #endif
2712
2713 /* Run the connect ACL if it exists */
2714
2715 user_msg = NULL;
2716 if (acl_smtp_connect)
2717   {
2718   int rc;
2719   if ((rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
2720                       &log_msg)) != OK)
2721     {
2722     (void) smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
2723     return FALSE;
2724     }
2725   }
2726
2727 /* Output the initial message for a two-way SMTP connection. It may contain
2728 newlines, which then cause a multi-line response to be given. */
2729
2730 code = US"220";   /* Default status code */
2731 esc = US"";       /* Default extended status code */
2732 esclen = 0;       /* Length of esc */
2733
2734 if (!user_msg)
2735   {
2736   if (!(s = expand_string(smtp_banner)))
2737     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
2738       "failed: %s", smtp_banner, expand_string_message);
2739   }
2740 else
2741   {
2742   int codelen = 3;
2743   s = user_msg;
2744   smtp_message_code(&code, &codelen, &s, NULL, TRUE);
2745   if (codelen > 4)
2746     {
2747     esc = code + 4;
2748     esclen = codelen - 4;
2749     }
2750   }
2751
2752 /* Remove any terminating newlines; might as well remove trailing space too */
2753
2754 p = s + Ustrlen(s);
2755 while (p > s && isspace(p[-1])) p--;
2756 *p = 0;
2757
2758 /* It seems that CC:Mail is braindead, and assumes that the greeting message
2759 is all contained in a single IP packet. The original code wrote out the
2760 greeting using several calls to fprint/fputc, and on busy servers this could
2761 cause it to be split over more than one packet - which caused CC:Mail to fall
2762 over when it got the second part of the greeting after sending its first
2763 command. Sigh. To try to avoid this, build the complete greeting message
2764 first, and output it in one fell swoop. This gives a better chance of it
2765 ending up as a single packet. */
2766
2767 ss = store_get(size);
2768 ptr = 0;
2769
2770 p = s;
2771 do       /* At least once, in case we have an empty string */
2772   {
2773   int len;
2774   uschar *linebreak = Ustrchr(p, '\n');
2775   ss = string_catn(ss, &size, &ptr, code, 3);
2776   if (linebreak == NULL)
2777     {
2778     len = Ustrlen(p);
2779     ss = string_catn(ss, &size, &ptr, US" ", 1);
2780     }
2781   else
2782     {
2783     len = linebreak - p;
2784     ss = string_catn(ss, &size, &ptr, US"-", 1);
2785     }
2786   ss = string_catn(ss, &size, &ptr, esc, esclen);
2787   ss = string_catn(ss, &size, &ptr, p, len);
2788   ss = string_catn(ss, &size, &ptr, US"\r\n", 2);
2789   p += len;
2790   if (linebreak != NULL) p++;
2791   }
2792 while (*p != 0);
2793
2794 ss[ptr] = 0;  /* string_cat leaves room for this */
2795
2796 /* Before we write the banner, check that there is no input pending, unless
2797 this synchronisation check is disabled. */
2798
2799 if (!check_sync())
2800   {
2801   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
2802     "synchronization error (input sent without waiting for greeting): "
2803     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
2804     string_printing(smtp_inptr));
2805   smtp_printf("554 SMTP synchronization error\r\n");
2806   return FALSE;
2807   }
2808
2809 /* Now output the banner */
2810
2811 smtp_printf("%s", ss);
2812 return TRUE;
2813 }
2814
2815
2816
2817
2818
2819 /*************************************************
2820 *     Handle SMTP syntax and protocol errors     *
2821 *************************************************/
2822
2823 /* Write to the log for SMTP syntax errors in incoming commands, if configured
2824 to do so. Then transmit the error response. The return value depends on the
2825 number of syntax and protocol errors in this SMTP session.
2826
2827 Arguments:
2828   type      error type, given as a log flag bit
2829   code      response code; <= 0 means don't send a response
2830   data      data to reflect in the response (can be NULL)
2831   errmess   the error message
2832
2833 Returns:    -1   limit of syntax/protocol errors NOT exceeded
2834             +1   limit of syntax/protocol errors IS exceeded
2835
2836 These values fit in with the values of the "done" variable in the main
2837 processing loop in smtp_setup_msg(). */
2838
2839 static int
2840 synprot_error(int type, int code, uschar *data, uschar *errmess)
2841 {
2842 int yield = -1;
2843
2844 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
2845   (type == L_smtp_syntax_error)? "syntax" : "protocol",
2846   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
2847
2848 if (++synprot_error_count > smtp_max_synprot_errors)
2849   {
2850   yield = 1;
2851   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2852     "syntax or protocol errors (last command was \"%s\")",
2853     host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
2854   }
2855
2856 if (code > 0)
2857   {
2858   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
2859     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
2860   if (yield == 1)
2861     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
2862   }
2863
2864 return yield;
2865 }
2866
2867
2868
2869
2870 /*************************************************
2871 *    Send SMTP response, possibly multiline      *
2872 *************************************************/
2873
2874 /* There are, it seems, broken clients out there that cannot handle multiline
2875 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2876 output nothing for non-final calls, and only the first line for anything else.
2877
2878 Arguments:
2879   code          SMTP code, may involve extended status codes
2880   codelen       length of smtp code; if > 4 there's an ESC
2881   final         FALSE if the last line isn't the final line
2882   msg           message text, possibly containing newlines
2883
2884 Returns:        nothing
2885 */
2886
2887 void
2888 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2889 {
2890 int esclen = 0;
2891 uschar *esc = US"";
2892
2893 if (!final && no_multiline_responses) return;
2894
2895 if (codelen > 4)
2896   {
2897   esc = code + 4;
2898   esclen = codelen - 4;
2899   }
2900
2901 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2902 have had the same. Note: this code is also present in smtp_printf(). It would
2903 be tidier to have it only in one place, but when it was added, it was easier to
2904 do it that way, so as not to have to mess with the code for the RCPT command,
2905 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2906
2907 if (rcpt_in_progress)
2908   {
2909   if (rcpt_smtp_response == NULL)
2910     rcpt_smtp_response = string_copy(msg);
2911   else if (rcpt_smtp_response_same &&
2912            Ustrcmp(rcpt_smtp_response, msg) != 0)
2913     rcpt_smtp_response_same = FALSE;
2914   rcpt_in_progress = FALSE;
2915   }
2916
2917 /* Not output the message, splitting it up into multiple lines if necessary. */
2918
2919 for (;;)
2920   {
2921   uschar *nl = Ustrchr(msg, '\n');
2922   if (nl == NULL)
2923     {
2924     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2925     return;
2926     }
2927   else if (nl[1] == 0 || no_multiline_responses)
2928     {
2929     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2930       (int)(nl - msg), msg);
2931     return;
2932     }
2933   else
2934     {
2935     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2936     msg = nl + 1;
2937     while (isspace(*msg)) msg++;
2938     }
2939   }
2940 }
2941
2942
2943
2944
2945 /*************************************************
2946 *            Parse user SMTP message             *
2947 *************************************************/
2948
2949 /* This function allows for user messages overriding the response code details
2950 by providing a suitable response code string at the start of the message
2951 user_msg. Check the message for starting with a response code and optionally an
2952 extended status code. If found, check that the first digit is valid, and if so,
2953 change the code pointer and length to use the replacement. An invalid code
2954 causes a panic log; in this case, if the log messages is the same as the user
2955 message, we must also adjust the value of the log message to show the code that
2956 is actually going to be used (the original one).
2957
2958 This function is global because it is called from receive.c as well as within
2959 this module.
2960
2961 Note that the code length returned includes the terminating whitespace
2962 character, which is always included in the regex match.
2963
2964 Arguments:
2965   code          SMTP code, may involve extended status codes
2966   codelen       length of smtp code; if > 4 there's an ESC
2967   msg           message text
2968   log_msg       optional log message, to be adjusted with the new SMTP code
2969   check_valid   if true, verify the response code
2970
2971 Returns:        nothing
2972 */
2973
2974 void
2975 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg,
2976   BOOL check_valid)
2977 {
2978 int n;
2979 int ovector[3];
2980
2981 if (!msg || !*msg) return;
2982
2983 if ((n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2984   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int))) < 0) return;
2985
2986 if (check_valid && (*msg)[0] != (*code)[0])
2987   {
2988   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2989     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2990   if (log_msg != NULL && *log_msg == *msg)
2991     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2992   }
2993 else
2994   {
2995   *code = *msg;
2996   *codelen = ovector[1];    /* Includes final space */
2997   }
2998 *msg += ovector[1];         /* Chop the code off the message */
2999 return;
3000 }
3001
3002
3003
3004
3005 /*************************************************
3006 *           Handle an ACL failure                *
3007 *************************************************/
3008
3009 /* This function is called when acl_check() fails. As well as calls from within
3010 this module, it is called from receive.c for an ACL after DATA. It sorts out
3011 logging the incident, and sets up the error response. A message containing
3012 newlines is turned into a multiline SMTP response, but for logging, only the
3013 first line is used.
3014
3015 There's a table of default permanent failure response codes to use in
3016 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
3017 defaults disabled in Exim. However, discussion in connection with RFC 821bis
3018 (aka RFC 2821) has concluded that the response should be 252 in the disabled
3019 state, because there are broken clients that try VRFY before RCPT. A 5xx
3020 response should be given only when the address is positively known to be
3021 undeliverable. Sigh. We return 252 if there is no VRFY ACL or it provides
3022 no explicit code, but if there is one we let it know best.
3023 Also, for ETRN, 458 is given on refusal, and for AUTH, 503.
3024
3025 From Exim 4.63, it is possible to override the response code details by
3026 providing a suitable response code string at the start of the message provided
3027 in user_msg. The code's first digit is checked for validity.
3028
3029 Arguments:
3030   where        where the ACL was called from
3031   rc           the failure code
3032   user_msg     a message that can be included in an SMTP response
3033   log_msg      a message for logging
3034
3035 Returns:     0 in most cases
3036              2 if the failure code was FAIL_DROP, in which case the
3037                SMTP connection should be dropped (this value fits with the
3038                "done" variable in smtp_setup_msg() below)
3039 */
3040
3041 int
3042 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
3043 {
3044 BOOL drop = rc == FAIL_DROP;
3045 int codelen = 3;
3046 uschar *smtp_code;
3047 uschar *lognl;
3048 uschar *sender_info = US"";
3049 uschar *what =
3050 #ifdef WITH_CONTENT_SCAN
3051   where == ACL_WHERE_MIME ? US"during MIME ACL checks" :
3052 #endif
3053   where == ACL_WHERE_PREDATA ? US"DATA" :
3054   where == ACL_WHERE_DATA ? US"after DATA" :
3055 #ifndef DISABLE_PRDR
3056   where == ACL_WHERE_PRDR ? US"after DATA PRDR" :
3057 #endif
3058   smtp_cmd_data ?
3059     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data) :
3060     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]);
3061
3062 if (drop) rc = FAIL;
3063
3064 /* Set the default SMTP code, and allow a user message to change it. */
3065
3066 smtp_code = rc == FAIL ? acl_wherecodes[where] : US"451";
3067 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg,
3068   where != ACL_WHERE_VRFY);
3069
3070 /* We used to have sender_address here; however, there was a bug that was not
3071 updating sender_address after a rewrite during a verify. When this bug was
3072 fixed, sender_address at this point became the rewritten address. I'm not sure
3073 this is what should be logged, so I've changed to logging the unrewritten
3074 address to retain backward compatibility. */
3075
3076 #ifndef WITH_CONTENT_SCAN
3077 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
3078 #else
3079 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
3080 #endif
3081   {
3082   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
3083     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
3084     sender_host_authenticated ? US" A="                                    : US"",
3085     sender_host_authenticated ? sender_host_authenticated                  : US"",
3086     sender_host_authenticated && authenticated_id ? US":"                  : US"",
3087     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
3088     );
3089   }
3090
3091 /* If there's been a sender verification failure with a specific message, and
3092 we have not sent a response about it yet, do so now, as a preliminary line for
3093 failures, but not defers. However, always log it for defer, and log it for fail
3094 unless the sender_verify_fail log selector has been turned off. */
3095
3096 if (sender_verified_failed &&
3097     !testflag(sender_verified_failed, af_sverify_told))
3098   {
3099   BOOL save_rcpt_in_progress = rcpt_in_progress;
3100   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
3101
3102   setflag(sender_verified_failed, af_sverify_told);
3103
3104   if (rc != FAIL || LOGGING(sender_verify_fail))
3105     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
3106       host_and_ident(TRUE),
3107       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
3108       sender_verified_failed->address,
3109       (sender_verified_failed->message == NULL)? US"" :
3110       string_sprintf(": %s", sender_verified_failed->message));
3111
3112   if (rc == FAIL && sender_verified_failed->user_message)
3113     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
3114         testflag(sender_verified_failed, af_verify_pmfail)?
3115           "Postmaster verification failed while checking <%s>\n%s\n"
3116           "Several RFCs state that you are required to have a postmaster\n"
3117           "mailbox for each mail domain. This host does not accept mail\n"
3118           "from domains whose servers reject the postmaster address."
3119           :
3120         testflag(sender_verified_failed, af_verify_nsfail)?
3121           "Callback setup failed while verifying <%s>\n%s\n"
3122           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
3123           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
3124           "RFC requirements, and stops you from receiving standard bounce\n"
3125           "messages. This host does not accept mail from domains whose servers\n"
3126           "refuse bounces."
3127           :
3128           "Verification failed for <%s>\n%s",
3129         sender_verified_failed->address,
3130         sender_verified_failed->user_message));
3131
3132   rcpt_in_progress = save_rcpt_in_progress;
3133   }
3134
3135 /* Sort out text for logging */
3136
3137 log_msg = log_msg ? string_sprintf(": %s", log_msg) : US"";
3138 if ((lognl = Ustrchr(log_msg, '\n'))) *lognl = 0;
3139
3140 /* Send permanent failure response to the command, but the code used isn't
3141 always a 5xx one - see comments at the start of this function. If the original
3142 rc was FAIL_DROP we drop the connection and yield 2. */
3143
3144 if (rc == FAIL)
3145   smtp_respond(smtp_code, codelen, TRUE,
3146     user_msg ? user_msg : US"Administrative prohibition");
3147
3148 /* Send temporary failure response to the command. Don't give any details,
3149 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
3150 verb, and for a header verify when smtp_return_error_details is set.
3151
3152 This conditional logic is all somewhat of a mess because of the odd
3153 interactions between temp_details and return_error_details. One day it should
3154 be re-implemented in a tidier fashion. */
3155
3156 else
3157   if (acl_temp_details && user_msg)
3158     {
3159     if (  smtp_return_error_details
3160        && sender_verified_failed
3161        && sender_verified_failed->message
3162        )
3163       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
3164
3165     smtp_respond(smtp_code, codelen, TRUE, user_msg);
3166     }
3167   else
3168     smtp_respond(smtp_code, codelen, TRUE,
3169       US"Temporary local problem - please try later");
3170
3171 /* Log the incident to the logs that are specified by log_reject_target
3172 (default main, reject). This can be empty to suppress logging of rejections. If
3173 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
3174 is closing if required and return 2.  */
3175
3176 if (log_reject_target != 0)
3177   {
3178 #ifdef SUPPORT_TLS
3179   uschar * tls = s_tlslog(NULL, NULL, NULL);
3180   if (!tls) tls = US"";
3181 #else
3182   uschar * tls = US"";
3183 #endif
3184   log_write(where == ACL_WHERE_CONNECT ? L_connection_reject : 0,
3185     log_reject_target, "%s%s%s %s%srejected %s%s",
3186     LOGGING(dnssec) && sender_host_dnssec ? US" DS" : US"",
3187     host_and_ident(TRUE),
3188     tls,
3189     sender_info,
3190     rc == FAIL ? US"" : US"temporarily ",
3191     what, log_msg);
3192   }
3193
3194 if (!drop) return 0;
3195
3196 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
3197   smtp_get_connection_info());
3198
3199 /* Run the not-quit ACL, but without any custom messages. This should not be a
3200 problem, because we get here only if some other ACL has issued "drop", and
3201 in that case, *its* custom messages will have been used above. */
3202
3203 smtp_notquit_exit(US"acl-drop", NULL, NULL);
3204 return 2;
3205 }
3206
3207
3208
3209
3210 /*************************************************
3211 *     Handle SMTP exit when QUIT is not given    *
3212 *************************************************/
3213
3214 /* This function provides a logging/statistics hook for when an SMTP connection
3215 is dropped on the floor or the other end goes away. It's a global function
3216 because it's called from receive.c as well as this module. As well as running
3217 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
3218 response, either with a custom message from the ACL, or using a default. There
3219 is one case, however, when no message is output - after "drop". In that case,
3220 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
3221 passed to this function.
3222
3223 In case things go wrong while processing this function, causing an error that
3224 may re-enter this function, there is a recursion check.
3225
3226 Arguments:
3227   reason          What $smtp_notquit_reason will be set to in the ACL;
3228                     if NULL, the ACL is not run
3229   code            The error code to return as part of the response
3230   defaultrespond  The default message if there's no user_msg
3231
3232 Returns:          Nothing
3233 */
3234
3235 void
3236 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
3237 {
3238 int rc;
3239 uschar *user_msg = NULL;
3240 uschar *log_msg = NULL;
3241
3242 /* Check for recursive acll */
3243
3244 if (smtp_exit_function_called)
3245   {
3246   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
3247     reason);
3248   return;
3249   }
3250 smtp_exit_function_called = TRUE;
3251
3252 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
3253
3254 if (acl_smtp_notquit && reason)
3255   {
3256   smtp_notquit_reason = reason;
3257   if ((rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
3258                       &log_msg)) == ERROR)
3259     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
3260       log_msg);
3261   }
3262
3263 /* Write an SMTP response if we are expected to give one. As the default
3264 responses are all internal, they should always fit in the buffer, but code a
3265 warning, just in case. Note that string_vformat() still leaves a complete
3266 string, even if it is incomplete. */
3267
3268 if (code && defaultrespond)
3269   {
3270   if (user_msg)
3271     smtp_respond(code, 3, TRUE, user_msg);
3272   else
3273     {
3274     uschar buffer[128];
3275     va_list ap;
3276     va_start(ap, defaultrespond);
3277     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
3278       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
3279     smtp_printf("%s %s\r\n", code, buffer);
3280     va_end(ap);
3281     }
3282   mac_smtp_fflush();
3283   }
3284 }
3285
3286
3287
3288
3289 /*************************************************
3290 *             Verify HELO argument               *
3291 *************************************************/
3292
3293 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
3294 matched. It is also called from ACL processing if verify = helo is used and
3295 verification was not previously tried (i.e. helo_try_verify_hosts was not
3296 matched). The result of its processing is to set helo_verified and
3297 helo_verify_failed. These variables should both be FALSE for this function to
3298 be called.
3299
3300 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
3301 for IPv6 ::ffff: literals.
3302
3303 Argument:   none
3304 Returns:    TRUE if testing was completed;
3305             FALSE on a temporary failure
3306 */
3307
3308 BOOL
3309 smtp_verify_helo(void)
3310 {
3311 BOOL yield = TRUE;
3312
3313 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
3314   sender_helo_name);
3315
3316 if (sender_helo_name == NULL)
3317   {
3318   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
3319   }
3320
3321 /* Deal with the case of -bs without an IP address */
3322
3323 else if (sender_host_address == NULL)
3324   {
3325   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
3326   helo_verified = TRUE;
3327   }
3328
3329 /* Deal with the more common case when there is a sending IP address */
3330
3331 else if (sender_helo_name[0] == '[')
3332   {
3333   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
3334     Ustrlen(sender_host_address)) == 0;
3335
3336   #if HAVE_IPV6
3337   if (!helo_verified)
3338     {
3339     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
3340       helo_verified = Ustrncmp(sender_helo_name + 1,
3341         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
3342     }
3343   #endif
3344
3345   HDEBUG(D_receive)
3346     { if (helo_verified) debug_printf("matched host address\n"); }
3347   }
3348
3349 /* Do a reverse lookup if one hasn't already given a positive or negative
3350 response. If that fails, or the name doesn't match, try checking with a forward
3351 lookup. */
3352
3353 else
3354   {
3355   if (sender_host_name == NULL && !host_lookup_failed)
3356     yield = host_name_lookup() != DEFER;
3357
3358   /* If a host name is known, check it and all its aliases. */
3359
3360   if (sender_host_name)
3361     if ((helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0))
3362       {
3363       sender_helo_dnssec = sender_host_dnssec;
3364       HDEBUG(D_receive) debug_printf("matched host name\n");
3365       }
3366     else
3367       {
3368       uschar **aliases = sender_host_aliases;
3369       while (*aliases)
3370         if ((helo_verified = strcmpic(*aliases++, sender_helo_name) == 0))
3371           {
3372           sender_helo_dnssec = sender_host_dnssec;
3373           break;
3374           }
3375
3376       HDEBUG(D_receive) if (helo_verified)
3377           debug_printf("matched alias %s\n", *(--aliases));
3378       }
3379
3380   /* Final attempt: try a forward lookup of the helo name */
3381
3382   if (!helo_verified)
3383     {
3384     int rc;
3385     host_item h;
3386     dnssec_domains d;
3387     host_item *hh;
3388
3389     h.name = sender_helo_name;
3390     h.address = NULL;
3391     h.mx = MX_NONE;
3392     h.next = NULL;
3393     d.request = US"*";
3394     d.require = US"";
3395
3396     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
3397       sender_helo_name);
3398     rc = host_find_bydns(&h, NULL, HOST_FIND_BY_A,
3399                           NULL, NULL, NULL, &d, NULL, NULL);
3400     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
3401       for (hh = &h; hh; hh = hh->next)
3402         if (Ustrcmp(hh->address, sender_host_address) == 0)
3403           {
3404           helo_verified = TRUE;
3405           if (h.dnssec == DS_YES) sender_helo_dnssec = TRUE;
3406           HDEBUG(D_receive)
3407             {
3408             debug_printf("IP address for %s matches calling address\n"
3409               "Forward DNS security status: %sverified\n",
3410               sender_helo_name, sender_helo_dnssec ? "" : "un");
3411             }
3412           break;
3413           }
3414     }
3415   }
3416
3417 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
3418 return yield;
3419 }
3420
3421
3422
3423
3424 /*************************************************
3425 *        Send user response message              *
3426 *************************************************/
3427
3428 /* This function is passed a default response code and a user message. It calls
3429 smtp_message_code() to check and possibly modify the response code, and then
3430 calls smtp_respond() to transmit the response. I put this into a function
3431 just to avoid a lot of repetition.
3432
3433 Arguments:
3434   code         the response code
3435   user_msg     the user message
3436
3437 Returns:       nothing
3438 */
3439
3440 static void
3441 smtp_user_msg(uschar *code, uschar *user_msg)
3442 {
3443 int len = 3;
3444 smtp_message_code(&code, &len, &user_msg, NULL, TRUE);
3445 smtp_respond(code, len, TRUE, user_msg);
3446 }
3447
3448
3449
3450 static int
3451 smtp_in_auth(auth_instance *au, uschar ** s, uschar ** ss)
3452 {
3453 const uschar *set_id = NULL;
3454 int rc, i;
3455
3456 /* Run the checking code, passing the remainder of the command line as
3457 data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
3458 it as the only set numerical variable. The authenticator may set $auth<n>
3459 and also set other numeric variables. The $auth<n> variables are preferred
3460 nowadays; the numerical variables remain for backwards compatibility.
3461
3462 Afterwards, have a go at expanding the set_id string, even if
3463 authentication failed - for bad passwords it can be useful to log the
3464 userid. On success, require set_id to expand and exist, and put it in
3465 authenticated_id. Save this in permanent store, as the working store gets
3466 reset at HELO, RSET, etc. */
3467
3468 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
3469 expand_nmax = 0;
3470 expand_nlength[0] = 0;   /* $0 contains nothing */
3471
3472 rc = (au->info->servercode)(au, smtp_cmd_data);
3473 if (au->set_id) set_id = expand_string(au->set_id);
3474 expand_nmax = -1;        /* Reset numeric variables */
3475 for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
3476
3477 /* The value of authenticated_id is stored in the spool file and printed in
3478 log lines. It must not contain binary zeros or newline characters. In
3479 normal use, it never will, but when playing around or testing, this error
3480 can (did) happen. To guard against this, ensure that the id contains only
3481 printing characters. */
3482
3483 if (set_id) set_id = string_printing(set_id);
3484
3485 /* For the non-OK cases, set up additional logging data if set_id
3486 is not empty. */
3487
3488 if (rc != OK)
3489   set_id = set_id && *set_id
3490     ? string_sprintf(" (set_id=%s)", set_id) : US"";
3491
3492 /* Switch on the result */
3493
3494 switch(rc)
3495   {
3496   case OK:
3497   if (!au->set_id || set_id)    /* Complete success */
3498     {
3499     if (set_id) authenticated_id = string_copy_malloc(set_id);
3500     sender_host_authenticated = au->name;
3501     authentication_failed = FALSE;
3502     authenticated_fail_id = NULL;   /* Impossible to already be set? */
3503
3504     received_protocol =
3505       (sender_host_address ? protocols : protocols_local)
3506         [pextend + pauthed + (tls_in.active >= 0 ? pcrpted:0)];
3507     *s = *ss = US"235 Authentication succeeded";
3508     authenticated_by = au;
3509     break;
3510     }
3511
3512   /* Authentication succeeded, but we failed to expand the set_id string.
3513   Treat this as a temporary error. */
3514
3515   auth_defer_msg = expand_string_message;
3516   /* Fall through */
3517
3518   case DEFER:
3519   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3520   *s = string_sprintf("435 Unable to authenticate at present%s",
3521     auth_defer_user_msg);
3522   *ss = string_sprintf("435 Unable to authenticate at present%s: %s",
3523     set_id, auth_defer_msg);
3524   break;
3525
3526   case BAD64:
3527   *s = *ss = US"501 Invalid base64 data";
3528   break;
3529
3530   case CANCELLED:
3531   *s = *ss = US"501 Authentication cancelled";
3532   break;
3533
3534   case UNEXPECTED:
3535   *s = *ss = US"553 Initial data not expected";
3536   break;
3537
3538   case FAIL:
3539   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3540   *s = US"535 Incorrect authentication data";
3541   *ss = string_sprintf("535 Incorrect authentication data%s", set_id);
3542   break;
3543
3544   default:
3545   if (set_id) authenticated_fail_id = string_copy_malloc(set_id);
3546   *s = US"435 Internal error";
3547   *ss = string_sprintf("435 Internal error%s: return %d from authentication "
3548     "check", set_id, rc);
3549   break;
3550   }
3551
3552 return rc;
3553 }
3554
3555
3556
3557
3558
3559 static int
3560 qualify_recipient(uschar ** recipient, uschar * smtp_cmd_data, uschar * tag)
3561 {
3562 int rd;
3563 if (allow_unqualified_recipient || strcmpic(*recipient, US"postmaster") == 0)
3564   {
3565   DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3566     *recipient);
3567   rd = Ustrlen(recipient) + 1;
3568   *recipient = rewrite_address_qualify(*recipient, TRUE);
3569   return rd;
3570   }
3571 smtp_printf("501 %s: recipient address must contain a domain\r\n",
3572   smtp_cmd_data);
3573 log_write(L_smtp_syntax_error,
3574   LOG_MAIN|LOG_REJECT, "unqualified %s rejected: <%s> %s%s",
3575   tag, *recipient, host_and_ident(TRUE), host_lookup_msg);
3576 return 0;
3577 }
3578
3579
3580
3581
3582 static void
3583 smtp_quit_handler(uschar ** user_msgp, uschar ** log_msgp)
3584 {
3585 HAD(SCH_QUIT);
3586 incomplete_transaction_log(US"QUIT");
3587 if (acl_smtp_quit)
3588   {
3589   int rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, user_msgp, log_msgp);
3590   if (rc == ERROR)
3591     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3592       *log_msgp);
3593   }
3594 if (*user_msgp)
3595   smtp_respond(US"221", 3, TRUE, *user_msgp);
3596 else
3597   smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3598
3599 #ifdef SUPPORT_TLS
3600 tls_close(TRUE, TRUE);
3601 #endif
3602
3603 log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3604   smtp_get_connection_info());
3605 }
3606
3607
3608 static void
3609 smtp_rset_handler(void)
3610 {
3611 HAD(SCH_RSET);
3612 incomplete_transaction_log(US"RSET");
3613 smtp_printf("250 Reset OK\r\n");
3614 cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3615 }
3616
3617
3618
3619 /*************************************************
3620 *       Initialize for SMTP incoming message     *
3621 *************************************************/
3622
3623 /* This function conducts the initial dialogue at the start of an incoming SMTP
3624 message, and builds a list of recipients. However, if the incoming message
3625 is part of a batch (-bS option) a separate function is called since it would
3626 be messy having tests splattered about all over this function. This function
3627 therefore handles the case where interaction is occurring. The input and output
3628 files are set up in smtp_in and smtp_out.
3629
3630 The global recipients_list is set to point to a vector of recipient_item
3631 blocks, whose number is given by recipients_count. This is extended by the
3632 receive_add_recipient() function. The global variable sender_address is set to
3633 the sender's address. The yield is +1 if a message has been successfully
3634 started, 0 if a QUIT command was encountered or the connection was refused from
3635 the particular host, or -1 if the connection was lost.
3636
3637 Argument: none
3638
3639 Returns:  > 0 message successfully started (reached DATA)
3640           = 0 QUIT read or end of file reached or call refused
3641           < 0 lost connection
3642 */
3643
3644 int
3645 smtp_setup_msg(void)
3646 {
3647 int done = 0;
3648 BOOL toomany = FALSE;
3649 BOOL discarded = FALSE;
3650 BOOL last_was_rej_mail = FALSE;
3651 BOOL last_was_rcpt = FALSE;
3652 void *reset_point = store_get(0);
3653
3654 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
3655
3656 /* Reset for start of new message. We allow one RSET not to be counted as a
3657 nonmail command, for those MTAs that insist on sending it between every
3658 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
3659 TLS between messages (an Exim client may do this if it has messages queued up
3660 for the host). Note: we do NOT reset AUTH at this point. */
3661
3662 smtp_reset(reset_point);
3663 message_ended = END_NOTSTARTED;
3664
3665 chunking_state = chunking_offered ? CHUNKING_OFFERED : CHUNKING_NOT_OFFERED;
3666
3667 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
3668 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
3669 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3670 #ifdef SUPPORT_TLS
3671 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
3672 cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
3673 #endif
3674
3675 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
3676
3677 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
3678
3679 /* Batched SMTP is handled in a different function. */
3680
3681 if (smtp_batched_input) return smtp_setup_batch_msg();
3682
3683 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
3684 value. The values are 2 larger than the required yield of the function. */
3685
3686 while (done <= 0)
3687   {
3688   const uschar **argv;
3689   uschar *etrn_command;
3690   uschar *etrn_serialize_key;
3691   uschar *errmess;
3692   uschar *log_msg, *smtp_code;
3693   uschar *user_msg = NULL;
3694   uschar *recipient = NULL;
3695   uschar *hello = NULL;
3696   uschar *s, *ss;
3697   BOOL was_rej_mail = FALSE;
3698   BOOL was_rcpt = FALSE;
3699   void (*oldsignal)(int);
3700   pid_t pid;
3701   int start, end, sender_domain, recipient_domain;
3702   int ptr, size, rc;
3703   int c;
3704   auth_instance *au;
3705   uschar *orcpt = NULL;
3706   int flags;
3707
3708 #ifdef AUTH_TLS
3709   /* Check once per STARTTLS or SSL-on-connect for a TLS AUTH */
3710   if (  tls_in.active >= 0
3711      && tls_in.peercert
3712      && tls_in.certificate_verified
3713      && cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd
3714      )
3715     {
3716     cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = FALSE;
3717     if (  acl_smtp_auth
3718        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3719                   &user_msg, &log_msg)) != OK
3720        )
3721       {
3722       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3723       continue;
3724       }
3725
3726     for (au = auths; au; au = au->next)
3727       if (strcmpic(US"tls", au->driver_name) == 0)
3728         {
3729         smtp_cmd_data = NULL;
3730
3731         if (smtp_in_auth(au, &s, &ss) == OK)
3732           { DEBUG(D_auth) debug_printf("tls auth succeeded\n"); }
3733         else
3734           { DEBUG(D_auth) debug_printf("tls auth not succeeded\n"); }
3735         break;
3736         }
3737     }
3738 #endif
3739
3740 #ifdef TCP_QUICKACK
3741   if (smtp_in)          /* Avoid pure-ACKs while in cmd pingpong phase */
3742     (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
3743             US &off, sizeof(off));
3744 #endif
3745
3746   switch(smtp_read_command(TRUE, GETC_BUFFER_UNLIMITED))
3747     {
3748     /* The AUTH command is not permitted to occur inside a transaction, and may
3749     occur successfully only once per connection. Actually, that isn't quite
3750     true. When TLS is started, all previous information about a connection must
3751     be discarded, so a new AUTH is permitted at that time.
3752
3753     AUTH may only be used when it has been advertised. However, it seems that
3754     there are clients that send AUTH when it hasn't been advertised, some of
3755     them even doing this after HELO. And there are MTAs that accept this. Sigh.
3756     So there's a get-out that allows this to happen.
3757
3758     AUTH is initially labelled as a "nonmail command" so that one occurrence
3759     doesn't get counted. We change the label here so that multiple failing
3760     AUTHS will eventually hit the nonmail threshold. */
3761
3762     case AUTH_CMD:
3763     HAD(SCH_AUTH);
3764     authentication_failed = TRUE;
3765     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
3766
3767     if (!auth_advertised && !allow_auth_unadvertised)
3768       {
3769       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3770         US"AUTH command used when not advertised");
3771       break;
3772       }
3773     if (sender_host_authenticated)
3774       {
3775       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3776         US"already authenticated");
3777       break;
3778       }
3779     if (sender_address)
3780       {
3781       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3782         US"not permitted in mail transaction");
3783       break;
3784       }
3785
3786     /* Check the ACL */
3787
3788     if (  acl_smtp_auth
3789        && (rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth,
3790                   &user_msg, &log_msg)) != OK
3791        )
3792       {
3793       done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
3794       break;
3795       }
3796
3797     /* Find the name of the requested authentication mechanism. */
3798
3799     s = smtp_cmd_data;
3800     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
3801       {
3802       if (!isalnum(c) && c != '-' && c != '_')
3803         {
3804         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3805           US"invalid character in authentication mechanism name");
3806         goto COMMAND_LOOP;
3807         }
3808       smtp_cmd_data++;
3809       }
3810
3811     /* If not at the end of the line, we must be at white space. Terminate the
3812     name and move the pointer on to any data that may be present. */
3813
3814     if (*smtp_cmd_data != 0)
3815       {
3816       *smtp_cmd_data++ = 0;
3817       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
3818       }
3819
3820     /* Search for an authentication mechanism which is configured for use
3821     as a server and which has been advertised (unless, sigh, allow_auth_
3822     unadvertised is set). */
3823
3824     for (au = auths; au; au = au->next)
3825       if (strcmpic(s, au->public_name) == 0 && au->server &&
3826           (au->advertised || allow_auth_unadvertised))
3827         break;
3828
3829     if (au)
3830       {
3831       c = smtp_in_auth(au, &s, &ss);
3832
3833       smtp_printf("%s\r\n", s);
3834       if (c != OK)
3835         log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
3836           au->name, host_and_ident(FALSE), ss);
3837       }
3838     else
3839       done = synprot_error(L_smtp_protocol_error, 504, NULL,
3840         string_sprintf("%s authentication mechanism not supported", s));
3841
3842     break;  /* AUTH_CMD */
3843
3844     /* The HELO/EHLO commands are permitted to appear in the middle of a
3845     session as well as at the beginning. They have the effect of a reset in
3846     addition to their other functions. Their absence at the start cannot be
3847     taken to be an error.
3848
3849     RFC 2821 says:
3850
3851       If the EHLO command is not acceptable to the SMTP server, 501, 500,
3852       or 502 failure replies MUST be returned as appropriate.  The SMTP
3853       server MUST stay in the same state after transmitting these replies
3854       that it was in before the EHLO was received.
3855
3856     Therefore, we do not do the reset until after checking the command for
3857     acceptability. This change was made for Exim release 4.11. Previously
3858     it did the reset first. */
3859
3860     case HELO_CMD:
3861     HAD(SCH_HELO);
3862     hello = US"HELO";
3863     esmtp = FALSE;
3864     goto HELO_EHLO;
3865
3866     case EHLO_CMD:
3867     HAD(SCH_EHLO);
3868     hello = US"EHLO";
3869     esmtp = TRUE;
3870
3871     HELO_EHLO:      /* Common code for HELO and EHLO */
3872     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
3873     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
3874
3875     /* Reject the HELO if its argument was invalid or non-existent. A
3876     successful check causes the argument to be saved in malloc store. */
3877
3878     if (!check_helo(smtp_cmd_data))
3879       {
3880       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
3881
3882       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
3883         "invalid argument(s): %s", hello, host_and_ident(FALSE),
3884         (*smtp_cmd_argument == 0)? US"(no argument given)" :
3885                            string_printing(smtp_cmd_argument));
3886
3887       if (++synprot_error_count > smtp_max_synprot_errors)
3888         {
3889         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3890           "syntax or protocol errors (last command was \"%s\")",
3891           host_and_ident(FALSE), string_printing(smtp_cmd_buffer));
3892         done = 1;
3893         }
3894
3895       break;
3896       }
3897
3898     /* If sender_host_unknown is true, we have got here via the -bs interface,
3899     not called from inetd. Otherwise, we are running an IP connection and the
3900     host address will be set. If the helo name is the primary name of this
3901     host and we haven't done a reverse lookup, force one now. If helo_required
3902     is set, ensure that the HELO name matches the actual host. If helo_verify
3903     is set, do the same check, but softly. */
3904
3905     if (!sender_host_unknown)
3906       {
3907       BOOL old_helo_verified = helo_verified;
3908       uschar *p = smtp_cmd_data;
3909
3910       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
3911       *p = 0;
3912
3913       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
3914       because otherwise the log can be confusing. */
3915
3916       if (sender_host_name == NULL &&
3917            (deliver_domain = sender_helo_name,  /* set $domain */
3918             match_isinlist(sender_helo_name, CUSS &helo_lookup_domains, 0,
3919               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
3920         (void)host_name_lookup();
3921
3922       /* Rebuild the fullhost info to include the HELO name (and the real name
3923       if it was looked up.) */
3924
3925       host_build_sender_fullhost();  /* Rebuild */
3926       set_process_info("handling%s incoming connection from %s",
3927         (tls_in.active >= 0)? " TLS" : "", host_and_ident(FALSE));
3928
3929       /* Verify if configured. This doesn't give much security, but it does
3930       make some people happy to be able to do it. If helo_required is set,
3931       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
3932       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
3933       now obsolescent, since the verification can now be requested selectively
3934       at ACL time. */
3935
3936       helo_verified = helo_verify_failed = sender_helo_dnssec = FALSE;
3937       if (helo_required || helo_verify)
3938         {
3939         BOOL tempfail = !smtp_verify_helo();
3940         if (!helo_verified)
3941           {
3942           if (helo_required)
3943             {
3944             smtp_printf("%d %s argument does not match calling host\r\n",
3945               tempfail? 451 : 550, hello);
3946             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
3947               tempfail? "temporarily " : "",
3948               hello, sender_helo_name, host_and_ident(FALSE));
3949             helo_verified = old_helo_verified;
3950             break;                   /* End of HELO/EHLO processing */
3951             }
3952           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
3953             "helo_try_verify_hosts\n", hello);
3954           }
3955         }
3956       }
3957
3958 #ifdef EXPERIMENTAL_SPF
3959     /* set up SPF context */
3960     spf_init(sender_helo_name, sender_host_address);
3961 #endif
3962
3963     /* Apply an ACL check if one is defined; afterwards, recheck
3964     synchronization in case the client started sending in a delay. */
3965
3966     if (acl_smtp_helo)
3967       if ((rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo,
3968                 &user_msg, &log_msg)) != OK)
3969         {
3970         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
3971         sender_helo_name = NULL;
3972         host_build_sender_fullhost();  /* Rebuild */
3973         break;
3974         }
3975       else if (!check_sync()) goto SYNC_FAILURE;
3976
3977     /* Generate an OK reply. The default string includes the ident if present,
3978     and also the IP address if present. Reflecting back the ident is intended
3979     as a deterrent to mail forgers. For maximum efficiency, and also because
3980     some broken systems expect each response to be in a single packet, arrange
3981     that the entire reply is sent in one write(). */
3982
3983     auth_advertised = FALSE;
3984     pipelining_advertised = FALSE;
3985 #ifdef SUPPORT_TLS
3986     tls_advertised = FALSE;
3987 #endif
3988     dsn_advertised = FALSE;
3989 #ifdef SUPPORT_I18N
3990     smtputf8_advertised = FALSE;
3991 #endif
3992
3993     smtp_code = US"250 ";        /* Default response code plus space*/
3994     if (user_msg == NULL)
3995       {
3996       s = string_sprintf("%.3s %s Hello %s%s%s",
3997         smtp_code,
3998         smtp_active_hostname,
3999         (sender_ident == NULL)?  US"" : sender_ident,
4000         (sender_ident == NULL)?  US"" : US" at ",
4001         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
4002
4003       ptr = Ustrlen(s);
4004       size = ptr + 1;
4005
4006       if (sender_host_address != NULL)
4007         {
4008         s = string_catn(s, &size, &ptr, US" [", 2);
4009         s = string_cat (s, &size, &ptr, sender_host_address);
4010         s = string_catn(s, &size, &ptr, US"]", 1);
4011         }
4012       }
4013
4014     /* A user-supplied EHLO greeting may not contain more than one line. Note
4015     that the code returned by smtp_message_code() includes the terminating
4016     whitespace character. */
4017
4018     else
4019       {
4020       char *ss;
4021       int codelen = 4;
4022       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL, TRUE);
4023       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
4024       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
4025         {
4026         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
4027           "newlines: message truncated: %s", string_printing(s));
4028         *ss = 0;
4029         }
4030       ptr = Ustrlen(s);
4031       size = ptr + 1;
4032       }
4033
4034     s = string_catn(s, &size, &ptr, US"\r\n", 2);
4035
4036     /* If we received EHLO, we must create a multiline response which includes
4037     the functions supported. */
4038
4039     if (esmtp)
4040       {
4041       s[3] = '-';
4042
4043       /* I'm not entirely happy with this, as an MTA is supposed to check
4044       that it has enough room to accept a message of maximum size before
4045       it sends this. However, there seems little point in not sending it.
4046       The actual size check happens later at MAIL FROM time. By postponing it
4047       till then, VRFY and EXPN can be used after EHLO when space is short. */
4048
4049       if (thismessage_size_limit > 0)
4050         {
4051         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
4052           thismessage_size_limit);
4053         s = string_cat(s, &size, &ptr, big_buffer);
4054         }
4055       else
4056         {
4057         s = string_catn(s, &size, &ptr, smtp_code, 3);
4058         s = string_catn(s, &size, &ptr, US"-SIZE\r\n", 7);
4059         }
4060
4061       /* Exim does not do protocol conversion or data conversion. It is 8-bit
4062       clean; if it has an 8-bit character in its hand, it just sends it. It
4063       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
4064       However, some users want this option simply in order to stop MUAs
4065       mangling messages that contain top-bit-set characters. It is therefore
4066       provided as an option. */
4067
4068       if (accept_8bitmime)
4069         {
4070         s = string_catn(s, &size, &ptr, smtp_code, 3);
4071         s = string_catn(s, &size, &ptr, US"-8BITMIME\r\n", 11);
4072         }
4073
4074       /* Advertise DSN support if configured to do so. */
4075       if (verify_check_host(&dsn_advertise_hosts) != FAIL)
4076         {
4077         s = string_catn(s, &size, &ptr, smtp_code, 3);
4078         s = string_catn(s, &size, &ptr, US"-DSN\r\n", 6);
4079         dsn_advertised = TRUE;
4080         }
4081
4082       /* Advertise ETRN/VRFY/EXPN if there's are ACL checking whether a host is
4083       permitted to issue them; a check is made when any host actually tries. */
4084
4085       if (acl_smtp_etrn)
4086         {
4087         s = string_catn(s, &size, &ptr, smtp_code, 3);
4088         s = string_catn(s, &size, &ptr, US"-ETRN\r\n", 7);
4089         }
4090       if (acl_smtp_vrfy)
4091         {
4092         s = string_catn(s, &size, &ptr, smtp_code, 3);
4093         s = string_catn(s, &size, &ptr, US"-VRFY\r\n", 7);
4094         }
4095       if (acl_smtp_expn)
4096         {
4097         s = string_catn(s, &size, &ptr, smtp_code, 3);
4098         s = string_catn(s, &size, &ptr, US"-EXPN\r\n", 7);
4099         }
4100
4101       /* Exim is quite happy with pipelining, so let the other end know that
4102       it is safe to use it, unless advertising is disabled. */
4103
4104       if (pipelining_enable &&
4105           verify_check_host(&pipelining_advertise_hosts) == OK)
4106         {
4107         s = string_catn(s, &size, &ptr, smtp_code, 3);
4108         s = string_catn(s, &size, &ptr, US"-PIPELINING\r\n", 13);
4109         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
4110         pipelining_advertised = TRUE;
4111         }
4112
4113
4114       /* If any server authentication mechanisms are configured, advertise
4115       them if the current host is in auth_advertise_hosts. The problem with
4116       advertising always is that some clients then require users to
4117       authenticate (and aren't configurable otherwise) even though it may not
4118       be necessary (e.g. if the host is in host_accept_relay).
4119
4120       RFC 2222 states that SASL mechanism names contain only upper case
4121       letters, so output the names in upper case, though we actually recognize
4122       them in either case in the AUTH command. */
4123
4124       if (  auths
4125 #ifdef AUTH_TLS
4126          && !sender_host_authenticated
4127 #endif
4128          && verify_check_host(&auth_advertise_hosts) == OK
4129          )
4130         {
4131         auth_instance *au;
4132         BOOL first = TRUE;
4133         for (au = auths; au; au = au->next)
4134           if (au->server && (au->advertise_condition == NULL ||
4135               expand_check_condition(au->advertise_condition, au->name,
4136               US"authenticator")))
4137             {
4138             int saveptr;
4139             if (first)
4140               {
4141               s = string_catn(s, &size, &ptr, smtp_code, 3);
4142               s = string_catn(s, &size, &ptr, US"-AUTH", 5);
4143               first = FALSE;
4144               auth_advertised = TRUE;
4145               }
4146             saveptr = ptr;
4147             s = string_catn(s, &size, &ptr, US" ", 1);
4148             s = string_cat (s, &size, &ptr, au->public_name);
4149             while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
4150             au->advertised = TRUE;
4151             }
4152           else
4153             au->advertised = FALSE;
4154
4155         if (!first) s = string_catn(s, &size, &ptr, US"\r\n", 2);
4156         }
4157
4158       /* RFC 3030 CHUNKING */
4159
4160       if (verify_check_host(&chunking_advertise_hosts) != FAIL)
4161         {
4162         s = string_catn(s, &size, &ptr, smtp_code, 3);
4163         s = string_catn(s, &size, &ptr, US"-CHUNKING\r\n", 11);
4164         chunking_offered = TRUE;
4165         chunking_state = CHUNKING_OFFERED;
4166         }
4167
4168       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
4169       if it has been included in the binary, and the host matches
4170       tls_advertise_hosts. We must *not* advertise if we are already in a
4171       secure connection. */
4172
4173 #ifdef SUPPORT_TLS
4174       if (tls_in.active < 0 &&
4175           verify_check_host(&tls_advertise_hosts) != FAIL)
4176         {
4177         s = string_catn(s, &size, &ptr, smtp_code, 3);
4178         s = string_catn(s, &size, &ptr, US"-STARTTLS\r\n", 11);
4179         tls_advertised = TRUE;
4180         }
4181 #endif
4182
4183 #ifndef DISABLE_PRDR
4184       /* Per Recipient Data Response, draft by Eric A. Hall extending RFC */
4185       if (prdr_enable)
4186         {
4187         s = string_catn(s, &size, &ptr, smtp_code, 3);
4188         s = string_catn(s, &size, &ptr, US"-PRDR\r\n", 7);
4189         }
4190 #endif
4191
4192 #ifdef SUPPORT_I18N
4193       if (  accept_8bitmime
4194          && verify_check_host(&smtputf8_advertise_hosts) != FAIL)
4195         {
4196         s = string_catn(s, &size, &ptr, smtp_code, 3);
4197         s = string_catn(s, &size, &ptr, US"-SMTPUTF8\r\n", 11);
4198         smtputf8_advertised = TRUE;
4199         }
4200 #endif
4201
4202       /* Finish off the multiline reply with one that is always available. */
4203
4204       s = string_catn(s, &size, &ptr, smtp_code, 3);
4205       s = string_catn(s, &size, &ptr, US" HELP\r\n", 7);
4206       }
4207
4208     /* Terminate the string (for debug), write it, and note that HELO/EHLO
4209     has been seen. */
4210
4211     s[ptr] = 0;
4212
4213 #ifdef SUPPORT_TLS
4214     if (tls_in.active >= 0) (void)tls_write(TRUE, s, ptr); else
4215 #endif
4216
4217       {
4218       int i = fwrite(s, 1, ptr, smtp_out); i = i; /* compiler quietening */
4219       }
4220     DEBUG(D_receive)
4221       {
4222       uschar *cr;
4223       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
4224         memmove(cr, cr + 1, (ptr--) - (cr - s));
4225       debug_printf("SMTP>> %s", s);
4226       }
4227     helo_seen = TRUE;
4228
4229     /* Reset the protocol and the state, abandoning any previous message. */
4230     received_protocol =
4231       (sender_host_address ? protocols : protocols_local)
4232         [ (esmtp
4233           ? pextend + (sender_host_authenticated ? pauthed : 0)
4234           : pnormal)
4235         + (tls_in.active >= 0 ? pcrpted : 0)
4236         ];
4237     smtp_reset(reset_point);
4238     toomany = FALSE;
4239     break;   /* HELO/EHLO */
4240
4241
4242     /* The MAIL command requires an address as an operand. All we do
4243     here is to parse it for syntactic correctness. The form "<>" is
4244     a special case which converts into an empty string. The start/end
4245     pointers in the original are not used further for this address, as
4246     it is the canonical extracted address which is all that is kept. */
4247
4248     case MAIL_CMD:
4249     HAD(SCH_MAIL);
4250     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
4251     was_rej_mail = TRUE;               /* Reset if accepted */
4252     env_mail_type_t * mail_args;       /* Sanity check & validate args */
4253
4254     if (helo_required && !helo_seen)
4255       {
4256       smtp_printf("503 HELO or EHLO required\r\n");
4257       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
4258         "HELO/EHLO given", host_and_ident(FALSE));
4259       break;
4260       }
4261
4262     if (sender_address != NULL)
4263       {
4264       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4265         US"sender already given");
4266       break;
4267       }
4268
4269     if (smtp_cmd_data[0] == 0)
4270       {
4271       done = synprot_error(L_smtp_protocol_error, 501, NULL,
4272         US"MAIL must have an address operand");
4273       break;
4274       }
4275
4276     /* Check to see if the limit for messages per connection would be
4277     exceeded by accepting further messages. */
4278
4279     if (smtp_accept_max_per_connection > 0 &&
4280         smtp_mailcmd_count > smtp_accept_max_per_connection)
4281       {
4282       smtp_printf("421 too many messages in this connection\r\n");
4283       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
4284         "messages in one connection", host_and_ident(TRUE));
4285       break;
4286       }
4287
4288     /* Reset for start of message - even if this is going to fail, we
4289     obviously need to throw away any previous data. */
4290
4291     smtp_reset(reset_point);
4292     toomany = FALSE;
4293     sender_data = recipient_data = NULL;
4294
4295     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
4296
4297     if (esmtp) for(;;)
4298       {
4299       uschar *name, *value, *end;
4300       unsigned long int size;
4301       BOOL arg_error = FALSE;
4302
4303       if (!extract_option(&name, &value)) break;
4304
4305       for (mail_args = env_mail_type_list;
4306            mail_args->value != ENV_MAIL_OPT_NULL;
4307            mail_args++
4308           )
4309         if (strcmpic(name, mail_args->name) == 0)
4310           break;
4311       if (mail_args->need_value && strcmpic(value, US"") == 0)
4312         break;
4313
4314       switch(mail_args->value)
4315         {
4316         /* Handle SIZE= by reading the value. We don't do the check till later,
4317         in order to be able to log the sender address on failure. */
4318         case ENV_MAIL_OPT_SIZE:
4319           if (((size = Ustrtoul(value, &end, 10)), *end == 0))
4320             {
4321             if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
4322               size = INT_MAX;
4323             message_size = (int)size;
4324             }
4325           else
4326             arg_error = TRUE;
4327           break;
4328
4329         /* If this session was initiated with EHLO and accept_8bitmime is set,
4330         Exim will have indicated that it supports the BODY=8BITMIME option. In
4331         fact, it does not support this according to the RFCs, in that it does not
4332         take any special action for forwarding messages containing 8-bit
4333         characters. That is why accept_8bitmime is not the default setting, but
4334         some sites want the action that is provided. We recognize both "8BITMIME"
4335         and "7BIT" as body types, but take no action. */
4336         case ENV_MAIL_OPT_BODY:
4337           if (accept_8bitmime) {
4338             if (strcmpic(value, US"8BITMIME") == 0)
4339               body_8bitmime = 8;
4340             else if (strcmpic(value, US"7BIT") == 0)
4341               body_8bitmime = 7;
4342             else
4343               {
4344               body_8bitmime = 0;
4345               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4346                 US"invalid data for BODY");
4347               goto COMMAND_LOOP;
4348               }
4349             DEBUG(D_receive) debug_printf("8BITMIME: %d\n", body_8bitmime);
4350             break;
4351           }
4352           arg_error = TRUE;
4353           break;
4354
4355         /* Handle the two DSN options, but only if configured to do so (which
4356         will have caused "DSN" to be given in the EHLO response). The code itself
4357         is included only if configured in at build time. */
4358
4359         case ENV_MAIL_OPT_RET:
4360           if (dsn_advertised)
4361             {
4362             /* Check if RET has already been set */
4363             if (dsn_ret > 0)
4364               {
4365               synprot_error(L_smtp_syntax_error, 501, NULL,
4366                 US"RET can be specified once only");
4367               goto COMMAND_LOOP;
4368               }
4369             dsn_ret = strcmpic(value, US"HDRS") == 0
4370               ? dsn_ret_hdrs
4371               : strcmpic(value, US"FULL") == 0
4372               ? dsn_ret_full
4373               : 0;
4374             DEBUG(D_receive) debug_printf("DSN_RET: %d\n", dsn_ret);
4375             /* Check for invalid invalid value, and exit with error */
4376             if (dsn_ret == 0)
4377               {
4378               synprot_error(L_smtp_syntax_error, 501, NULL,
4379                 US"Value for RET is invalid");
4380               goto COMMAND_LOOP;
4381               }
4382             }
4383           break;
4384         case ENV_MAIL_OPT_ENVID:
4385           if (dsn_advertised)
4386             {
4387             /* Check if the dsn envid has been already set */
4388             if (dsn_envid != NULL)
4389               {
4390               synprot_error(L_smtp_syntax_error, 501, NULL,
4391                 US"ENVID can be specified once only");
4392               goto COMMAND_LOOP;
4393               }
4394             dsn_envid = string_copy(value);
4395             DEBUG(D_receive) debug_printf("DSN_ENVID: %s\n", dsn_envid);
4396             }
4397           break;
4398
4399         /* Handle the AUTH extension. If the value given is not "<>" and either
4400         the ACL says "yes" or there is no ACL but the sending host is
4401         authenticated, we set it up as the authenticated sender. However, if the
4402         authenticator set a condition to be tested, we ignore AUTH on MAIL unless
4403         the condition is met. The value of AUTH is an xtext, which means that +,
4404         = and cntrl chars are coded in hex; however "<>" is unaffected by this
4405         coding. */
4406         case ENV_MAIL_OPT_AUTH:
4407           if (Ustrcmp(value, "<>") != 0)
4408             {
4409             int rc;
4410             uschar *ignore_msg;
4411
4412             if (auth_xtextdecode(value, &authenticated_sender) < 0)
4413               {
4414               /* Put back terminator overrides for error message */
4415               value[-1] = '=';
4416               name[-1] = ' ';
4417               done = synprot_error(L_smtp_syntax_error, 501, NULL,
4418                 US"invalid data for AUTH");
4419               goto COMMAND_LOOP;
4420               }
4421             if (acl_smtp_mailauth == NULL)
4422               {
4423               ignore_msg = US"client not authenticated";
4424               rc = (sender_host_authenticated != NULL)? OK : FAIL;
4425               }
4426             else
4427               {
4428               ignore_msg = US"rejected by ACL";
4429               rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
4430                 &user_msg, &log_msg);
4431               }
4432
4433             switch (rc)
4434               {
4435               case OK:
4436                 if (authenticated_by == NULL ||
4437                     authenticated_by->mail_auth_condition == NULL ||
4438                     expand_check_condition(authenticated_by->mail_auth_condition,
4439                         authenticated_by->name, US"authenticator"))
4440                   break;     /* Accept the AUTH */
4441
4442                 ignore_msg = US"server_mail_auth_condition failed";
4443                 if (authenticated_id != NULL)
4444                   ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
4445                     ignore_msg, authenticated_id);
4446
4447               /* Fall through */
4448
4449               case FAIL:
4450                 authenticated_sender = NULL;
4451                 log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
4452                   value, host_and_ident(TRUE), ignore_msg);
4453                 break;
4454
4455               /* Should only get DEFER or ERROR here. Put back terminator
4456               overrides for error message */
4457
4458               default:
4459                 value[-1] = '=';
4460                 name[-1] = ' ';
4461                 (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
4462                   log_msg);
4463                 goto COMMAND_LOOP;
4464               }
4465             }
4466             break;
4467
4468 #ifndef DISABLE_PRDR
4469         case ENV_MAIL_OPT_PRDR:
4470           if (prdr_enable)
4471             prdr_requested = TRUE;
4472           break;
4473 #endif
4474
4475 #ifdef SUPPORT_I18N
4476         case ENV_MAIL_OPT_UTF8:
4477           if (smtputf8_advertised)
4478             {
4479             int old_pool = store_pool;
4480
4481             DEBUG(D_receive) debug_printf("smtputf8 requested\n");
4482             message_smtputf8 = allow_utf8_domains = TRUE;
4483             store_pool = POOL_PERM;
4484             received_protocol = string_sprintf("utf8%s", received_protocol);
4485             store_pool = old_pool;
4486             }
4487           break;
4488 #endif
4489         /* No valid option. Stick back the terminator characters and break
4490         the loop.  Do the name-terminator second as extract_option sets
4491         value==name when it found no equal-sign.
4492         An error for a malformed address will occur. */
4493         case ENV_MAIL_OPT_NULL:
4494           value[-1] = '=';
4495           name[-1] = ' ';
4496           arg_error = TRUE;
4497           break;
4498
4499         default:  assert(0);
4500         }
4501       /* Break out of for loop if switch() had bad argument or
4502          when start of the email address is reached */
4503       if (arg_error) break;
4504       }
4505
4506     /* If we have passed the threshold for rate limiting, apply the current
4507     delay, and update it for next time, provided this is a limited host. */
4508
4509     if (smtp_mailcmd_count > smtp_rlm_threshold &&
4510         verify_check_host(&smtp_ratelimit_hosts) == OK)
4511       {
4512       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
4513         smtp_delay_mail/1000.0);
4514       millisleep((int)smtp_delay_mail);
4515       smtp_delay_mail *= smtp_rlm_factor;
4516       if (smtp_delay_mail > (double)smtp_rlm_limit)
4517         smtp_delay_mail = (double)smtp_rlm_limit;
4518       }
4519
4520     /* Now extract the address, first applying any SMTP-time rewriting. The
4521     TRUE flag allows "<>" as a sender address. */
4522
4523     raw_sender = rewrite_existflags & rewrite_smtp
4524       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4525                     global_rewrite_rules)
4526       : smtp_cmd_data;
4527
4528     raw_sender =
4529       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
4530         TRUE);
4531
4532     if (!raw_sender)
4533       {
4534       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4535       break;
4536       }
4537
4538     sender_address = raw_sender;
4539
4540     /* If there is a configured size limit for mail, check that this message
4541     doesn't exceed it. The check is postponed to this point so that the sender
4542     can be logged. */
4543
4544     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
4545       {
4546       smtp_printf("552 Message size exceeds maximum permitted\r\n");
4547       log_write(L_size_reject,
4548           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
4549           "message too big: size%s=%d max=%d",
4550           sender_address,
4551           host_and_ident(TRUE),
4552           (message_size == INT_MAX)? ">" : "",
4553           message_size,
4554           thismessage_size_limit);
4555       sender_address = NULL;
4556       break;
4557       }
4558
4559     /* Check there is enough space on the disk unless configured not to.
4560     When smtp_check_spool_space is set, the check is for thismessage_size_limit
4561     plus the current message - i.e. we accept the message only if it won't
4562     reduce the space below the threshold. Add 5000 to the size to allow for
4563     overheads such as the Received: line and storing of recipients, etc.
4564     By putting the check here, even when SIZE is not given, it allow VRFY
4565     and EXPN etc. to be used when space is short. */
4566
4567     if (!receive_check_fs(
4568          (smtp_check_spool_space && message_size >= 0)?
4569             message_size + 5000 : 0))
4570       {
4571       smtp_printf("452 Space shortage, please try later\r\n");
4572       sender_address = NULL;
4573       break;
4574       }
4575
4576     /* If sender_address is unqualified, reject it, unless this is a locally
4577     generated message, or the sending host or net is permitted to send
4578     unqualified addresses - typically local machines behaving as MUAs -
4579     in which case just qualify the address. The flag is set above at the start
4580     of the SMTP connection. */
4581
4582     if (sender_domain == 0 && sender_address[0] != 0)
4583       {
4584       if (allow_unqualified_sender)
4585         {
4586         sender_domain = Ustrlen(sender_address) + 1;
4587         sender_address = rewrite_address_qualify(sender_address, FALSE);
4588         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
4589           raw_sender);
4590         }
4591       else
4592         {
4593         smtp_printf("501 %s: sender address must contain a domain\r\n",
4594           smtp_cmd_data);
4595         log_write(L_smtp_syntax_error,
4596           LOG_MAIN|LOG_REJECT,
4597           "unqualified sender rejected: <%s> %s%s",
4598           raw_sender,
4599           host_and_ident(TRUE),
4600           host_lookup_msg);
4601         sender_address = NULL;
4602         break;
4603         }
4604       }
4605
4606     /* Apply an ACL check if one is defined, before responding. Afterwards,
4607     when pipelining is not advertised, do another sync check in case the ACL
4608     delayed and the client started sending in the meantime. */
4609
4610     if (acl_smtp_mail)
4611       {
4612       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
4613       if (rc == OK && !pipelining_advertised && !check_sync())
4614         goto SYNC_FAILURE;
4615       }
4616     else
4617       rc = OK;
4618
4619     if (rc == OK || rc == DISCARD)
4620       {
4621       if (!user_msg)
4622         smtp_printf("%s%s%s", US"250 OK",
4623                   #ifndef DISABLE_PRDR
4624                     prdr_requested ? US", PRDR Requested" : US"",
4625                   #else
4626                     US"",
4627                   #endif
4628                     US"\r\n");
4629       else
4630         {
4631       #ifndef DISABLE_PRDR
4632         if (prdr_requested)
4633            user_msg = string_sprintf("%s%s", user_msg, US", PRDR Requested");
4634       #endif
4635         smtp_user_msg(US"250", user_msg);
4636         }
4637       smtp_delay_rcpt = smtp_rlr_base;
4638       recipients_discarded = (rc == DISCARD);
4639       was_rej_mail = FALSE;
4640       }
4641     else
4642       {
4643       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
4644       sender_address = NULL;
4645       }
4646     break;
4647
4648
4649     /* The RCPT command requires an address as an operand. There may be any
4650     number of RCPT commands, specifying multiple recipients. We build them all
4651     into a data structure. The start/end values given by parse_extract_address
4652     are not used, as we keep only the extracted address. */
4653
4654     case RCPT_CMD:
4655     HAD(SCH_RCPT);
4656     rcpt_count++;
4657     was_rcpt = rcpt_in_progress = TRUE;
4658
4659     /* There must be a sender address; if the sender was rejected and
4660     pipelining was advertised, we assume the client was pipelining, and do not
4661     count this as a protocol error. Reset was_rej_mail so that further RCPTs
4662     get the same treatment. */
4663
4664     if (sender_address == NULL)
4665       {
4666       if (pipelining_advertised && last_was_rej_mail)
4667         {
4668         smtp_printf("503 sender not yet given\r\n");
4669         was_rej_mail = TRUE;
4670         }
4671       else
4672         {
4673         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4674           US"sender not yet given");
4675         was_rcpt = FALSE;             /* Not a valid RCPT */
4676         }
4677       rcpt_fail_count++;
4678       break;
4679       }
4680
4681     /* Check for an operand */
4682
4683     if (smtp_cmd_data[0] == 0)
4684       {
4685       done = synprot_error(L_smtp_syntax_error, 501, NULL,
4686         US"RCPT must have an address operand");
4687       rcpt_fail_count++;
4688       break;
4689       }
4690
4691     /* Set the DSN flags orcpt and dsn_flags from the session*/
4692     orcpt = NULL;
4693     flags = 0;
4694
4695     if (esmtp) for(;;)
4696       {
4697       uschar *name, *value;
4698
4699       if (!extract_option(&name, &value))
4700         break;
4701
4702       if (dsn_advertised && strcmpic(name, US"ORCPT") == 0)
4703         {
4704         /* Check whether orcpt has been already set */
4705         if (orcpt)
4706           {
4707           synprot_error(L_smtp_syntax_error, 501, NULL,
4708             US"ORCPT can be specified once only");
4709           goto COMMAND_LOOP;
4710           }
4711         orcpt = string_copy(value);
4712         DEBUG(D_receive) debug_printf("DSN orcpt: %s\n", orcpt);
4713         }
4714
4715       else if (dsn_advertised && strcmpic(name, US"NOTIFY") == 0)
4716         {
4717         /* Check if the notify flags have been already set */
4718         if (flags > 0)
4719           {
4720           synprot_error(L_smtp_syntax_error, 501, NULL,
4721               US"NOTIFY can be specified once only");
4722           goto COMMAND_LOOP;
4723           }
4724         if (strcmpic(value, US"NEVER") == 0)
4725           flags |= rf_notify_never;
4726         else
4727           {
4728           uschar *p = value;
4729           while (*p != 0)
4730             {
4731             uschar *pp = p;
4732             while (*pp != 0 && *pp != ',') pp++;
4733             if (*pp == ',') *pp++ = 0;
4734             if (strcmpic(p, US"SUCCESS") == 0)
4735               {
4736               DEBUG(D_receive) debug_printf("DSN: Setting notify success\n");
4737               flags |= rf_notify_success;
4738               }
4739             else if (strcmpic(p, US"FAILURE") == 0)
4740               {
4741               DEBUG(D_receive) debug_printf("DSN: Setting notify failure\n");
4742               flags |= rf_notify_failure;
4743               }
4744             else if (strcmpic(p, US"DELAY") == 0)
4745               {
4746               DEBUG(D_receive) debug_printf("DSN: Setting notify delay\n");
4747               flags |= rf_notify_delay;
4748               }
4749             else
4750               {
4751               /* Catch any strange values */
4752               synprot_error(L_smtp_syntax_error, 501, NULL,
4753                 US"Invalid value for NOTIFY parameter");
4754               goto COMMAND_LOOP;
4755               }
4756             p = pp;
4757             }
4758             DEBUG(D_receive) debug_printf("DSN Flags: %x\n", flags);
4759           }
4760         }
4761
4762       /* Unknown option. Stick back the terminator characters and break
4763       the loop. An error for a malformed address will occur. */
4764
4765       else
4766         {
4767         DEBUG(D_receive) debug_printf("Invalid RCPT option: %s : %s\n", name, value);
4768         name[-1] = ' ';
4769         value[-1] = '=';
4770         break;
4771         }
4772       }
4773
4774     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
4775     as a recipient address */
4776
4777     recipient = rewrite_existflags & rewrite_smtp
4778       ? rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
4779           global_rewrite_rules)
4780       : smtp_cmd_data;
4781
4782     if (!(recipient = parse_extract_address(recipient, &errmess, &start, &end,
4783       &recipient_domain, FALSE)))
4784       {
4785       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
4786       rcpt_fail_count++;
4787       break;
4788       }
4789
4790     /* If the recipient address is unqualified, reject it, unless this is a
4791     locally generated message. However, unqualified addresses are permitted
4792     from a configured list of hosts and nets - typically when behaving as
4793     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
4794     really. The flag is set at the start of the SMTP connection.
4795
4796     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
4797     assumed this meant "reserved local part", but the revision of RFC 821 and
4798     friends now makes it absolutely clear that it means *mailbox*. Consequently
4799     we must always qualify this address, regardless. */
4800
4801     if (!recipient_domain)
4802       if (!(recipient_domain = qualify_recipient(&recipient, smtp_cmd_data,
4803                                   US"recipient")))
4804         {
4805         rcpt_fail_count++;
4806         break;
4807         }
4808
4809     /* Check maximum allowed */
4810
4811     if (rcpt_count > recipients_max && recipients_max > 0)
4812       {
4813       if (recipients_max_reject)
4814         {
4815         rcpt_fail_count++;
4816         smtp_printf("552 too many recipients\r\n");
4817         if (!toomany)
4818           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
4819             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
4820         }
4821       else
4822         {
4823         rcpt_defer_count++;
4824         smtp_printf("452 too many recipients\r\n");
4825         if (!toomany)
4826           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
4827             "temporarily rejected: sender=<%s> %s", sender_address,
4828             host_and_ident(TRUE));
4829         }
4830
4831       toomany = TRUE;
4832       break;
4833       }
4834
4835     /* If we have passed the threshold for rate limiting, apply the current
4836     delay, and update it for next time, provided this is a limited host. */
4837
4838     if (rcpt_count > smtp_rlr_threshold &&
4839         verify_check_host(&smtp_ratelimit_hosts) == OK)
4840       {
4841       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
4842         smtp_delay_rcpt/1000.0);
4843       millisleep((int)smtp_delay_rcpt);
4844       smtp_delay_rcpt *= smtp_rlr_factor;
4845       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
4846         smtp_delay_rcpt = (double)smtp_rlr_limit;
4847       }
4848
4849     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
4850     for them. Otherwise, check the access control list for this recipient. As
4851     there may be a delay in this, re-check for a synchronization error
4852     afterwards, unless pipelining was advertised. */
4853
4854     if (recipients_discarded)
4855       rc = DISCARD;
4856     else
4857       if (  (rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
4858                     &log_msg)) == OK
4859          && !pipelining_advertised && !check_sync())
4860         goto SYNC_FAILURE;
4861
4862     /* The ACL was happy */
4863
4864     if (rc == OK)
4865       {
4866       if (user_msg)
4867         smtp_user_msg(US"250", user_msg);
4868       else
4869         smtp_printf("250 Accepted\r\n");
4870       receive_add_recipient(recipient, -1);
4871
4872       /* Set the dsn flags in the recipients_list */
4873       recipients_list[recipients_count-1].orcpt = orcpt;
4874       recipients_list[recipients_count-1].dsn_flags = flags;
4875
4876       DEBUG(D_receive) debug_printf("DSN: orcpt: %s  flags: %d\n",
4877         recipients_list[recipients_count-1].orcpt,
4878         recipients_list[recipients_count-1].dsn_flags);
4879       }
4880
4881     /* The recipient was discarded */
4882
4883     else if (rc == DISCARD)
4884       {
4885       if (user_msg)
4886         smtp_user_msg(US"250", user_msg);
4887       else
4888         smtp_printf("250 Accepted\r\n");
4889       rcpt_fail_count++;
4890       discarded = TRUE;
4891       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> RCPT %s: "
4892         "discarded by %s ACL%s%s", host_and_ident(TRUE),
4893         sender_address_unrewritten? sender_address_unrewritten : sender_address,
4894         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
4895         log_msg ? US": " : US"", log_msg ? log_msg : US"");
4896       }
4897
4898     /* Either the ACL failed the address, or it was deferred. */
4899
4900     else
4901       {
4902       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
4903       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
4904       }
4905     break;
4906
4907
4908     /* The DATA command is legal only if it follows successful MAIL FROM
4909     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
4910     not counted as a protocol error if it follows RCPT (which must have been
4911     rejected if there are no recipients.) This function is complete when a
4912     valid DATA command is encountered.
4913
4914     Note concerning the code used: RFC 2821 says this:
4915
4916      -  If there was no MAIL, or no RCPT, command, or all such commands
4917         were rejected, the server MAY return a "command out of sequence"
4918         (503) or "no valid recipients" (554) reply in response to the
4919         DATA command.
4920
4921     The example in the pipelining RFC 2920 uses 554, but I use 503 here
4922     because it is the same whether pipelining is in use or not.
4923
4924     If all the RCPT commands that precede DATA provoked the same error message
4925     (often indicating some kind of system error), it is helpful to include it
4926     with the DATA rejection (an idea suggested by Tony Finch). */
4927
4928     case BDAT_CMD:
4929     HAD(SCH_BDAT);
4930       {
4931       int n;
4932
4933       if (chunking_state != CHUNKING_OFFERED)
4934         {
4935         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4936           US"BDAT command used when CHUNKING not advertised");
4937         break;
4938         }
4939
4940       /* grab size, endmarker */
4941
4942       if (sscanf(CS smtp_cmd_data, "%u %n", &chunking_datasize, &n) < 1)
4943         {
4944         done = synprot_error(L_smtp_protocol_error, 501, NULL,
4945           US"missing size for BDAT command");
4946         break;
4947         }
4948       chunking_state = strcmpic(smtp_cmd_data+n, US"LAST") == 0
4949         ? CHUNKING_LAST : CHUNKING_ACTIVE;
4950       chunking_data_left = chunking_datasize;
4951       DEBUG(D_receive) debug_printf("chunking state %d, %d bytes\n",
4952                                     (int)chunking_state, chunking_data_left);
4953
4954       lwr_receive_getc = receive_getc;
4955       lwr_receive_ungetc = receive_ungetc;
4956       receive_getc = bdat_getc;
4957       receive_ungetc = bdat_ungetc;
4958
4959       goto DATA_BDAT;
4960       }
4961
4962     case DATA_CMD:
4963     HAD(SCH_DATA);
4964
4965     DATA_BDAT:          /* Common code for DATA and BDAT */
4966     if (!discarded && recipients_count <= 0)
4967       {
4968       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
4969         {
4970         uschar *code = US"503";
4971         int len = Ustrlen(rcpt_smtp_response);
4972         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
4973           "this error:");
4974         /* Responses from smtp_printf() will have \r\n on the end */
4975         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
4976           rcpt_smtp_response[len-2] = 0;
4977         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
4978         }
4979       if (pipelining_advertised && last_was_rcpt)
4980         smtp_printf("503 Valid RCPT command must precede %s\r\n",
4981           smtp_names[smtp_connection_had[smtp_ch_index-1]]);
4982       else
4983         done = synprot_error(L_smtp_protocol_error, 503, NULL,
4984           smtp_connection_had[smtp_ch_index-1] == SCH_DATA
4985           ? US"valid RCPT command must precede DATA"
4986           : US"valid RCPT command must precede BDAT");
4987
4988       if (chunking_state > CHUNKING_OFFERED)
4989         bdat_flush_data();
4990       break;
4991       }
4992
4993     if (toomany && recipients_max_reject)
4994       {
4995       sender_address = NULL;  /* This will allow a new MAIL without RSET */
4996       sender_address_unrewritten = NULL;
4997       smtp_printf("554 Too many recipients\r\n");
4998       break;
4999       }
5000
5001     if (chunking_state > CHUNKING_OFFERED)
5002       rc = OK;                  /* No predata ACL or go-ahead output for BDAT */
5003     else
5004       {
5005       /* If there is an ACL, re-check the synchronization afterwards, since the
5006       ACL may have delayed.  To handle cutthrough delivery enforce a dummy call
5007       to get the DATA command sent. */
5008
5009       if (acl_smtp_predata == NULL && cutthrough.fd < 0)
5010         rc = OK;
5011       else
5012         {
5013         uschar * acl = acl_smtp_predata ? acl_smtp_predata : US"accept";
5014         enable_dollar_recipients = TRUE;
5015         rc = acl_check(ACL_WHERE_PREDATA, NULL, acl, &user_msg,
5016           &log_msg);
5017         enable_dollar_recipients = FALSE;
5018         if (rc == OK && !check_sync())
5019           goto SYNC_FAILURE;
5020
5021         if (rc != OK)
5022           {     /* Either the ACL failed the address, or it was deferred. */
5023           done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
5024           break;
5025           }
5026         }
5027
5028       if (user_msg)
5029         smtp_user_msg(US"354", user_msg);
5030       else
5031         smtp_printf(
5032           "354 Enter message, ending with \".\" on a line by itself\r\n");
5033       }
5034
5035 #ifdef TCP_QUICKACK
5036     if (smtp_in)        /* all ACKs needed to ramp window up for bulk data */
5037       (void) setsockopt(fileno(smtp_in), IPPROTO_TCP, TCP_QUICKACK,
5038               US &on, sizeof(on));
5039 #endif
5040     done = 3;
5041     message_ended = END_NOTENDED;   /* Indicate in middle of data */
5042
5043     break;
5044
5045
5046     case VRFY_CMD:
5047       {
5048       uschar * address;
5049
5050       HAD(SCH_VRFY);
5051
5052       if (!(address = parse_extract_address(smtp_cmd_data, &errmess,
5053             &start, &end, &recipient_domain, FALSE)))
5054         {
5055         smtp_printf("501 %s\r\n", errmess);
5056         break;
5057         }
5058
5059       if (!recipient_domain)
5060         if (!(recipient_domain = qualify_recipient(&address, smtp_cmd_data,
5061                                     US"verify")))
5062           break;
5063
5064       if ((rc = acl_check(ACL_WHERE_VRFY, address, acl_smtp_vrfy,
5065                     &user_msg, &log_msg)) != OK)
5066         done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
5067       else
5068         {
5069         uschar * s = NULL;
5070         address_item * addr = deliver_make_addr(address, FALSE);
5071
5072         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
5073                -1, -1, NULL, NULL, NULL))
5074           {
5075           case OK:
5076             s = string_sprintf("250 <%s> is deliverable", address);
5077             break;
5078
5079           case DEFER:
5080             s = (addr->user_message != NULL)?
5081               string_sprintf("451 <%s> %s", address, addr->user_message) :
5082               string_sprintf("451 Cannot resolve <%s> at this time", address);
5083             break;
5084
5085           case FAIL:
5086             s = (addr->user_message != NULL)?
5087               string_sprintf("550 <%s> %s", address, addr->user_message) :
5088               string_sprintf("550 <%s> is not deliverable", address);
5089             log_write(0, LOG_MAIN, "VRFY failed for %s %s",
5090               smtp_cmd_argument, host_and_ident(TRUE));
5091             break;
5092           }
5093
5094         smtp_printf("%s\r\n", s);
5095         }
5096       break;
5097       }
5098
5099
5100     case EXPN_CMD:
5101     HAD(SCH_EXPN);
5102     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
5103     if (rc != OK)
5104       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
5105     else
5106       {
5107       BOOL save_log_testing_mode = log_testing_mode;
5108       address_test_mode = log_testing_mode = TRUE;
5109       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
5110         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
5111         NULL, NULL, NULL);
5112       address_test_mode = FALSE;
5113       log_testing_mode = save_log_testing_mode;    /* true for -bh */
5114       }
5115     break;
5116
5117
5118     #ifdef SUPPORT_TLS
5119
5120     case STARTTLS_CMD:
5121     HAD(SCH_STARTTLS);
5122     if (!tls_advertised)
5123       {
5124       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5125         US"STARTTLS command used when not advertised");
5126       break;
5127       }
5128
5129     /* Apply an ACL check if one is defined */
5130
5131     if (  acl_smtp_starttls
5132        && (rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls,
5133                   &user_msg, &log_msg)) != OK
5134        )
5135       {
5136       done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
5137       break;
5138       }
5139
5140     /* RFC 2487 is not clear on when this command may be sent, though it
5141     does state that all information previously obtained from the client
5142     must be discarded if a TLS session is started. It seems reasonable to
5143     do an implied RSET when STARTTLS is received. */
5144
5145     incomplete_transaction_log(US"STARTTLS");
5146     smtp_reset(reset_point);
5147     toomany = FALSE;
5148     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
5149
5150     /* There's an attack where more data is read in past the STARTTLS command
5151     before TLS is negotiated, then assumed to be part of the secure session
5152     when used afterwards; we use segregated input buffers, so are not
5153     vulnerable, but we want to note when it happens and, for sheer paranoia,
5154     ensure that the buffer is "wiped".
5155     Pipelining sync checks will normally have protected us too, unless disabled
5156     by configuration. */
5157
5158     if (receive_smtp_buffered())
5159       {
5160       DEBUG(D_any)
5161         debug_printf("Non-empty input buffer after STARTTLS; naive attack?\n");
5162       if (tls_in.active < 0)
5163         smtp_inend = smtp_inptr = smtp_inbuffer;
5164       /* and if TLS is already active, tls_server_start() should fail */
5165       }
5166
5167     /* There is nothing we value in the input buffer and if TLS is successfully
5168     negotiated, we won't use this buffer again; if TLS fails, we'll just read
5169     fresh content into it.  The buffer contains arbitrary content from an
5170     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
5171     It seems safest to just wipe away the content rather than leave it as a
5172     target to jump to. */
5173
5174     memset(smtp_inbuffer, 0, IN_BUFFER_SIZE);
5175
5176     /* Attempt to start up a TLS session, and if successful, discard all
5177     knowledge that was obtained previously. At least, that's what the RFC says,
5178     and that's what happens by default. However, in order to work round YAEB,
5179     there is an option to remember the esmtp state. Sigh.
5180
5181     We must allow for an extra EHLO command and an extra AUTH command after
5182     STARTTLS that don't add to the nonmail command count. */
5183
5184     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
5185       {
5186       if (!tls_remember_esmtp)
5187         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
5188       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
5189       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
5190       cmd_list[CMD_LIST_TLS_AUTH].is_mail_cmd = TRUE;
5191       if (sender_helo_name != NULL)
5192         {
5193         store_free(sender_helo_name);
5194         sender_helo_name = NULL;
5195         host_build_sender_fullhost();  /* Rebuild */
5196         set_process_info("handling incoming TLS connection from %s",
5197           host_and_ident(FALSE));
5198         }
5199       received_protocol =
5200         (sender_host_address ? protocols : protocols_local)
5201           [ (esmtp
5202             ? pextend + (sender_host_authenticated ? pauthed : 0)
5203             : pnormal)
5204           + (tls_in.active >= 0 ? pcrpted : 0)
5205           ];
5206
5207       sender_host_authenticated = NULL;
5208       authenticated_id = NULL;
5209       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
5210       DEBUG(D_tls) debug_printf("TLS active\n");
5211       break;     /* Successful STARTTLS */
5212       }
5213
5214     /* Some local configuration problem was discovered before actually trying
5215     to do a TLS handshake; give a temporary error. */
5216
5217     else if (rc == DEFER)
5218       {
5219       smtp_printf("454 TLS currently unavailable\r\n");
5220       break;
5221       }
5222
5223     /* Hard failure. Reject everything except QUIT or closed connection. One
5224     cause for failure is a nested STARTTLS, in which case tls_in.active remains
5225     set, but we must still reject all incoming commands. */
5226
5227     DEBUG(D_tls) debug_printf("TLS failed to start\n");
5228     while (done <= 0) switch(smtp_read_command(FALSE, GETC_BUFFER_UNLIMITED))
5229       {
5230       case EOF_CMD:
5231         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
5232           smtp_get_connection_info());
5233         smtp_notquit_exit(US"tls-failed", NULL, NULL);
5234         done = 2;
5235         break;
5236
5237       /* It is perhaps arguable as to which exit ACL should be called here,
5238       but as it is probably a situation that almost never arises, it
5239       probably doesn't matter. We choose to call the real QUIT ACL, which in
5240       some sense is perhaps "right". */
5241
5242       case QUIT_CMD:
5243         user_msg = NULL;
5244         if (  acl_smtp_quit
5245            && ((rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
5246                               &log_msg)) == ERROR))
5247             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
5248               log_msg);
5249         if (user_msg)
5250           smtp_respond(US"221", 3, TRUE, user_msg);
5251         else
5252           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
5253         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
5254           smtp_get_connection_info());
5255         done = 2;
5256         break;
5257
5258       default:
5259         smtp_printf("554 Security failure\r\n");
5260         break;
5261       }
5262     tls_close(TRUE, TRUE);
5263     break;
5264     #endif
5265
5266
5267     /* The ACL for QUIT is provided for gathering statistical information or
5268     similar; it does not affect the response code, but it can supply a custom
5269     message. */
5270
5271     case QUIT_CMD:
5272     smtp_quit_handler(&user_msg, &log_msg);
5273     done = 2;
5274     break;
5275
5276
5277     case RSET_CMD:
5278     smtp_rset_handler();
5279     smtp_reset(reset_point);
5280     toomany = FALSE;
5281     break;
5282
5283
5284     case NOOP_CMD:
5285     HAD(SCH_NOOP);
5286     smtp_printf("250 OK\r\n");
5287     break;
5288
5289
5290     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
5291     used, a check will be done for permitted hosts. Show STARTTLS only if not
5292     already in a TLS session and if it would be advertised in the EHLO
5293     response. */
5294
5295     case HELP_CMD:
5296     HAD(SCH_HELP);
5297     smtp_printf("214-Commands supported:\r\n");
5298       {
5299       uschar buffer[256];
5300       buffer[0] = 0;
5301       Ustrcat(buffer, " AUTH");
5302       #ifdef SUPPORT_TLS
5303       if (tls_in.active < 0 &&
5304           verify_check_host(&tls_advertise_hosts) != FAIL)
5305         Ustrcat(buffer, " STARTTLS");
5306       #endif
5307       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA BDAT");
5308       Ustrcat(buffer, " NOOP QUIT RSET HELP");
5309       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
5310       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
5311       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
5312       smtp_printf("214%s\r\n", buffer);
5313       }
5314     break;
5315
5316
5317     case EOF_CMD:
5318     incomplete_transaction_log(US"connection lost");
5319     smtp_notquit_exit(US"connection-lost", US"421",
5320       US"%s lost input connection", smtp_active_hostname);
5321
5322     /* Don't log by default unless in the middle of a message, as some mailers
5323     just drop the call rather than sending QUIT, and it clutters up the logs.
5324     */
5325
5326     if (sender_address != NULL || recipients_count > 0)
5327       log_write(L_lost_incoming_connection,
5328           LOG_MAIN,
5329           "unexpected %s while reading SMTP command from %s%s",
5330           sender_host_unknown? "EOF" : "disconnection",
5331           host_and_ident(FALSE), smtp_read_error);
5332
5333     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
5334       smtp_get_connection_info(), smtp_read_error);
5335
5336     done = 1;
5337     break;
5338
5339
5340     case ETRN_CMD:
5341     HAD(SCH_ETRN);
5342     if (sender_address != NULL)
5343       {
5344       done = synprot_error(L_smtp_protocol_error, 503, NULL,
5345         US"ETRN is not permitted inside a transaction");
5346       break;
5347       }
5348
5349     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
5350       host_and_ident(FALSE));
5351
5352     if ((rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn,
5353                 &user_msg, &log_msg)) != OK)
5354       {
5355       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
5356       break;
5357       }
5358
5359     /* Compute the serialization key for this command. */
5360
5361     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
5362
5363     /* If a command has been specified for running as a result of ETRN, we
5364     permit any argument to ETRN. If not, only the # standard form is permitted,
5365     since that is strictly the only kind of ETRN that can be implemented
5366     according to the RFC. */
5367
5368     if (smtp_etrn_command != NULL)
5369       {
5370       uschar *error;
5371       BOOL rc;
5372       etrn_command = smtp_etrn_command;
5373       deliver_domain = smtp_cmd_data;
5374       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
5375         US"ETRN processing", &error);
5376       deliver_domain = NULL;
5377       if (!rc)
5378         {
5379         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
5380           error);
5381         smtp_printf("458 Internal failure\r\n");
5382         break;
5383         }
5384       }
5385
5386     /* Else set up to call Exim with the -R option. */
5387
5388     else
5389       {
5390       if (*smtp_cmd_data++ != '#')
5391         {
5392         done = synprot_error(L_smtp_syntax_error, 501, NULL,
5393           US"argument must begin with #");
5394         break;
5395         }
5396       etrn_command = US"exim -R";
5397       argv = CUSS child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE,
5398         *queue_name ? 4 : 2,
5399         US"-R", smtp_cmd_data,
5400         US"-MCG", queue_name);
5401       }
5402
5403     /* If we are host-testing, don't actually do anything. */
5404
5405     if (host_checking)
5406       {
5407       HDEBUG(D_any)
5408         {
5409         debug_printf("ETRN command is: %s\n", etrn_command);
5410         debug_printf("ETRN command execution skipped\n");
5411         }
5412       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5413         else smtp_user_msg(US"250", user_msg);
5414       break;
5415       }
5416
5417
5418     /* If ETRN queue runs are to be serialized, check the database to
5419     ensure one isn't already running. */
5420
5421     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key, 1))
5422       {
5423       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
5424       break;
5425       }
5426
5427     /* Fork a child process and run the command. We don't want to have to
5428     wait for the process at any point, so set SIGCHLD to SIG_IGN before
5429     forking. It should be set that way anyway for external incoming SMTP,
5430     but we save and restore to be tidy. If serialization is required, we
5431     actually run the command in yet another process, so we can wait for it
5432     to complete and then remove the serialization lock. */
5433
5434     oldsignal = signal(SIGCHLD, SIG_IGN);
5435
5436     if ((pid = fork()) == 0)
5437       {
5438       smtp_input = FALSE;       /* This process is not associated with the */
5439       (void)fclose(smtp_in);    /* SMTP call any more. */
5440       (void)fclose(smtp_out);
5441
5442       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
5443
5444       /* If not serializing, do the exec right away. Otherwise, fork down
5445       into another process. */
5446
5447       if (!smtp_etrn_serialize || (pid = fork()) == 0)
5448         {
5449         DEBUG(D_exec) debug_print_argv(argv);
5450         exim_nullstd();                   /* Ensure std{in,out,err} exist */
5451         execv(CS argv[0], (char *const *)argv);
5452         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
5453           etrn_command, strerror(errno));
5454         _exit(EXIT_FAILURE);         /* paranoia */
5455         }
5456
5457       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
5458       is, we are in the first subprocess, after forking again. All we can do
5459       for a failing fork is to log it. Otherwise, wait for the 2nd process to
5460       complete, before removing the serialization. */
5461
5462       if (pid < 0)
5463         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
5464           "failed: %s", strerror(errno));
5465       else
5466         {
5467         int status;
5468         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
5469           (int)pid);
5470         (void)wait(&status);
5471         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
5472           (int)pid);
5473         }
5474
5475       enq_end(etrn_serialize_key);
5476       _exit(EXIT_SUCCESS);
5477       }
5478
5479     /* Back in the top level SMTP process. Check that we started a subprocess
5480     and restore the signal state. */
5481
5482     if (pid < 0)
5483       {
5484       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
5485         strerror(errno));
5486       smtp_printf("458 Unable to fork process\r\n");
5487       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
5488       }
5489     else
5490       {
5491       if (user_msg == NULL) smtp_printf("250 OK\r\n");
5492         else smtp_user_msg(US"250", user_msg);
5493       }
5494
5495     signal(SIGCHLD, oldsignal);
5496     break;
5497
5498
5499     case BADARG_CMD:
5500     done = synprot_error(L_smtp_syntax_error, 501, NULL,
5501       US"unexpected argument data");
5502     break;
5503
5504
5505     /* This currently happens only for NULLs, but could be extended. */
5506
5507     case BADCHAR_CMD:
5508     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
5509       US"NULL character(s) present (shown as '?')");
5510     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
5511     break;
5512
5513
5514     case BADSYN_CMD:
5515     SYNC_FAILURE:
5516     if (smtp_inend >= smtp_inbuffer + IN_BUFFER_SIZE)
5517       smtp_inend = smtp_inbuffer + IN_BUFFER_SIZE - 1;
5518     c = smtp_inend - smtp_inptr;
5519     if (c > 150) c = 150;
5520     smtp_inptr[c] = 0;
5521     incomplete_transaction_log(US"sync failure");
5522     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
5523       "(next input sent too soon: pipelining was%s advertised): "
5524       "rejected \"%s\" %s next input=\"%s\"",
5525       pipelining_advertised? "" : " not",
5526       smtp_cmd_buffer, host_and_ident(TRUE),
5527       string_printing(smtp_inptr));
5528     smtp_notquit_exit(US"synchronization-error", US"554",
5529       US"SMTP synchronization error");
5530     done = 1;   /* Pretend eof - drops connection */
5531     break;
5532
5533
5534     case TOO_MANY_NONMAIL_CMD:
5535     s = smtp_cmd_buffer;
5536     while (*s != 0 && !isspace(*s)) s++;
5537     incomplete_transaction_log(US"too many non-mail commands");
5538     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5539       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
5540       (int)(s - smtp_cmd_buffer), smtp_cmd_buffer);
5541     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
5542     done = 1;   /* Pretend eof - drops connection */
5543     break;
5544
5545 #ifdef SUPPORT_PROXY
5546     case PROXY_FAIL_IGNORE_CMD:
5547     smtp_printf("503 Command refused, required Proxy negotiation failed\r\n");
5548     break;
5549 #endif
5550
5551     default:
5552     if (unknown_command_count++ >= smtp_max_unknown_commands)
5553       {
5554       log_write(L_smtp_syntax_error, LOG_MAIN,
5555         "SMTP syntax error in \"%s\" %s %s",
5556         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
5557         US"unrecognized command");
5558       incomplete_transaction_log(US"unrecognized command");
5559       smtp_notquit_exit(US"bad-commands", US"500",
5560         US"Too many unrecognized commands");
5561       done = 2;
5562       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
5563         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
5564         string_printing(smtp_cmd_buffer));
5565       }
5566     else
5567       done = synprot_error(L_smtp_syntax_error, 500, NULL,
5568         US"unrecognized command");
5569     break;
5570     }
5571
5572   /* This label is used by goto's inside loops that want to break out to
5573   the end of the command-processing loop. */
5574
5575   COMMAND_LOOP:
5576   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
5577   last_was_rcpt = was_rcpt;             /* protocol error handling */
5578   continue;
5579   }
5580
5581 return done - 2;  /* Convert yield values */
5582 }
5583
5584 /* vi: aw ai sw=2
5585 */
5586 /* End of smtp_in.c */