7ca56e25527cb2747cedfd6a35b3596c6b533e00
[users/jgh/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2009 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12
13
14 /* Initialize for TCP wrappers if so configured. It appears that the macro
15 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
16 including that header, and restore its value afterwards. */
17
18 #ifdef USE_TCP_WRAPPERS
19
20   #if HAVE_IPV6
21   #define EXIM_HAVE_IPV6
22   #endif
23   #undef HAVE_IPV6
24   #include <tcpd.h>
25   #undef HAVE_IPV6
26   #ifdef EXIM_HAVE_IPV6
27   #define HAVE_IPV6 TRUE
28   #endif
29
30 int allow_severity = LOG_INFO;
31 int deny_severity  = LOG_NOTICE;
32 uschar *tcp_wrappers_name;
33 #endif
34
35
36 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
37 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
38 commands that accept arguments, and this in particular applies to AUTH, where
39 the data can be quite long.  More recently this value was 2048 in Exim; 
40 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
41 such as Thunderbird will send an AUTH with an initial-response for GSSAPI. 
42 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and 
43 we need room to handle large base64-encoded AUTHs for GSSAPI.
44 */
45
46 #define smtp_cmd_buffer_size  16384
47
48 /* Size of buffer for reading SMTP incoming packets */
49
50 #define in_buffer_size  8192
51
52 /* Structure for SMTP command list */
53
54 typedef struct {
55   const char *name;
56   int len;
57   short int cmd;
58   short int has_arg;
59   short int is_mail_cmd;
60 } smtp_cmd_list;
61
62 /* Codes for identifying commands. We order them so that those that come first
63 are those for which synchronization is always required. Checking this can help
64 block some spam.  */
65
66 enum {
67   /* These commands are required to be synchronized, i.e. to be the last in a
68   block of commands when pipelining. */
69
70   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
71   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
72   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
73   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
74
75   /* This is a dummy to identify the non-sync commands when pipelining */
76
77   NON_SYNC_CMD_PIPELINING,
78
79   /* These commands need not be synchronized when pipelining */
80
81   MAIL_CMD, RCPT_CMD, RSET_CMD,
82
83   /* This is a dummy to identify the non-sync commands when not pipelining */
84
85   NON_SYNC_CMD_NON_PIPELINING,
86
87   /* I have been unable to find a statement about the use of pipelining
88   with AUTH, so to be on the safe side it is here, though I kind of feel
89   it should be up there with the synchronized commands. */
90
91   AUTH_CMD,
92
93   /* I'm not sure about these, but I don't think they matter. */
94
95   QUIT_CMD, HELP_CMD,
96
97   /* These are specials that don't correspond to actual commands */
98
99   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
100   TOO_MANY_NONMAIL_CMD };
101
102
103 /* This is a convenience macro for adding the identity of an SMTP command
104 to the circular buffer that holds a list of the last n received. */
105
106 #define HAD(n) \
107     smtp_connection_had[smtp_ch_index++] = n; \
108     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
109
110
111 /*************************************************
112 *                Local static variables          *
113 *************************************************/
114
115 static auth_instance *authenticated_by;
116 static BOOL auth_advertised;
117 #ifdef SUPPORT_TLS
118 static BOOL tls_advertised;
119 #endif
120 static BOOL esmtp;
121 static BOOL helo_required = FALSE;
122 static BOOL helo_verify = FALSE;
123 static BOOL helo_seen;
124 static BOOL helo_accept_junk;
125 static BOOL count_nonmail;
126 static BOOL pipelining_advertised;
127 static BOOL rcpt_smtp_response_same;
128 static BOOL rcpt_in_progress;
129 static int  nonmail_command_count;
130 static BOOL smtp_exit_function_called = 0;
131 static int  synprot_error_count;
132 static int  unknown_command_count;
133 static int  sync_cmd_limit;
134 static int  smtp_write_error = 0;
135
136 static uschar *rcpt_smtp_response;
137 static uschar *smtp_data_buffer;
138 static uschar *smtp_cmd_data;
139
140 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
141 final fields of all except AUTH are forced TRUE at the start of a new message
142 setup, to allow one of each between messages that is not counted as a nonmail
143 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
144 allow a new EHLO after starting up TLS.
145
146 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
147 counted. However, the flag is changed when AUTH is received, so that multiple
148 failing AUTHs will eventually hit the limit. After a successful AUTH, another
149 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
150 forced TRUE, to allow for the re-authentication that can happen at that point.
151
152 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
153 count of non-mail commands and possibly provoke an error. */
154
155 static smtp_cmd_list cmd_list[] = {
156   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
157   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
158   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
159   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
160   #ifdef SUPPORT_TLS
161   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
162   #endif
163
164 /* If you change anything above here, also fix the definitions below. */
165
166   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
167   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
168   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
169   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
170   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
171   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
172   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
173   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
174   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
175 };
176
177 static smtp_cmd_list *cmd_list_end =
178   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
179
180 #define CMD_LIST_RSET      0
181 #define CMD_LIST_HELO      1
182 #define CMD_LIST_EHLO      2
183 #define CMD_LIST_AUTH      3
184 #define CMD_LIST_STARTTLS  4
185
186 /* This list of names is used for performing the smtp_no_mail logging action.
187 It must be kept in step with the SCH_xxx enumerations. */
188
189 static uschar *smtp_names[] =
190   {
191   US"NONE", US"AUTH", US"DATA", US"EHLO", US"ETRN", US"EXPN", US"HELO",
192   US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET", US"STARTTLS",
193   US"VRFY" };
194
195 static uschar *protocols[] = {
196   US"local-smtp",        /* HELO */
197   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
198   US"local-esmtp",       /* EHLO */
199   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
200   US"local-esmtpa",      /* EHLO->AUTH */
201   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
202   };
203
204 #define pnormal  0
205 #define pextend  2
206 #define pcrpted  1  /* added to pextend or pnormal */
207 #define pauthed  2  /* added to pextend */
208 #define pnlocal  6  /* offset to remove "local" */
209
210 /* When reading SMTP from a remote host, we have to use our own versions of the
211 C input-reading functions, in order to be able to flush the SMTP output only
212 when about to read more data from the socket. This is the only way to get
213 optimal performance when the client is using pipelining. Flushing for every
214 command causes a separate packet and reply packet each time; saving all the
215 responses up (when pipelining) combines them into one packet and one response.
216
217 For simplicity, these functions are used for *all* SMTP input, not only when
218 receiving over a socket. However, after setting up a secure socket (SSL), input
219 is read via the OpenSSL library, and another set of functions is used instead
220 (see tls.c).
221
222 These functions are set in the receive_getc etc. variables and called with the
223 same interface as the C functions. However, since there can only ever be
224 one incoming SMTP call, we just use a single buffer and flags. There is no need
225 to implement a complicated private FILE-like structure.*/
226
227 static uschar *smtp_inbuffer;
228 static uschar *smtp_inptr;
229 static uschar *smtp_inend;
230 static int     smtp_had_eof;
231 static int     smtp_had_error;
232
233
234 /*************************************************
235 *          SMTP version of getc()                *
236 *************************************************/
237
238 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
239 it flushes the output, and refills the buffer, with a timeout. The signal
240 handler is set appropriately by the calling function. This function is not used
241 after a connection has negotated itself into an TLS/SSL state.
242
243 Arguments:  none
244 Returns:    the next character or EOF
245 */
246
247 int
248 smtp_getc(void)
249 {
250 if (smtp_inptr >= smtp_inend)
251   {
252   int rc, save_errno;
253   fflush(smtp_out);
254   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
255   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
256   save_errno = errno;
257   alarm(0);
258   if (rc <= 0)
259     {
260     /* Must put the error text in fixed store, because this might be during
261     header reading, where it releases unused store above the header. */
262     if (rc < 0)
263       {
264       smtp_had_error = save_errno;
265       smtp_read_error = string_copy_malloc(
266         string_sprintf(" (error: %s)", strerror(save_errno)));
267       }
268     else smtp_had_eof = 1;
269     return EOF;
270     }
271 #ifndef DISABLE_DKIM
272   dkim_exim_verify_feed(smtp_inbuffer, rc);
273 #endif
274   smtp_inend = smtp_inbuffer + rc;
275   smtp_inptr = smtp_inbuffer;
276   }
277 return *smtp_inptr++;
278 }
279
280
281
282 /*************************************************
283 *          SMTP version of ungetc()              *
284 *************************************************/
285
286 /* Puts a character back in the input buffer. Only ever
287 called once.
288
289 Arguments:
290   ch           the character
291
292 Returns:       the character
293 */
294
295 int
296 smtp_ungetc(int ch)
297 {
298 *(--smtp_inptr) = ch;
299 return ch;
300 }
301
302
303
304
305 /*************************************************
306 *          SMTP version of feof()                *
307 *************************************************/
308
309 /* Tests for a previous EOF
310
311 Arguments:     none
312 Returns:       non-zero if the eof flag is set
313 */
314
315 int
316 smtp_feof(void)
317 {
318 return smtp_had_eof;
319 }
320
321
322
323
324 /*************************************************
325 *          SMTP version of ferror()              *
326 *************************************************/
327
328 /* Tests for a previous read error, and returns with errno
329 restored to what it was when the error was detected.
330
331 Arguments:     none
332 Returns:       non-zero if the error flag is set
333 */
334
335 int
336 smtp_ferror(void)
337 {
338 errno = smtp_had_error;
339 return smtp_had_error;
340 }
341
342
343
344 /*************************************************
345 *      Test for characters in the SMTP buffer    *
346 *************************************************/
347
348 /* Used at the end of a message
349
350 Arguments:     none
351 Returns:       TRUE/FALSE
352 */
353
354 BOOL
355 smtp_buffered(void)
356 {
357 return smtp_inptr < smtp_inend;
358 }
359
360
361
362 /*************************************************
363 *     Write formatted string to SMTP channel     *
364 *************************************************/
365
366 /* This is a separate function so that we don't have to repeat everything for
367 TLS support or debugging. It is global so that the daemon and the
368 authentication functions can use it. It does not return any error indication,
369 because major problems such as dropped connections won't show up till an output
370 flush for non-TLS connections. The smtp_fflush() function is available for
371 checking that: for convenience, TLS output errors are remembered here so that
372 they are also picked up later by smtp_fflush().
373
374 Arguments:
375   format      format string
376   ...         optional arguments
377
378 Returns:      nothing
379 */
380
381 void
382 smtp_printf(const char *format, ...)
383 {
384 va_list ap;
385
386 va_start(ap, format);
387 smtp_vprintf(format, ap);
388 va_end(ap);
389 }
390
391 /* This is split off so that verify.c:respond_printf() can, in effect, call
392 smtp_printf(), bearing in mind that in C a vararg function can't directly
393 call another vararg function, only a function which accepts a va_list. */
394
395 void
396 smtp_vprintf(const char *format, va_list ap)
397 {
398 BOOL yield;
399
400 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
401
402 DEBUG(D_receive)
403   {
404   void *reset_point = store_get(0);
405   uschar *msg_copy, *cr, *end;
406   msg_copy = string_copy(big_buffer);
407   end = msg_copy + Ustrlen(msg_copy);
408   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
409   memmove(cr, cr + 1, (end--) - cr);
410   debug_printf("SMTP>> %s", msg_copy);
411   store_reset(reset_point);
412   }
413
414 if (!yield)
415   {
416   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
417   smtp_closedown(US"Unexpected error");
418   exim_exit(EXIT_FAILURE);
419   }
420
421 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
422 have had the same. Note: this code is also present in smtp_respond(). It would
423 be tidier to have it only in one place, but when it was added, it was easier to
424 do it that way, so as not to have to mess with the code for the RCPT command,
425 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
426
427 if (rcpt_in_progress)
428   {
429   if (rcpt_smtp_response == NULL)
430     rcpt_smtp_response = string_copy(big_buffer);
431   else if (rcpt_smtp_response_same &&
432            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
433     rcpt_smtp_response_same = FALSE;
434   rcpt_in_progress = FALSE;
435   }
436
437 /* Now write the string */
438
439 #ifdef SUPPORT_TLS
440 if (tls_active >= 0)
441   {
442   if (tls_write(big_buffer, Ustrlen(big_buffer)) < 0) smtp_write_error = -1;
443   }
444 else
445 #endif
446
447 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
448 }
449
450
451
452 /*************************************************
453 *        Flush SMTP out and check for error      *
454 *************************************************/
455
456 /* This function isn't currently used within Exim (it detects errors when it
457 tries to read the next SMTP input), but is available for use in local_scan().
458 For non-TLS connections, it flushes the output and checks for errors. For
459 TLS-connections, it checks for a previously-detected TLS write error.
460
461 Arguments:  none
462 Returns:    0 for no error; -1 after an error
463 */
464
465 int
466 smtp_fflush(void)
467 {
468 if (tls_active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
469 return smtp_write_error;
470 }
471
472
473
474 /*************************************************
475 *          SMTP command read timeout             *
476 *************************************************/
477
478 /* Signal handler for timing out incoming SMTP commands. This attempts to
479 finish off tidily.
480
481 Argument: signal number (SIGALRM)
482 Returns:  nothing
483 */
484
485 static void
486 command_timeout_handler(int sig)
487 {
488 sig = sig;    /* Keep picky compilers happy */
489 log_write(L_lost_incoming_connection,
490           LOG_MAIN, "SMTP command timeout on%s connection from %s",
491           (tls_active >= 0)? " TLS" : "",
492           host_and_ident(FALSE));
493 if (smtp_batched_input)
494   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
495 smtp_notquit_exit(US"command-timeout", US"421",
496   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
497 exim_exit(EXIT_FAILURE);
498 }
499
500
501
502 /*************************************************
503 *               SIGTERM received                 *
504 *************************************************/
505
506 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
507
508 Argument: signal number (SIGTERM)
509 Returns:  nothing
510 */
511
512 static void
513 command_sigterm_handler(int sig)
514 {
515 sig = sig;    /* Keep picky compilers happy */
516 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
517 if (smtp_batched_input)
518   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
519 smtp_notquit_exit(US"signal-exit", US"421",
520   US"%s: Service not available - closing connection", smtp_active_hostname);
521 exim_exit(EXIT_FAILURE);
522 }
523
524
525
526
527 /*************************************************
528 *           Read one command line                *
529 *************************************************/
530
531 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
532 There are sites that don't do this, and in any case internal SMTP probably
533 should check only for LF. Consequently, we check here for LF only. The line
534 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
535 an unknown command. The command is read into the global smtp_cmd_buffer so that
536 it is available via $smtp_command.
537
538 The character reading routine sets up a timeout for each block actually read
539 from the input (which may contain more than one command). We set up a special
540 signal handler that closes down the session on a timeout. Control does not
541 return when it runs.
542
543 Arguments:
544   check_sync   if TRUE, check synchronization rules if global option is TRUE
545
546 Returns:       a code identifying the command (enumerated above)
547 */
548
549 static int
550 smtp_read_command(BOOL check_sync)
551 {
552 int c;
553 int ptr = 0;
554 smtp_cmd_list *p;
555 BOOL hadnull = FALSE;
556
557 os_non_restarting_signal(SIGALRM, command_timeout_handler);
558
559 while ((c = (receive_getc)()) != '\n' && c != EOF)
560   {
561   if (ptr >= smtp_cmd_buffer_size)
562     {
563     os_non_restarting_signal(SIGALRM, sigalrm_handler);
564     return OTHER_CMD;
565     }
566   if (c == 0)
567     {
568     hadnull = TRUE;
569     c = '?';
570     }
571   smtp_cmd_buffer[ptr++] = c;
572   }
573
574 receive_linecount++;    /* For BSMTP errors */
575 os_non_restarting_signal(SIGALRM, sigalrm_handler);
576
577 /* If hit end of file, return pseudo EOF command. Whether we have a
578 part-line already read doesn't matter, since this is an error state. */
579
580 if (c == EOF) return EOF_CMD;
581
582 /* Remove any CR and white space at the end of the line, and terminate the
583 string. */
584
585 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
586 smtp_cmd_buffer[ptr] = 0;
587
588 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
589
590 /* NULLs are not allowed in SMTP commands */
591
592 if (hadnull) return BADCHAR_CMD;
593
594 /* Scan command list and return identity, having set the data pointer
595 to the start of the actual data characters. Check for SMTP synchronization
596 if required. */
597
598 for (p = cmd_list; p < cmd_list_end; p++)
599   {
600   if (strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0 &&
601        (smtp_cmd_buffer[p->len-1] == ':' ||   /* "mail from:" or "rcpt to:" */
602         smtp_cmd_buffer[p->len] == 0 ||
603         smtp_cmd_buffer[p->len] == ' '))
604     {
605     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
606         p->cmd < sync_cmd_limit &&                     /* Command should sync */
607         check_sync &&                                  /* Local flag set */
608         smtp_enforce_sync &&                           /* Global flag set */
609         sender_host_address != NULL &&                 /* Not local input */
610         !sender_host_notsocket)                        /* Really is a socket */
611       return BADSYN_CMD;
612
613     /* The variables $smtp_command and $smtp_command_argument point into the
614     unmodified input buffer. A copy of the latter is taken for actual
615     processing, so that it can be chopped up into separate parts if necessary,
616     for example, when processing a MAIL command options such as SIZE that can
617     follow the sender address. */
618
619     smtp_cmd_argument = smtp_cmd_buffer + p->len;
620     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
621     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
622     smtp_cmd_data = smtp_data_buffer;
623
624     /* Count non-mail commands from those hosts that are controlled in this
625     way. The default is all hosts. We don't waste effort checking the list
626     until we get a non-mail command, but then cache the result to save checking
627     again. If there's a DEFER while checking the host, assume it's in the list.
628
629     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
630     start of each incoming message by fiddling with the value in the table. */
631
632     if (!p->is_mail_cmd)
633       {
634       if (count_nonmail == TRUE_UNSET) count_nonmail =
635         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
636       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
637         return TOO_MANY_NONMAIL_CMD;
638       }
639
640     /* If there is data for a command that does not expect it, generate the
641     error here. */
642
643     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
644     }
645   }
646
647 /* Enforce synchronization for unknown commands */
648
649 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
650     check_sync &&                                  /* Local flag set */
651     smtp_enforce_sync &&                           /* Global flag set */
652     sender_host_address != NULL &&                 /* Not local input */
653     !sender_host_notsocket)                        /* Really is a socket */
654   return BADSYN_CMD;
655
656 return OTHER_CMD;
657 }
658
659
660
661 /*************************************************
662 *          Recheck synchronization               *
663 *************************************************/
664
665 /* Synchronization checks can never be perfect because a packet may be on its
666 way but not arrived when the check is done. Such checks can in any case only be
667 done when TLS is not in use. Normally, the checks happen when commands are
668 read: Exim ensures that there is no more input in the input buffer. In normal
669 cases, the response to the command will be fast, and there is no further check.
670
671 However, for some commands an ACL is run, and that can include delays. In those
672 cases, it is useful to do another check on the input just before sending the
673 response. This also applies at the start of a connection. This function does
674 that check by means of the select() function, as long as the facility is not
675 disabled or inappropriate. A failure of select() is ignored.
676
677 When there is unwanted input, we read it so that it appears in the log of the
678 error.
679
680 Arguments: none
681 Returns:   TRUE if all is well; FALSE if there is input pending
682 */
683
684 static BOOL
685 check_sync(void)
686 {
687 int fd, rc;
688 fd_set fds;
689 struct timeval tzero;
690
691 if (!smtp_enforce_sync || sender_host_address == NULL ||
692     sender_host_notsocket || tls_active >= 0)
693   return TRUE;
694
695 fd = fileno(smtp_in);
696 FD_ZERO(&fds);
697 FD_SET(fd, &fds);
698 tzero.tv_sec = 0;
699 tzero.tv_usec = 0;
700 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
701
702 if (rc <= 0) return TRUE;     /* Not ready to read */
703 rc = smtp_getc();
704 if (rc < 0) return TRUE;      /* End of file or error */
705
706 smtp_ungetc(rc);
707 rc = smtp_inend - smtp_inptr;
708 if (rc > 150) rc = 150;
709 smtp_inptr[rc] = 0;
710 return FALSE;
711 }
712
713
714
715 /*************************************************
716 *          Forced closedown of call              *
717 *************************************************/
718
719 /* This function is called from log.c when Exim is dying because of a serious
720 disaster, and also from some other places. If an incoming non-batched SMTP
721 channel is open, it swallows the rest of the incoming message if in the DATA
722 phase, sends the reply string, and gives an error to all subsequent commands
723 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
724 smtp_in.
725
726 Arguments:
727   message   SMTP reply string to send, excluding the code
728
729 Returns:    nothing
730 */
731
732 void
733 smtp_closedown(uschar *message)
734 {
735 if (smtp_in == NULL || smtp_batched_input) return;
736 receive_swallow_smtp();
737 smtp_printf("421 %s\r\n", message);
738
739 for (;;)
740   {
741   switch(smtp_read_command(FALSE))
742     {
743     case EOF_CMD:
744     return;
745
746     case QUIT_CMD:
747     smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
748     mac_smtp_fflush();
749     return;
750
751     case RSET_CMD:
752     smtp_printf("250 Reset OK\r\n");
753     break;
754
755     default:
756     smtp_printf("421 %s\r\n", message);
757     break;
758     }
759   }
760 }
761
762
763
764
765 /*************************************************
766 *        Set up connection info for logging      *
767 *************************************************/
768
769 /* This function is called when logging information about an SMTP connection.
770 It sets up appropriate source information, depending on the type of connection.
771 If sender_fullhost is NULL, we are at a very early stage of the connection;
772 just use the IP address.
773
774 Argument:    none
775 Returns:     a string describing the connection
776 */
777
778 uschar *
779 smtp_get_connection_info(void)
780 {
781 uschar *hostname = (sender_fullhost == NULL)?
782   sender_host_address : sender_fullhost;
783
784 if (host_checking)
785   return string_sprintf("SMTP connection from %s", hostname);
786
787 if (sender_host_unknown || sender_host_notsocket)
788   return string_sprintf("SMTP connection from %s", sender_ident);
789
790 if (is_inetd)
791   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
792
793 if ((log_extra_selector & LX_incoming_interface) != 0 &&
794      interface_address != NULL)
795   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
796     interface_address, interface_port);
797
798 return string_sprintf("SMTP connection from %s", hostname);
799 }
800
801
802
803 /*************************************************
804 *      Log lack of MAIL if so configured         *
805 *************************************************/
806
807 /* This function is called when an SMTP session ends. If the log selector
808 smtp_no_mail is set, write a log line giving some details of what has happened
809 in the SMTP session.
810
811 Arguments:   none
812 Returns:     nothing
813 */
814
815 void
816 smtp_log_no_mail(void)
817 {
818 int size, ptr, i;
819 uschar *s, *sep;
820
821 if (smtp_mailcmd_count > 0 || (log_extra_selector & LX_smtp_no_mail) == 0)
822   return;
823
824 s = NULL;
825 size = ptr = 0;
826
827 if (sender_host_authenticated != NULL)
828   {
829   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
830   if (authenticated_id != NULL)
831     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
832   }
833
834 #ifdef SUPPORT_TLS
835 if ((log_extra_selector & LX_tls_cipher) != 0 && tls_cipher != NULL)
836   s = string_append(s, &size, &ptr, 2, US" X=", tls_cipher);
837 if ((log_extra_selector & LX_tls_certificate_verified) != 0 &&
838      tls_cipher != NULL)
839   s = string_append(s, &size, &ptr, 2, US" CV=",
840     tls_certificate_verified? "yes":"no");
841 if ((log_extra_selector & LX_tls_peerdn) != 0 && tls_peerdn != NULL)
842   s = string_append(s, &size, &ptr, 3, US" DN=\"",
843     string_printing(tls_peerdn), US"\"");
844 #endif
845
846 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
847   US" C=..." : US" C=";
848 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
849   {
850   if (smtp_connection_had[i] != SCH_NONE)
851     {
852     s = string_append(s, &size, &ptr, 2, sep,
853       smtp_names[smtp_connection_had[i]]);
854     sep = US",";
855     }
856   }
857
858 for (i = 0; i < smtp_ch_index; i++)
859   {
860   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
861   sep = US",";
862   }
863
864 if (s != NULL) s[ptr] = 0; else s = US"";
865 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
866   host_and_ident(FALSE),
867   readconf_printtime(time(NULL) - smtp_connection_start), s);
868 }
869
870
871
872 /*************************************************
873 *   Check HELO line and set sender_helo_name     *
874 *************************************************/
875
876 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
877 the domain name of the sending host, or an ip literal in square brackets. The
878 arrgument is placed in sender_helo_name, which is in malloc store, because it
879 must persist over multiple incoming messages. If helo_accept_junk is set, this
880 host is permitted to send any old junk (needed for some broken hosts).
881 Otherwise, helo_allow_chars can be used for rogue characters in general
882 (typically people want to let in underscores).
883
884 Argument:
885   s       the data portion of the line (already past any white space)
886
887 Returns:  TRUE or FALSE
888 */
889
890 static BOOL
891 check_helo(uschar *s)
892 {
893 uschar *start = s;
894 uschar *end = s + Ustrlen(s);
895 BOOL yield = helo_accept_junk;
896
897 /* Discard any previous helo name */
898
899 if (sender_helo_name != NULL)
900   {
901   store_free(sender_helo_name);
902   sender_helo_name = NULL;
903   }
904
905 /* Skip tests if junk is permitted. */
906
907 if (!yield)
908   {
909   /* Allow the new standard form for IPv6 address literals, namely,
910   [IPv6:....], and because someone is bound to use it, allow an equivalent
911   IPv4 form. Allow plain addresses as well. */
912
913   if (*s == '[')
914     {
915     if (end[-1] == ']')
916       {
917       end[-1] = 0;
918       if (strncmpic(s, US"[IPv6:", 6) == 0)
919         yield = (string_is_ip_address(s+6, NULL) == 6);
920       else if (strncmpic(s, US"[IPv4:", 6) == 0)
921         yield = (string_is_ip_address(s+6, NULL) == 4);
922       else
923         yield = (string_is_ip_address(s+1, NULL) != 0);
924       end[-1] = ']';
925       }
926     }
927
928   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
929   that have been configured (usually underscore - sigh). */
930
931   else if (*s != 0)
932     {
933     yield = TRUE;
934     while (*s != 0)
935       {
936       if (!isalnum(*s) && *s != '.' && *s != '-' &&
937           Ustrchr(helo_allow_chars, *s) == NULL)
938         {
939         yield = FALSE;
940         break;
941         }
942       s++;
943       }
944     }
945   }
946
947 /* Save argument if OK */
948
949 if (yield) sender_helo_name = string_copy_malloc(start);
950 return yield;
951 }
952
953
954
955
956
957 /*************************************************
958 *         Extract SMTP command option            *
959 *************************************************/
960
961 /* This function picks the next option setting off the end of smtp_cmd_data. It
962 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
963 things that can appear there.
964
965 Arguments:
966    name           point this at the name
967    value          point this at the data string
968
969 Returns:          TRUE if found an option
970 */
971
972 static BOOL
973 extract_option(uschar **name, uschar **value)
974 {
975 uschar *n;
976 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
977 while (isspace(*v)) v--;
978 v[1] = 0;
979
980 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
981 if (*v != '=') return FALSE;
982
983 n = v;
984 while(isalpha(n[-1])) n--;
985
986 if (n[-1] != ' ') return FALSE;
987
988 n[-1] = 0;
989 *name = n;
990 *v++ = 0;
991 *value = v;
992 return TRUE;
993 }
994
995
996
997
998
999 /*************************************************
1000 *         Reset for new message                  *
1001 *************************************************/
1002
1003 /* This function is called whenever the SMTP session is reset from
1004 within either of the setup functions.
1005
1006 Argument:   the stacking pool storage reset point
1007 Returns:    nothing
1008 */
1009
1010 static void
1011 smtp_reset(void *reset_point)
1012 {
1013 store_reset(reset_point);
1014 recipients_list = NULL;
1015 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1016   raw_recipients_count = recipients_count = recipients_list_max = 0;
1017 message_linecount = 0;
1018 message_size = -1;
1019 acl_added_headers = NULL;
1020 queue_only_policy = FALSE;
1021 rcpt_smtp_response = NULL;
1022 rcpt_smtp_response_same = TRUE;
1023 rcpt_in_progress = FALSE;
1024 deliver_freeze = FALSE;                              /* Can be set by ACL */
1025 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1026 fake_response = OK;                                  /* Can be set by ACL */
1027 #ifdef WITH_CONTENT_SCAN
1028 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1029 #endif
1030 submission_mode = FALSE;                             /* Can be set by ACL */
1031 suppress_local_fixups = FALSE;                       /* Can be set by ACL */
1032 active_local_from_check = local_from_check;          /* Can be set by ACL */
1033 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1034 sender_address = NULL;
1035 submission_name = NULL;                              /* Can be set by ACL */
1036 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1037 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1038 sender_verified_list = NULL;        /* No senders verified */
1039 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1040 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1041 authenticated_sender = NULL;
1042 #ifdef EXPERIMENTAL_BRIGHTMAIL
1043 bmi_run = 0;
1044 bmi_verdicts = NULL;
1045 #endif
1046 #ifndef DISABLE_DKIM
1047 dkim_signers = NULL;
1048 dkim_disable_verify = FALSE;
1049 dkim_collect_input = FALSE;
1050 #endif
1051 #ifdef EXPERIMENTAL_SPF
1052 spf_header_comment = NULL;
1053 spf_received = NULL;
1054 spf_result = NULL;
1055 spf_smtp_comment = NULL;
1056 #endif
1057 body_linecount = body_zerocount = 0;
1058
1059 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1060 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1061                    /* Note that ratelimiters_conn persists across resets. */
1062
1063 /* Reset message ACL variables */
1064
1065 acl_var_m = NULL;
1066
1067 /* The message body variables use malloc store. They may be set if this is
1068 not the first message in an SMTP session and the previous message caused them
1069 to be referenced in an ACL. */
1070
1071 if (message_body != NULL)
1072   {
1073   store_free(message_body);
1074   message_body = NULL;
1075   }
1076
1077 if (message_body_end != NULL)
1078   {
1079   store_free(message_body_end);
1080   message_body_end = NULL;
1081   }
1082
1083 /* Warning log messages are also saved in malloc store. They are saved to avoid
1084 repetition in the same message, but it seems right to repeat them for different
1085 messages. */
1086
1087 while (acl_warn_logged != NULL)
1088   {
1089   string_item *this = acl_warn_logged;
1090   acl_warn_logged = acl_warn_logged->next;
1091   store_free(this);
1092   }
1093 }
1094
1095
1096
1097
1098
1099 /*************************************************
1100 *  Initialize for incoming batched SMTP message  *
1101 *************************************************/
1102
1103 /* This function is called from smtp_setup_msg() in the case when
1104 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1105 of messages in one file with SMTP commands between them. All errors must be
1106 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1107 relevant. After an error on a sender, or an invalid recipient, the remainder
1108 of the message is skipped. The value of received_protocol is already set.
1109
1110 Argument: none
1111 Returns:  > 0 message successfully started (reached DATA)
1112           = 0 QUIT read or end of file reached
1113           < 0 should not occur
1114 */
1115
1116 static int
1117 smtp_setup_batch_msg(void)
1118 {
1119 int done = 0;
1120 void *reset_point = store_get(0);
1121
1122 /* Save the line count at the start of each transaction - single commands
1123 like HELO and RSET count as whole transactions. */
1124
1125 bsmtp_transaction_linecount = receive_linecount;
1126
1127 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1128
1129 smtp_reset(reset_point);                /* Reset for start of message */
1130
1131 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1132 value. The values are 2 larger than the required yield of the function. */
1133
1134 while (done <= 0)
1135   {
1136   uschar *errmess;
1137   uschar *recipient = NULL;
1138   int start, end, sender_domain, recipient_domain;
1139
1140   switch(smtp_read_command(FALSE))
1141     {
1142     /* The HELO/EHLO commands set sender_address_helo if they have
1143     valid data; otherwise they are ignored, except that they do
1144     a reset of the state. */
1145
1146     case HELO_CMD:
1147     case EHLO_CMD:
1148
1149     check_helo(smtp_cmd_data);
1150     /* Fall through */
1151
1152     case RSET_CMD:
1153     smtp_reset(reset_point);
1154     bsmtp_transaction_linecount = receive_linecount;
1155     break;
1156
1157
1158     /* The MAIL FROM command requires an address as an operand. All we
1159     do here is to parse it for syntactic correctness. The form "<>" is
1160     a special case which converts into an empty string. The start/end
1161     pointers in the original are not used further for this address, as
1162     it is the canonical extracted address which is all that is kept. */
1163
1164     case MAIL_CMD:
1165     if (sender_address != NULL)
1166       /* The function moan_smtp_batch() does not return. */
1167       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1168
1169     if (smtp_cmd_data[0] == 0)
1170       /* The function moan_smtp_batch() does not return. */
1171       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1172
1173     /* Reset to start of message */
1174
1175     smtp_reset(reset_point);
1176
1177     /* Apply SMTP rewrite */
1178
1179     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1180       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1181         US"", global_rewrite_rules) : smtp_cmd_data;
1182
1183     /* Extract the address; the TRUE flag allows <> as valid */
1184
1185     raw_sender =
1186       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1187         TRUE);
1188
1189     if (raw_sender == NULL)
1190       /* The function moan_smtp_batch() does not return. */
1191       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1192
1193     sender_address = string_copy(raw_sender);
1194
1195     /* Qualify unqualified sender addresses if permitted to do so. */
1196
1197     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1198       {
1199       if (allow_unqualified_sender)
1200         {
1201         sender_address = rewrite_address_qualify(sender_address, FALSE);
1202         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1203           "and rewritten\n", raw_sender);
1204         }
1205       /* The function moan_smtp_batch() does not return. */
1206       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1207         "a domain");
1208       }
1209     break;
1210
1211
1212     /* The RCPT TO command requires an address as an operand. All we do
1213     here is to parse it for syntactic correctness. There may be any number
1214     of RCPT TO commands, specifying multiple senders. We build them all into
1215     a data structure that is in argc/argv format. The start/end values
1216     given by parse_extract_address are not used, as we keep only the
1217     extracted address. */
1218
1219     case RCPT_CMD:
1220     if (sender_address == NULL)
1221       /* The function moan_smtp_batch() does not return. */
1222       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1223
1224     if (smtp_cmd_data[0] == 0)
1225       /* The function moan_smtp_batch() does not return. */
1226       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1227
1228     /* Check maximum number allowed */
1229
1230     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1231       /* The function moan_smtp_batch() does not return. */
1232       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1233         recipients_max_reject? "552": "452");
1234
1235     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1236     recipient address */
1237
1238     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
1239       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1240         global_rewrite_rules) : smtp_cmd_data;
1241
1242     /* rfc821_domains = TRUE; << no longer needed */
1243     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1244       &recipient_domain, FALSE);
1245     /* rfc821_domains = FALSE; << no longer needed */
1246
1247     if (recipient == NULL)
1248       /* The function moan_smtp_batch() does not return. */
1249       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1250
1251     /* If the recipient address is unqualified, qualify it if permitted. Then
1252     add it to the list of recipients. */
1253
1254     if (recipient_domain == 0)
1255       {
1256       if (allow_unqualified_recipient)
1257         {
1258         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1259           recipient);
1260         recipient = rewrite_address_qualify(recipient, TRUE);
1261         }
1262       /* The function moan_smtp_batch() does not return. */
1263       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1264         "a domain");
1265       }
1266     receive_add_recipient(recipient, -1);
1267     break;
1268
1269
1270     /* The DATA command is legal only if it follows successful MAIL FROM
1271     and RCPT TO commands. This function is complete when a valid DATA
1272     command is encountered. */
1273
1274     case DATA_CMD:
1275     if (sender_address == NULL || recipients_count <= 0)
1276       {
1277       /* The function moan_smtp_batch() does not return. */
1278       if (sender_address == NULL)
1279         moan_smtp_batch(smtp_cmd_buffer,
1280           "503 MAIL FROM:<sender> command must precede DATA");
1281       else
1282         moan_smtp_batch(smtp_cmd_buffer,
1283           "503 RCPT TO:<recipient> must precede DATA");
1284       }
1285     else
1286       {
1287       done = 3;                      /* DATA successfully achieved */
1288       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1289       }
1290     break;
1291
1292
1293     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1294
1295     case VRFY_CMD:
1296     case EXPN_CMD:
1297     case HELP_CMD:
1298     case NOOP_CMD:
1299     case ETRN_CMD:
1300     bsmtp_transaction_linecount = receive_linecount;
1301     break;
1302
1303
1304     case EOF_CMD:
1305     case QUIT_CMD:
1306     done = 2;
1307     break;
1308
1309
1310     case BADARG_CMD:
1311     /* The function moan_smtp_batch() does not return. */
1312     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1313     break;
1314
1315
1316     case BADCHAR_CMD:
1317     /* The function moan_smtp_batch() does not return. */
1318     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1319     break;
1320
1321
1322     default:
1323     /* The function moan_smtp_batch() does not return. */
1324     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1325     break;
1326     }
1327   }
1328
1329 return done - 2;  /* Convert yield values */
1330 }
1331
1332
1333
1334
1335 /*************************************************
1336 *          Start an SMTP session                 *
1337 *************************************************/
1338
1339 /* This function is called at the start of an SMTP session. Thereafter,
1340 smtp_setup_msg() is called to initiate each separate message. This
1341 function does host-specific testing, and outputs the banner line.
1342
1343 Arguments:     none
1344 Returns:       FALSE if the session can not continue; something has
1345                gone wrong, or the connection to the host is blocked
1346 */
1347
1348 BOOL
1349 smtp_start_session(void)
1350 {
1351 int size = 256;
1352 int ptr, esclen;
1353 uschar *user_msg, *log_msg;
1354 uschar *code, *esc;
1355 uschar *p, *s, *ss;
1356
1357 smtp_connection_start = time(NULL);
1358 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
1359   smtp_connection_had[smtp_ch_index] = SCH_NONE;
1360 smtp_ch_index = 0;
1361
1362 /* Default values for certain variables */
1363
1364 helo_seen = esmtp = helo_accept_junk = FALSE;
1365 smtp_mailcmd_count = 0;
1366 count_nonmail = TRUE_UNSET;
1367 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
1368 smtp_delay_mail = smtp_rlm_base;
1369 auth_advertised = FALSE;
1370 pipelining_advertised = FALSE;
1371 pipelining_enable = TRUE;
1372 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
1373 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
1374
1375 memset(sender_host_cache, 0, sizeof(sender_host_cache));
1376
1377 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
1378 authentication settings from -oMaa to remain in force. */
1379
1380 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
1381 authenticated_by = NULL;
1382
1383 #ifdef SUPPORT_TLS
1384 tls_cipher = tls_peerdn = NULL;
1385 tls_advertised = FALSE;
1386 #endif
1387
1388 /* Reset ACL connection variables */
1389
1390 acl_var_c = NULL;
1391
1392 /* Allow for trailing 0 in the command and data buffers. */
1393
1394 smtp_cmd_buffer = (uschar *)malloc(2*smtp_cmd_buffer_size + 2);
1395 if (smtp_cmd_buffer == NULL)
1396   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1397     "malloc() failed for SMTP command buffer");
1398 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
1399
1400 /* For batched input, the protocol setting can be overridden from the
1401 command line by a trusted caller. */
1402
1403 if (smtp_batched_input)
1404   {
1405   if (received_protocol == NULL) received_protocol = US"local-bsmtp";
1406   }
1407
1408 /* For non-batched SMTP input, the protocol setting is forced here. It will be
1409 reset later if any of EHLO/AUTH/STARTTLS are received. */
1410
1411 else
1412   received_protocol =
1413     protocols[pnormal] + ((sender_host_address != NULL)? pnlocal : 0);
1414
1415 /* Set up the buffer for inputting using direct read() calls, and arrange to
1416 call the local functions instead of the standard C ones. */
1417
1418 smtp_inbuffer = (uschar *)malloc(in_buffer_size);
1419 if (smtp_inbuffer == NULL)
1420   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
1421 receive_getc = smtp_getc;
1422 receive_ungetc = smtp_ungetc;
1423 receive_feof = smtp_feof;
1424 receive_ferror = smtp_ferror;
1425 receive_smtp_buffered = smtp_buffered;
1426 smtp_inptr = smtp_inend = smtp_inbuffer;
1427 smtp_had_eof = smtp_had_error = 0;
1428
1429 /* Set up the message size limit; this may be host-specific */
1430
1431 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
1432 if (expand_string_message != NULL)
1433   {
1434   if (thismessage_size_limit == -1)
1435     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
1436       "%s", expand_string_message);
1437   else
1438     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
1439       "%s", expand_string_message);
1440   smtp_closedown(US"Temporary local problem - please try later");
1441   return FALSE;
1442   }
1443
1444 /* When a message is input locally via the -bs or -bS options, sender_host_
1445 unknown is set unless -oMa was used to force an IP address, in which case it
1446 is checked like a real remote connection. When -bs is used from inetd, this
1447 flag is not set, causing the sending host to be checked. The code that deals
1448 with IP source routing (if configured) is never required for -bs or -bS and
1449 the flag sender_host_notsocket is used to suppress it.
1450
1451 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
1452 reserve for certain hosts and/or networks. */
1453
1454 if (!sender_host_unknown)
1455   {
1456   int rc;
1457   BOOL reserved_host = FALSE;
1458
1459   /* Look up IP options (source routing info) on the socket if this is not an
1460   -oMa "host", and if any are found, log them and drop the connection.
1461
1462   Linux (and others now, see below) is different to everyone else, so there
1463   has to be some conditional compilation here. Versions of Linux before 2.1.15
1464   used a structure whose name was "options". Somebody finally realized that
1465   this name was silly, and it got changed to "ip_options". I use the
1466   newer name here, but there is a fudge in the script that sets up os.h
1467   to define a macro in older Linux systems.
1468
1469   Sigh. Linux is a fast-moving target. Another generation of Linux uses
1470   glibc 2, which has chosen ip_opts for the structure name. This is now
1471   really a glibc thing rather than a Linux thing, so the condition name
1472   has been changed to reflect this. It is relevant also to GNU/Hurd.
1473
1474   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
1475   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
1476   a special macro defined in the os.h file.
1477
1478   Some DGUX versions on older hardware appear not to support IP options at
1479   all, so there is now a general macro which can be set to cut out this
1480   support altogether.
1481
1482   How to do this properly in IPv6 is not yet known. */
1483
1484   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
1485
1486   #ifdef GLIBC_IP_OPTIONS
1487     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
1488     #define OPTSTYLE 1
1489     #else
1490     #define OPTSTYLE 2
1491     #endif
1492   #elif defined DARWIN_IP_OPTIONS
1493     #define OPTSTYLE 2
1494   #else
1495     #define OPTSTYLE 3
1496   #endif
1497
1498   if (!host_checking && !sender_host_notsocket)
1499     {
1500     #if OPTSTYLE == 1
1501     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
1502     struct ip_options *ipopt = store_get(optlen);
1503     #elif OPTSTYLE == 2
1504     struct ip_opts ipoptblock;
1505     struct ip_opts *ipopt = &ipoptblock;
1506     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1507     #else
1508     struct ipoption ipoptblock;
1509     struct ipoption *ipopt = &ipoptblock;
1510     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1511     #endif
1512
1513     /* Occasional genuine failures of getsockopt() have been seen - for
1514     example, "reset by peer". Therefore, just log and give up on this
1515     call, unless the error is ENOPROTOOPT. This error is given by systems
1516     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
1517     of writing. So for that error, carry on - we just can't do an IP options
1518     check. */
1519
1520     DEBUG(D_receive) debug_printf("checking for IP options\n");
1521
1522     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
1523           &optlen) < 0)
1524       {
1525       if (errno != ENOPROTOOPT)
1526         {
1527         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
1528           host_and_ident(FALSE), strerror(errno));
1529         smtp_printf("451 SMTP service not available\r\n");
1530         return FALSE;
1531         }
1532       }
1533
1534     /* Deal with any IP options that are set. On the systems I have looked at,
1535     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
1536     more logging data than will fit in big_buffer. Nevertheless, after somebody
1537     questioned this code, I've added in some paranoid checking. */
1538
1539     else if (optlen > 0)
1540       {
1541       uschar *p = big_buffer;
1542       uschar *pend = big_buffer + big_buffer_size;
1543       uschar *opt, *adptr;
1544       int optcount;
1545       struct in_addr addr;
1546
1547       #if OPTSTYLE == 1
1548       uschar *optstart = (uschar *)(ipopt->__data);
1549       #elif OPTSTYLE == 2
1550       uschar *optstart = (uschar *)(ipopt->ip_opts);
1551       #else
1552       uschar *optstart = (uschar *)(ipopt->ipopt_list);
1553       #endif
1554
1555       DEBUG(D_receive) debug_printf("IP options exist\n");
1556
1557       Ustrcpy(p, "IP options on incoming call:");
1558       p += Ustrlen(p);
1559
1560       for (opt = optstart; opt != NULL &&
1561            opt < (uschar *)(ipopt) + optlen;)
1562         {
1563         switch (*opt)
1564           {
1565           case IPOPT_EOL:
1566           opt = NULL;
1567           break;
1568
1569           case IPOPT_NOP:
1570           opt++;
1571           break;
1572
1573           case IPOPT_SSRR:
1574           case IPOPT_LSRR:
1575           if (!string_format(p, pend-p, " %s [@%s",
1576                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
1577                #if OPTSTYLE == 1
1578                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
1579                #elif OPTSTYLE == 2
1580                inet_ntoa(ipopt->ip_dst)))
1581                #else
1582                inet_ntoa(ipopt->ipopt_dst)))
1583                #endif
1584             {
1585             opt = NULL;
1586             break;
1587             }
1588
1589           p += Ustrlen(p);
1590           optcount = (opt[1] - 3) / sizeof(struct in_addr);
1591           adptr = opt + 3;
1592           while (optcount-- > 0)
1593             {
1594             memcpy(&addr, adptr, sizeof(addr));
1595             if (!string_format(p, pend - p - 1, "%s%s",
1596                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
1597               {
1598               opt = NULL;
1599               break;
1600               }
1601             p += Ustrlen(p);
1602             adptr += sizeof(struct in_addr);
1603             }
1604           *p++ = ']';
1605           opt += opt[1];
1606           break;
1607
1608           default:
1609             {
1610             int i;
1611             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
1612             Ustrcat(p, "[ ");
1613             p += 2;
1614             for (i = 0; i < opt[1]; i++)
1615               {
1616               sprintf(CS p, "%2.2x ", opt[i]);
1617               p += 3;
1618               }
1619             *p++ = ']';
1620             }
1621           opt += opt[1];
1622           break;
1623           }
1624         }
1625
1626       *p = 0;
1627       log_write(0, LOG_MAIN, "%s", big_buffer);
1628
1629       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
1630
1631       log_write(0, LOG_MAIN|LOG_REJECT,
1632         "connection from %s refused (IP options)", host_and_ident(FALSE));
1633
1634       smtp_printf("554 SMTP service not available\r\n");
1635       return FALSE;
1636       }
1637
1638     /* Length of options = 0 => there are no options */
1639
1640     else DEBUG(D_receive) debug_printf("no IP options found\n");
1641     }
1642   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
1643
1644   /* Set keep-alive in socket options. The option is on by default. This
1645   setting is an attempt to get rid of some hanging connections that stick in
1646   read() when the remote end (usually a dialup) goes away. */
1647
1648   if (smtp_accept_keepalive && !sender_host_notsocket)
1649     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
1650
1651   /* If the current host matches host_lookup, set the name by doing a
1652   reverse lookup. On failure, sender_host_name will be NULL and
1653   host_lookup_failed will be TRUE. This may or may not be serious - optional
1654   checks later. */
1655
1656   if (verify_check_host(&host_lookup) == OK)
1657     {
1658     (void)host_name_lookup();
1659     host_build_sender_fullhost();
1660     }
1661
1662   /* Delay this until we have the full name, if it is looked up. */
1663
1664   set_process_info("handling incoming connection from %s",
1665     host_and_ident(FALSE));
1666
1667   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
1668   smtps port for use with older style SSL MTAs. */
1669
1670   #ifdef SUPPORT_TLS
1671   if (tls_on_connect &&
1672       tls_server_start(tls_require_ciphers,
1673         gnutls_require_mac, gnutls_require_kx, gnutls_require_proto) != OK)
1674     return FALSE;
1675   #endif
1676
1677   /* Test for explicit connection rejection */
1678
1679   if (verify_check_host(&host_reject_connection) == OK)
1680     {
1681     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
1682       "from %s (host_reject_connection)", host_and_ident(FALSE));
1683     smtp_printf("554 SMTP service not available\r\n");
1684     return FALSE;
1685     }
1686
1687   /* Test with TCP Wrappers if so configured. There is a problem in that
1688   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
1689   such as disks dying. In these cases, it is desirable to reject with a 4xx
1690   error instead of a 5xx error. There isn't a "right" way to detect such
1691   problems. The following kludge is used: errno is zeroed before calling
1692   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
1693   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
1694   not exist). */
1695
1696   #ifdef USE_TCP_WRAPPERS
1697   errno = 0;
1698   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
1699   if (tcp_wrappers_name == NULL)
1700     {
1701     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
1702       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
1703         expand_string_message);
1704     }
1705   if (!hosts_ctl(tcp_wrappers_name,
1706          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
1707          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
1708          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
1709     {
1710     if (errno == 0 || errno == ENOENT)
1711       {
1712       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
1713       log_write(L_connection_reject,
1714                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
1715                 "(tcp wrappers)", host_and_ident(FALSE));
1716       smtp_printf("554 SMTP service not available\r\n");
1717       }
1718     else
1719       {
1720       int save_errno = errno;
1721       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
1722         "errno value %d\n", save_errno);
1723       log_write(L_connection_reject,
1724                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
1725                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
1726       smtp_printf("451 Temporary local problem - please try later\r\n");
1727       }
1728     return FALSE;
1729     }
1730   #endif
1731
1732   /* Check for reserved slots. The value of smtp_accept_count has already been
1733   incremented to include this process. */
1734
1735   if (smtp_accept_max > 0 &&
1736       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
1737     {
1738     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
1739       {
1740       log_write(L_connection_reject,
1741         LOG_MAIN, "temporarily refused connection from %s: not in "
1742         "reserve list: connected=%d max=%d reserve=%d%s",
1743         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
1744         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
1745       smtp_printf("421 %s: Too many concurrent SMTP connections; "
1746         "please try again later\r\n", smtp_active_hostname);
1747       return FALSE;
1748       }
1749     reserved_host = TRUE;
1750     }
1751
1752   /* If a load level above which only messages from reserved hosts are
1753   accepted is set, check the load. For incoming calls via the daemon, the
1754   check is done in the superior process if there are no reserved hosts, to
1755   save a fork. In all cases, the load average will already be available
1756   in a global variable at this point. */
1757
1758   if (smtp_load_reserve >= 0 &&
1759        load_average > smtp_load_reserve &&
1760        !reserved_host &&
1761        verify_check_host(&smtp_reserve_hosts) != OK)
1762     {
1763     log_write(L_connection_reject,
1764       LOG_MAIN, "temporarily refused connection from %s: not in "
1765       "reserve list and load average = %.2f", host_and_ident(FALSE),
1766       (double)load_average/1000.0);
1767     smtp_printf("421 %s: Too much load; please try again later\r\n",
1768       smtp_active_hostname);
1769     return FALSE;
1770     }
1771
1772   /* Determine whether unqualified senders or recipients are permitted
1773   for this host. Unfortunately, we have to do this every time, in order to
1774   set the flags so that they can be inspected when considering qualifying
1775   addresses in the headers. For a site that permits no qualification, this
1776   won't take long, however. */
1777
1778   allow_unqualified_sender =
1779     verify_check_host(&sender_unqualified_hosts) == OK;
1780
1781   allow_unqualified_recipient =
1782     verify_check_host(&recipient_unqualified_hosts) == OK;
1783
1784   /* Determine whether HELO/EHLO is required for this host. The requirement
1785   can be hard or soft. */
1786
1787   helo_required = verify_check_host(&helo_verify_hosts) == OK;
1788   if (!helo_required)
1789     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
1790
1791   /* Determine whether this hosts is permitted to send syntactic junk
1792   after a HELO or EHLO command. */
1793
1794   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
1795   }
1796
1797 /* For batch SMTP input we are now done. */
1798
1799 if (smtp_batched_input) return TRUE;
1800
1801 /* Run the ACL if it exists */
1802
1803 user_msg = NULL;
1804 if (acl_smtp_connect != NULL)
1805   {
1806   int rc;
1807   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
1808     &log_msg);
1809   if (rc != OK)
1810     {
1811     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
1812     return FALSE;
1813     }
1814   }
1815
1816 /* Output the initial message for a two-way SMTP connection. It may contain
1817 newlines, which then cause a multi-line response to be given. */
1818
1819 code = US"220";   /* Default status code */
1820 esc = US"";       /* Default extended status code */
1821 esclen = 0;       /* Length of esc */
1822
1823 if (user_msg == NULL)
1824   {
1825   s = expand_string(smtp_banner);
1826   if (s == NULL)
1827     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
1828       "failed: %s", smtp_banner, expand_string_message);
1829   }
1830 else
1831   {
1832   int codelen = 3;
1833   s = user_msg;
1834   smtp_message_code(&code, &codelen, &s, NULL);
1835   if (codelen > 4)
1836     {
1837     esc = code + 4;
1838     esclen = codelen - 4;
1839     }
1840   }
1841
1842 /* Remove any terminating newlines; might as well remove trailing space too */
1843
1844 p = s + Ustrlen(s);
1845 while (p > s && isspace(p[-1])) p--;
1846 *p = 0;
1847
1848 /* It seems that CC:Mail is braindead, and assumes that the greeting message
1849 is all contained in a single IP packet. The original code wrote out the
1850 greeting using several calls to fprint/fputc, and on busy servers this could
1851 cause it to be split over more than one packet - which caused CC:Mail to fall
1852 over when it got the second part of the greeting after sending its first
1853 command. Sigh. To try to avoid this, build the complete greeting message
1854 first, and output it in one fell swoop. This gives a better chance of it
1855 ending up as a single packet. */
1856
1857 ss = store_get(size);
1858 ptr = 0;
1859
1860 p = s;
1861 do       /* At least once, in case we have an empty string */
1862   {
1863   int len;
1864   uschar *linebreak = Ustrchr(p, '\n');
1865   ss = string_cat(ss, &size, &ptr, code, 3);
1866   if (linebreak == NULL)
1867     {
1868     len = Ustrlen(p);
1869     ss = string_cat(ss, &size, &ptr, US" ", 1);
1870     }
1871   else
1872     {
1873     len = linebreak - p;
1874     ss = string_cat(ss, &size, &ptr, US"-", 1);
1875     }
1876   ss = string_cat(ss, &size, &ptr, esc, esclen);
1877   ss = string_cat(ss, &size, &ptr, p, len);
1878   ss = string_cat(ss, &size, &ptr, US"\r\n", 2);
1879   p += len;
1880   if (linebreak != NULL) p++;
1881   }
1882 while (*p != 0);
1883
1884 ss[ptr] = 0;  /* string_cat leaves room for this */
1885
1886 /* Before we write the banner, check that there is no input pending, unless
1887 this synchronisation check is disabled. */
1888
1889 if (!check_sync())
1890   {
1891   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
1892     "synchronization error (input sent without waiting for greeting): "
1893     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
1894     string_printing(smtp_inptr));
1895   smtp_printf("554 SMTP synchronization error\r\n");
1896   return FALSE;
1897   }
1898
1899 /* Now output the banner */
1900
1901 smtp_printf("%s", ss);
1902 return TRUE;
1903 }
1904
1905
1906
1907
1908
1909 /*************************************************
1910 *     Handle SMTP syntax and protocol errors     *
1911 *************************************************/
1912
1913 /* Write to the log for SMTP syntax errors in incoming commands, if configured
1914 to do so. Then transmit the error response. The return value depends on the
1915 number of syntax and protocol errors in this SMTP session.
1916
1917 Arguments:
1918   type      error type, given as a log flag bit
1919   code      response code; <= 0 means don't send a response
1920   data      data to reflect in the response (can be NULL)
1921   errmess   the error message
1922
1923 Returns:    -1   limit of syntax/protocol errors NOT exceeded
1924             +1   limit of syntax/protocol errors IS exceeded
1925
1926 These values fit in with the values of the "done" variable in the main
1927 processing loop in smtp_setup_msg(). */
1928
1929 static int
1930 synprot_error(int type, int code, uschar *data, uschar *errmess)
1931 {
1932 int yield = -1;
1933
1934 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
1935   (type == L_smtp_syntax_error)? "syntax" : "protocol",
1936   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
1937
1938 if (++synprot_error_count > smtp_max_synprot_errors)
1939   {
1940   yield = 1;
1941   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
1942     "syntax or protocol errors (last command was \"%s\")",
1943     host_and_ident(FALSE), smtp_cmd_buffer);
1944   }
1945
1946 if (code > 0)
1947   {
1948   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
1949     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
1950   if (yield == 1)
1951     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
1952   }
1953
1954 return yield;
1955 }
1956
1957
1958
1959
1960 /*************************************************
1961 *          Log incomplete transactions           *
1962 *************************************************/
1963
1964 /* This function is called after a transaction has been aborted by RSET, QUIT,
1965 connection drops or other errors. It logs the envelope information received
1966 so far in order to preserve address verification attempts.
1967
1968 Argument:   string to indicate what aborted the transaction
1969 Returns:    nothing
1970 */
1971
1972 static void
1973 incomplete_transaction_log(uschar *what)
1974 {
1975 if (sender_address == NULL ||                 /* No transaction in progress */
1976     (log_write_selector & L_smtp_incomplete_transaction) == 0  /* Not logging */
1977   ) return;
1978
1979 /* Build list of recipients for logging */
1980
1981 if (recipients_count > 0)
1982   {
1983   int i;
1984   raw_recipients = store_get(recipients_count * sizeof(uschar *));
1985   for (i = 0; i < recipients_count; i++)
1986     raw_recipients[i] = recipients_list[i].address;
1987   raw_recipients_count = recipients_count;
1988   }
1989
1990 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
1991   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
1992 }
1993
1994
1995
1996
1997 /*************************************************
1998 *    Send SMTP response, possibly multiline      *
1999 *************************************************/
2000
2001 /* There are, it seems, broken clients out there that cannot handle multiline
2002 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2003 output nothing for non-final calls, and only the first line for anything else.
2004
2005 Arguments:
2006   code          SMTP code, may involve extended status codes
2007   codelen       length of smtp code; if > 4 there's an ESC
2008   final         FALSE if the last line isn't the final line
2009   msg           message text, possibly containing newlines
2010
2011 Returns:        nothing
2012 */
2013
2014 void
2015 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2016 {
2017 int esclen = 0;
2018 uschar *esc = US"";
2019
2020 if (!final && no_multiline_responses) return;
2021
2022 if (codelen > 4)
2023   {
2024   esc = code + 4;
2025   esclen = codelen - 4;
2026   }
2027
2028 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2029 have had the same. Note: this code is also present in smtp_printf(). It would
2030 be tidier to have it only in one place, but when it was added, it was easier to
2031 do it that way, so as not to have to mess with the code for the RCPT command,
2032 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2033
2034 if (rcpt_in_progress)
2035   {
2036   if (rcpt_smtp_response == NULL)
2037     rcpt_smtp_response = string_copy(msg);
2038   else if (rcpt_smtp_response_same &&
2039            Ustrcmp(rcpt_smtp_response, msg) != 0)
2040     rcpt_smtp_response_same = FALSE;
2041   rcpt_in_progress = FALSE;
2042   }
2043
2044 /* Not output the message, splitting it up into multiple lines if necessary. */
2045
2046 for (;;)
2047   {
2048   uschar *nl = Ustrchr(msg, '\n');
2049   if (nl == NULL)
2050     {
2051     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2052     return;
2053     }
2054   else if (nl[1] == 0 || no_multiline_responses)
2055     {
2056     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2057       (int)(nl - msg), msg);
2058     return;
2059     }
2060   else
2061     {
2062     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2063     msg = nl + 1;
2064     while (isspace(*msg)) msg++;
2065     }
2066   }
2067 }
2068
2069
2070
2071
2072 /*************************************************
2073 *            Parse user SMTP message             *
2074 *************************************************/
2075
2076 /* This function allows for user messages overriding the response code details
2077 by providing a suitable response code string at the start of the message
2078 user_msg. Check the message for starting with a response code and optionally an
2079 extended status code. If found, check that the first digit is valid, and if so,
2080 change the code pointer and length to use the replacement. An invalid code
2081 causes a panic log; in this case, if the log messages is the same as the user
2082 message, we must also adjust the value of the log message to show the code that
2083 is actually going to be used (the original one).
2084
2085 This function is global because it is called from receive.c as well as within
2086 this module.
2087
2088 Note that the code length returned includes the terminating whitespace
2089 character, which is always included in the regex match.
2090
2091 Arguments:
2092   code          SMTP code, may involve extended status codes
2093   codelen       length of smtp code; if > 4 there's an ESC
2094   msg           message text
2095   log_msg       optional log message, to be adjusted with the new SMTP code
2096
2097 Returns:        nothing
2098 */
2099
2100 void
2101 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg)
2102 {
2103 int n;
2104 int ovector[3];
2105
2106 if (msg == NULL || *msg == NULL) return;
2107
2108 n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2109   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int));
2110 if (n < 0) return;
2111
2112 if ((*msg)[0] != (*code)[0])
2113   {
2114   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2115     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2116   if (log_msg != NULL && *log_msg == *msg)
2117     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2118   }
2119 else
2120   {
2121   *code = *msg;
2122   *codelen = ovector[1];    /* Includes final space */
2123   }
2124 *msg += ovector[1];         /* Chop the code off the message */
2125 return;
2126 }
2127
2128
2129
2130
2131 /*************************************************
2132 *           Handle an ACL failure                *
2133 *************************************************/
2134
2135 /* This function is called when acl_check() fails. As well as calls from within
2136 this module, it is called from receive.c for an ACL after DATA. It sorts out
2137 logging the incident, and sets up the error response. A message containing
2138 newlines is turned into a multiline SMTP response, but for logging, only the
2139 first line is used.
2140
2141 There's a table of default permanent failure response codes to use in
2142 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2143 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2144 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2145 state, because there are broken clients that try VRFY before RCPT. A 5xx
2146 response should be given only when the address is positively known to be
2147 undeliverable. Sigh. Also, for ETRN, 458 is given on refusal, and for AUTH,
2148 503.
2149
2150 From Exim 4.63, it is possible to override the response code details by
2151 providing a suitable response code string at the start of the message provided
2152 in user_msg. The code's first digit is checked for validity.
2153
2154 Arguments:
2155   where      where the ACL was called from
2156   rc         the failure code
2157   user_msg   a message that can be included in an SMTP response
2158   log_msg    a message for logging
2159
2160 Returns:     0 in most cases
2161              2 if the failure code was FAIL_DROP, in which case the
2162                SMTP connection should be dropped (this value fits with the
2163                "done" variable in smtp_setup_msg() below)
2164 */
2165
2166 int
2167 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2168 {
2169 BOOL drop = rc == FAIL_DROP;
2170 int codelen = 3;
2171 uschar *smtp_code;
2172 uschar *lognl;
2173 uschar *sender_info = US"";
2174 uschar *what =
2175 #ifdef WITH_CONTENT_SCAN
2176   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
2177 #endif
2178   (where == ACL_WHERE_PREDATA)? US"DATA" :
2179   (where == ACL_WHERE_DATA)? US"after DATA" :
2180   (smtp_cmd_data == NULL)?
2181     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
2182     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data);
2183
2184 if (drop) rc = FAIL;
2185
2186 /* Set the default SMTP code, and allow a user message to change it. */
2187
2188 smtp_code = (rc != FAIL)? US"451" : acl_wherecodes[where];
2189 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg);
2190
2191 /* We used to have sender_address here; however, there was a bug that was not
2192 updating sender_address after a rewrite during a verify. When this bug was
2193 fixed, sender_address at this point became the rewritten address. I'm not sure
2194 this is what should be logged, so I've changed to logging the unrewritten
2195 address to retain backward compatibility. */
2196
2197 #ifndef WITH_CONTENT_SCAN
2198 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2199 #else
2200 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2201 #endif
2202   {
2203   sender_info = string_sprintf("F=<%s> ", (sender_address_unrewritten != NULL)?
2204     sender_address_unrewritten : sender_address);
2205   }
2206
2207 /* If there's been a sender verification failure with a specific message, and
2208 we have not sent a response about it yet, do so now, as a preliminary line for
2209 failures, but not defers. However, always log it for defer, and log it for fail
2210 unless the sender_verify_fail log selector has been turned off. */
2211
2212 if (sender_verified_failed != NULL &&
2213     !testflag(sender_verified_failed, af_sverify_told))
2214   {
2215   BOOL save_rcpt_in_progress = rcpt_in_progress;
2216   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2217
2218   setflag(sender_verified_failed, af_sverify_told);
2219
2220   if (rc != FAIL || (log_extra_selector & LX_sender_verify_fail) != 0)
2221     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2222       host_and_ident(TRUE),
2223       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2224       sender_verified_failed->address,
2225       (sender_verified_failed->message == NULL)? US"" :
2226       string_sprintf(": %s", sender_verified_failed->message));
2227
2228   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2229     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2230         testflag(sender_verified_failed, af_verify_pmfail)?
2231           "Postmaster verification failed while checking <%s>\n%s\n"
2232           "Several RFCs state that you are required to have a postmaster\n"
2233           "mailbox for each mail domain. This host does not accept mail\n"
2234           "from domains whose servers reject the postmaster address."
2235           :
2236         testflag(sender_verified_failed, af_verify_nsfail)?
2237           "Callback setup failed while verifying <%s>\n%s\n"
2238           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2239           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2240           "RFC requirements, and stops you from receiving standard bounce\n"
2241           "messages. This host does not accept mail from domains whose servers\n"
2242           "refuse bounces."
2243           :
2244           "Verification failed for <%s>\n%s",
2245         sender_verified_failed->address,
2246         sender_verified_failed->user_message));
2247
2248   rcpt_in_progress = save_rcpt_in_progress;
2249   }
2250
2251 /* Sort out text for logging */
2252
2253 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
2254 lognl = Ustrchr(log_msg, '\n');
2255 if (lognl != NULL) *lognl = 0;
2256
2257 /* Send permanent failure response to the command, but the code used isn't
2258 always a 5xx one - see comments at the start of this function. If the original
2259 rc was FAIL_DROP we drop the connection and yield 2. */
2260
2261 if (rc == FAIL) smtp_respond(smtp_code, codelen, TRUE, (user_msg == NULL)?
2262   US"Administrative prohibition" : user_msg);
2263
2264 /* Send temporary failure response to the command. Don't give any details,
2265 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2266 verb, and for a header verify when smtp_return_error_details is set.
2267
2268 This conditional logic is all somewhat of a mess because of the odd
2269 interactions between temp_details and return_error_details. One day it should
2270 be re-implemented in a tidier fashion. */
2271
2272 else
2273   {
2274   if (acl_temp_details && user_msg != NULL)
2275     {
2276     if (smtp_return_error_details &&
2277         sender_verified_failed != NULL &&
2278         sender_verified_failed->message != NULL)
2279       {
2280       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2281       }
2282     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2283     }
2284   else
2285     smtp_respond(smtp_code, codelen, TRUE,
2286       US"Temporary local problem - please try later");
2287   }
2288
2289 /* Log the incident to the logs that are specified by log_reject_target
2290 (default main, reject). This can be empty to suppress logging of rejections. If
2291 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2292 is closing if required and return 2.  */
2293
2294 if (log_reject_target != 0)
2295   log_write(0, log_reject_target, "%s %s%srejected %s%s",
2296     host_and_ident(TRUE),
2297     sender_info, (rc == FAIL)? US"" : US"temporarily ", what, log_msg);
2298
2299 if (!drop) return 0;
2300
2301 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
2302   smtp_get_connection_info());
2303
2304 /* Run the not-quit ACL, but without any custom messages. This should not be a
2305 problem, because we get here only if some other ACL has issued "drop", and
2306 in that case, *its* custom messages will have been used above. */
2307
2308 smtp_notquit_exit(US"acl-drop", NULL, NULL);
2309 return 2;
2310 }
2311
2312
2313
2314
2315 /*************************************************
2316 *     Handle SMTP exit when QUIT is not given    *
2317 *************************************************/
2318
2319 /* This function provides a logging/statistics hook for when an SMTP connection
2320 is dropped on the floor or the other end goes away. It's a global function
2321 because it's called from receive.c as well as this module. As well as running
2322 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
2323 response, either with a custom message from the ACL, or using a default. There
2324 is one case, however, when no message is output - after "drop". In that case,
2325 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
2326 passed to this function.
2327
2328 In case things go wrong while processing this function, causing an error that
2329 may re-enter this funtion, there is a recursion check.
2330
2331 Arguments:
2332   reason          What $smtp_notquit_reason will be set to in the ACL;
2333                     if NULL, the ACL is not run
2334   code            The error code to return as part of the response
2335   defaultrespond  The default message if there's no user_msg
2336
2337 Returns:          Nothing
2338 */
2339
2340 void
2341 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
2342 {
2343 int rc;
2344 uschar *user_msg = NULL;
2345 uschar *log_msg = NULL;
2346
2347 /* Check for recursive acll */
2348
2349 if (smtp_exit_function_called)
2350   {
2351   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
2352     reason);
2353   return;
2354   }
2355 smtp_exit_function_called = TRUE;
2356
2357 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
2358
2359 if (acl_smtp_notquit != NULL && reason != NULL)
2360   {
2361   smtp_notquit_reason = reason;
2362   rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
2363     &log_msg);
2364   if (rc == ERROR)
2365     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
2366       log_msg);
2367   }
2368
2369 /* Write an SMTP response if we are expected to give one. As the default
2370 responses are all internal, they should always fit in the buffer, but code a
2371 warning, just in case. Note that string_vformat() still leaves a complete
2372 string, even if it is incomplete. */
2373
2374 if (code != NULL && defaultrespond != NULL)
2375   {
2376   if (user_msg == NULL)
2377     {
2378     uschar buffer[128];
2379     va_list ap;
2380     va_start(ap, defaultrespond);
2381     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
2382       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
2383     smtp_printf("%s %s\r\n", code, buffer);
2384     va_end(ap);
2385     }
2386   else
2387     smtp_respond(code, 3, TRUE, user_msg);
2388   mac_smtp_fflush();
2389   }
2390 }
2391
2392
2393
2394
2395 /*************************************************
2396 *             Verify HELO argument               *
2397 *************************************************/
2398
2399 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
2400 matched. It is also called from ACL processing if verify = helo is used and
2401 verification was not previously tried (i.e. helo_try_verify_hosts was not
2402 matched). The result of its processing is to set helo_verified and
2403 helo_verify_failed. These variables should both be FALSE for this function to
2404 be called.
2405
2406 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
2407 for IPv6 ::ffff: literals.
2408
2409 Argument:   none
2410 Returns:    TRUE if testing was completed;
2411             FALSE on a temporary failure
2412 */
2413
2414 BOOL
2415 smtp_verify_helo(void)
2416 {
2417 BOOL yield = TRUE;
2418
2419 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
2420   sender_helo_name);
2421
2422 if (sender_helo_name == NULL)
2423   {
2424   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
2425   }
2426
2427 /* Deal with the case of -bs without an IP address */
2428
2429 else if (sender_host_address == NULL)
2430   {
2431   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
2432   helo_verified = TRUE;
2433   }
2434
2435 /* Deal with the more common case when there is a sending IP address */
2436
2437 else if (sender_helo_name[0] == '[')
2438   {
2439   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
2440     Ustrlen(sender_host_address)) == 0;
2441
2442   #if HAVE_IPV6
2443   if (!helo_verified)
2444     {
2445     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
2446       helo_verified = Ustrncmp(sender_helo_name + 1,
2447         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
2448     }
2449   #endif
2450
2451   HDEBUG(D_receive)
2452     { if (helo_verified) debug_printf("matched host address\n"); }
2453   }
2454
2455 /* Do a reverse lookup if one hasn't already given a positive or negative
2456 response. If that fails, or the name doesn't match, try checking with a forward
2457 lookup. */
2458
2459 else
2460   {
2461   if (sender_host_name == NULL && !host_lookup_failed)
2462     yield = host_name_lookup() != DEFER;
2463
2464   /* If a host name is known, check it and all its aliases. */
2465
2466   if (sender_host_name != NULL)
2467     {
2468     helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0;
2469
2470     if (helo_verified)
2471       {
2472       HDEBUG(D_receive) debug_printf("matched host name\n");
2473       }
2474     else
2475       {
2476       uschar **aliases = sender_host_aliases;
2477       while (*aliases != NULL)
2478         {
2479         helo_verified = strcmpic(*aliases++, sender_helo_name) == 0;
2480         if (helo_verified) break;
2481         }
2482       HDEBUG(D_receive)
2483         {
2484         if (helo_verified)
2485           debug_printf("matched alias %s\n", *(--aliases));
2486         }
2487       }
2488     }
2489
2490   /* Final attempt: try a forward lookup of the helo name */
2491
2492   if (!helo_verified)
2493     {
2494     int rc;
2495     host_item h;
2496     h.name = sender_helo_name;
2497     h.address = NULL;
2498     h.mx = MX_NONE;
2499     h.next = NULL;
2500     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
2501       sender_helo_name);
2502     rc = host_find_byname(&h, NULL, 0, NULL, TRUE);
2503     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
2504       {
2505       host_item *hh = &h;
2506       while (hh != NULL)
2507         {
2508         if (Ustrcmp(hh->address, sender_host_address) == 0)
2509           {
2510           helo_verified = TRUE;
2511           HDEBUG(D_receive)
2512             debug_printf("IP address for %s matches calling address\n",
2513               sender_helo_name);
2514           break;
2515           }
2516         hh = hh->next;
2517         }
2518       }
2519     }
2520   }
2521
2522 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
2523 return yield;
2524 }
2525
2526
2527
2528
2529 /*************************************************
2530 *        Send user response message              *
2531 *************************************************/
2532
2533 /* This function is passed a default response code and a user message. It calls
2534 smtp_message_code() to check and possibly modify the response code, and then
2535 calls smtp_respond() to transmit the response. I put this into a function
2536 just to avoid a lot of repetition.
2537
2538 Arguments:
2539   code         the response code
2540   user_msg     the user message
2541
2542 Returns:       nothing
2543 */
2544
2545 static void
2546 smtp_user_msg(uschar *code, uschar *user_msg)
2547 {
2548 int len = 3;
2549 smtp_message_code(&code, &len, &user_msg, NULL);
2550 smtp_respond(code, len, TRUE, user_msg);
2551 }
2552
2553
2554
2555
2556 /*************************************************
2557 *       Initialize for SMTP incoming message     *
2558 *************************************************/
2559
2560 /* This function conducts the initial dialogue at the start of an incoming SMTP
2561 message, and builds a list of recipients. However, if the incoming message
2562 is part of a batch (-bS option) a separate function is called since it would
2563 be messy having tests splattered about all over this function. This function
2564 therefore handles the case where interaction is occurring. The input and output
2565 files are set up in smtp_in and smtp_out.
2566
2567 The global recipients_list is set to point to a vector of recipient_item
2568 blocks, whose number is given by recipients_count. This is extended by the
2569 receive_add_recipient() function. The global variable sender_address is set to
2570 the sender's address. The yield is +1 if a message has been successfully
2571 started, 0 if a QUIT command was encountered or the connection was refused from
2572 the particular host, or -1 if the connection was lost.
2573
2574 Argument: none
2575
2576 Returns:  > 0 message successfully started (reached DATA)
2577           = 0 QUIT read or end of file reached or call refused
2578           < 0 lost connection
2579 */
2580
2581 int
2582 smtp_setup_msg(void)
2583 {
2584 int done = 0;
2585 BOOL toomany = FALSE;
2586 BOOL discarded = FALSE;
2587 BOOL last_was_rej_mail = FALSE;
2588 BOOL last_was_rcpt = FALSE;
2589 void *reset_point = store_get(0);
2590
2591 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
2592
2593 /* Reset for start of new message. We allow one RSET not to be counted as a
2594 nonmail command, for those MTAs that insist on sending it between every
2595 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
2596 TLS between messages (an Exim client may do this if it has messages queued up
2597 for the host). Note: we do NOT reset AUTH at this point. */
2598
2599 smtp_reset(reset_point);
2600 message_ended = END_NOTSTARTED;
2601
2602 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
2603 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
2604 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
2605 #ifdef SUPPORT_TLS
2606 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
2607 #endif
2608
2609 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
2610
2611 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
2612
2613 /* Batched SMTP is handled in a different function. */
2614
2615 if (smtp_batched_input) return smtp_setup_batch_msg();
2616
2617 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2618 value. The values are 2 larger than the required yield of the function. */
2619
2620 while (done <= 0)
2621   {
2622   uschar **argv;
2623   uschar *etrn_command;
2624   uschar *etrn_serialize_key;
2625   uschar *errmess;
2626   uschar *log_msg, *smtp_code;
2627   uschar *user_msg = NULL;
2628   uschar *recipient = NULL;
2629   uschar *hello = NULL;
2630   uschar *set_id = NULL;
2631   uschar *s, *ss;
2632   BOOL was_rej_mail = FALSE;
2633   BOOL was_rcpt = FALSE;
2634   void (*oldsignal)(int);
2635   pid_t pid;
2636   int start, end, sender_domain, recipient_domain;
2637   int ptr, size, rc;
2638   int c, i;
2639   auth_instance *au;
2640
2641   switch(smtp_read_command(TRUE))
2642     {
2643     /* The AUTH command is not permitted to occur inside a transaction, and may
2644     occur successfully only once per connection. Actually, that isn't quite
2645     true. When TLS is started, all previous information about a connection must
2646     be discarded, so a new AUTH is permitted at that time.
2647
2648     AUTH may only be used when it has been advertised. However, it seems that
2649     there are clients that send AUTH when it hasn't been advertised, some of
2650     them even doing this after HELO. And there are MTAs that accept this. Sigh.
2651     So there's a get-out that allows this to happen.
2652
2653     AUTH is initially labelled as a "nonmail command" so that one occurrence
2654     doesn't get counted. We change the label here so that multiple failing
2655     AUTHS will eventually hit the nonmail threshold. */
2656
2657     case AUTH_CMD:
2658     HAD(SCH_AUTH);
2659     authentication_failed = TRUE;
2660     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
2661
2662     if (!auth_advertised && !allow_auth_unadvertised)
2663       {
2664       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2665         US"AUTH command used when not advertised");
2666       break;
2667       }
2668     if (sender_host_authenticated != NULL)
2669       {
2670       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2671         US"already authenticated");
2672       break;
2673       }
2674     if (sender_address != NULL)
2675       {
2676       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2677         US"not permitted in mail transaction");
2678       break;
2679       }
2680
2681     /* Check the ACL */
2682
2683     if (acl_smtp_auth != NULL)
2684       {
2685       rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth, &user_msg, &log_msg);
2686       if (rc != OK)
2687         {
2688         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
2689         break;
2690         }
2691       }
2692
2693     /* Find the name of the requested authentication mechanism. */
2694
2695     s = smtp_cmd_data;
2696     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
2697       {
2698       if (!isalnum(c) && c != '-' && c != '_')
2699         {
2700         done = synprot_error(L_smtp_syntax_error, 501, NULL,
2701           US"invalid character in authentication mechanism name");
2702         goto COMMAND_LOOP;
2703         }
2704       smtp_cmd_data++;
2705       }
2706
2707     /* If not at the end of the line, we must be at white space. Terminate the
2708     name and move the pointer on to any data that may be present. */
2709
2710     if (*smtp_cmd_data != 0)
2711       {
2712       *smtp_cmd_data++ = 0;
2713       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
2714       }
2715
2716     /* Search for an authentication mechanism which is configured for use
2717     as a server and which has been advertised (unless, sigh, allow_auth_
2718     unadvertised is set). */
2719
2720     for (au = auths; au != NULL; au = au->next)
2721       {
2722       if (strcmpic(s, au->public_name) == 0 && au->server &&
2723           (au->advertised || allow_auth_unadvertised)) break;
2724       }
2725
2726     if (au == NULL)
2727       {
2728       done = synprot_error(L_smtp_protocol_error, 504, NULL,
2729         string_sprintf("%s authentication mechanism not supported", s));
2730       break;
2731       }
2732
2733     /* Run the checking code, passing the remainder of the command line as
2734     data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
2735     it as the only set numerical variable. The authenticator may set $auth<n>
2736     and also set other numeric variables. The $auth<n> variables are preferred
2737     nowadays; the numerical variables remain for backwards compatibility.
2738
2739     Afterwards, have a go at expanding the set_id string, even if
2740     authentication failed - for bad passwords it can be useful to log the
2741     userid. On success, require set_id to expand and exist, and put it in
2742     authenticated_id. Save this in permanent store, as the working store gets
2743     reset at HELO, RSET, etc. */
2744
2745     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
2746     expand_nmax = 0;
2747     expand_nlength[0] = 0;   /* $0 contains nothing */
2748
2749     c = (au->info->servercode)(au, smtp_cmd_data);
2750     if (au->set_id != NULL) set_id = expand_string(au->set_id);
2751     expand_nmax = -1;        /* Reset numeric variables */
2752     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
2753
2754     /* The value of authenticated_id is stored in the spool file and printed in
2755     log lines. It must not contain binary zeros or newline characters. In
2756     normal use, it never will, but when playing around or testing, this error
2757     can (did) happen. To guard against this, ensure that the id contains only
2758     printing characters. */
2759
2760     if (set_id != NULL) set_id = string_printing(set_id);
2761
2762     /* For the non-OK cases, set up additional logging data if set_id
2763     is not empty. */
2764
2765     if (c != OK)
2766       {
2767       if (set_id != NULL && *set_id != 0)
2768         set_id = string_sprintf(" (set_id=%s)", set_id);
2769       else set_id = US"";
2770       }
2771
2772     /* Switch on the result */
2773
2774     switch(c)
2775       {
2776       case OK:
2777       if (au->set_id == NULL || set_id != NULL)    /* Complete success */
2778         {
2779         if (set_id != NULL) authenticated_id = string_copy_malloc(set_id);
2780         sender_host_authenticated = au->name;
2781         authentication_failed = FALSE;
2782         received_protocol =
2783           protocols[pextend + pauthed + ((tls_active >= 0)? pcrpted:0)] +
2784             ((sender_host_address != NULL)? pnlocal : 0);
2785         s = ss = US"235 Authentication succeeded";
2786         authenticated_by = au;
2787         break;
2788         }
2789
2790       /* Authentication succeeded, but we failed to expand the set_id string.
2791       Treat this as a temporary error. */
2792
2793       auth_defer_msg = expand_string_message;
2794       /* Fall through */
2795
2796       case DEFER:
2797       s = string_sprintf("435 Unable to authenticate at present%s",
2798         auth_defer_user_msg);
2799       ss = string_sprintf("435 Unable to authenticate at present%s: %s",
2800         set_id, auth_defer_msg);
2801       break;
2802
2803       case BAD64:
2804       s = ss = US"501 Invalid base64 data";
2805       break;
2806
2807       case CANCELLED:
2808       s = ss = US"501 Authentication cancelled";
2809       break;
2810
2811       case UNEXPECTED:
2812       s = ss = US"553 Initial data not expected";
2813       break;
2814
2815       case FAIL:
2816       s = US"535 Incorrect authentication data";
2817       ss = string_sprintf("535 Incorrect authentication data%s", set_id);
2818       break;
2819
2820       default:
2821       s = US"435 Internal error";
2822       ss = string_sprintf("435 Internal error%s: return %d from authentication "
2823         "check", set_id, c);
2824       break;
2825       }
2826
2827     smtp_printf("%s\r\n", s);
2828     if (c != OK)
2829       log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
2830         au->name, host_and_ident(FALSE), ss);
2831
2832     break;  /* AUTH_CMD */
2833
2834     /* The HELO/EHLO commands are permitted to appear in the middle of a
2835     session as well as at the beginning. They have the effect of a reset in
2836     addition to their other functions. Their absence at the start cannot be
2837     taken to be an error.
2838
2839     RFC 2821 says:
2840
2841       If the EHLO command is not acceptable to the SMTP server, 501, 500,
2842       or 502 failure replies MUST be returned as appropriate.  The SMTP
2843       server MUST stay in the same state after transmitting these replies
2844       that it was in before the EHLO was received.
2845
2846     Therefore, we do not do the reset until after checking the command for
2847     acceptability. This change was made for Exim release 4.11. Previously
2848     it did the reset first. */
2849
2850     case HELO_CMD:
2851     HAD(SCH_HELO);
2852     hello = US"HELO";
2853     esmtp = FALSE;
2854     goto HELO_EHLO;
2855
2856     case EHLO_CMD:
2857     HAD(SCH_EHLO);
2858     hello = US"EHLO";
2859     esmtp = TRUE;
2860
2861     HELO_EHLO:      /* Common code for HELO and EHLO */
2862     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
2863     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
2864
2865     /* Reject the HELO if its argument was invalid or non-existent. A
2866     successful check causes the argument to be saved in malloc store. */
2867
2868     if (!check_helo(smtp_cmd_data))
2869       {
2870       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
2871
2872       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
2873         "invalid argument(s): %s", hello, host_and_ident(FALSE),
2874         (*smtp_cmd_argument == 0)? US"(no argument given)" :
2875                            string_printing(smtp_cmd_argument));
2876
2877       if (++synprot_error_count > smtp_max_synprot_errors)
2878         {
2879         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2880           "syntax or protocol errors (last command was \"%s\")",
2881           host_and_ident(FALSE), smtp_cmd_buffer);
2882         done = 1;
2883         }
2884
2885       break;
2886       }
2887
2888     /* If sender_host_unknown is true, we have got here via the -bs interface,
2889     not called from inetd. Otherwise, we are running an IP connection and the
2890     host address will be set. If the helo name is the primary name of this
2891     host and we haven't done a reverse lookup, force one now. If helo_required
2892     is set, ensure that the HELO name matches the actual host. If helo_verify
2893     is set, do the same check, but softly. */
2894
2895     if (!sender_host_unknown)
2896       {
2897       BOOL old_helo_verified = helo_verified;
2898       uschar *p = smtp_cmd_data;
2899
2900       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
2901       *p = 0;
2902
2903       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
2904       because otherwise the log can be confusing. */
2905
2906       if (sender_host_name == NULL &&
2907            (deliver_domain = sender_helo_name,  /* set $domain */
2908             match_isinlist(sender_helo_name, &helo_lookup_domains, 0,
2909               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
2910         (void)host_name_lookup();
2911
2912       /* Rebuild the fullhost info to include the HELO name (and the real name
2913       if it was looked up.) */
2914
2915       host_build_sender_fullhost();  /* Rebuild */
2916       set_process_info("handling%s incoming connection from %s",
2917         (tls_active >= 0)? " TLS" : "", host_and_ident(FALSE));
2918
2919       /* Verify if configured. This doesn't give much security, but it does
2920       make some people happy to be able to do it. If helo_required is set,
2921       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
2922       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
2923       now obsolescent, since the verification can now be requested selectively
2924       at ACL time. */
2925
2926       helo_verified = helo_verify_failed = FALSE;
2927       if (helo_required || helo_verify)
2928         {
2929         BOOL tempfail = !smtp_verify_helo();
2930         if (!helo_verified)
2931           {
2932           if (helo_required)
2933             {
2934             smtp_printf("%d %s argument does not match calling host\r\n",
2935               tempfail? 451 : 550, hello);
2936             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
2937               tempfail? "temporarily " : "",
2938               hello, sender_helo_name, host_and_ident(FALSE));
2939             helo_verified = old_helo_verified;
2940             break;                   /* End of HELO/EHLO processing */
2941             }
2942           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
2943             "helo_try_verify_hosts\n", hello);
2944           }
2945         }
2946       }
2947
2948 #ifdef EXPERIMENTAL_SPF
2949     /* set up SPF context */
2950     spf_init(sender_helo_name, sender_host_address);
2951 #endif
2952
2953     /* Apply an ACL check if one is defined; afterwards, recheck
2954     synchronization in case the client started sending in a delay. */
2955
2956     if (acl_smtp_helo != NULL)
2957       {
2958       rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo, &user_msg, &log_msg);
2959       if (rc != OK)
2960         {
2961         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
2962         sender_helo_name = NULL;
2963         host_build_sender_fullhost();  /* Rebuild */
2964         break;
2965         }
2966       else if (!check_sync()) goto SYNC_FAILURE;
2967       }
2968
2969     /* Generate an OK reply. The default string includes the ident if present,
2970     and also the IP address if present. Reflecting back the ident is intended
2971     as a deterrent to mail forgers. For maximum efficiency, and also because
2972     some broken systems expect each response to be in a single packet, arrange
2973     that the entire reply is sent in one write(). */
2974
2975     auth_advertised = FALSE;
2976     pipelining_advertised = FALSE;
2977     #ifdef SUPPORT_TLS
2978     tls_advertised = FALSE;
2979     #endif
2980
2981     smtp_code = US"250 ";        /* Default response code plus space*/
2982     if (user_msg == NULL)
2983       {
2984       s = string_sprintf("%.3s %s Hello %s%s%s",
2985         smtp_code,
2986         smtp_active_hostname,
2987         (sender_ident == NULL)?  US"" : sender_ident,
2988         (sender_ident == NULL)?  US"" : US" at ",
2989         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
2990
2991       ptr = Ustrlen(s);
2992       size = ptr + 1;
2993
2994       if (sender_host_address != NULL)
2995         {
2996         s = string_cat(s, &size, &ptr, US" [", 2);
2997         s = string_cat(s, &size, &ptr, sender_host_address,
2998           Ustrlen(sender_host_address));
2999         s = string_cat(s, &size, &ptr, US"]", 1);
3000         }
3001       }
3002
3003     /* A user-supplied EHLO greeting may not contain more than one line. Note
3004     that the code returned by smtp_message_code() includes the terminating
3005     whitespace character. */
3006
3007     else
3008       {
3009       char *ss;
3010       int codelen = 4;
3011       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL);
3012       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3013       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3014         {
3015         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3016           "newlines: message truncated: %s", string_printing(s));
3017         *ss = 0;
3018         }
3019       ptr = Ustrlen(s);
3020       size = ptr + 1;
3021       }
3022
3023     s = string_cat(s, &size, &ptr, US"\r\n", 2);
3024
3025     /* If we received EHLO, we must create a multiline response which includes
3026     the functions supported. */
3027
3028     if (esmtp)
3029       {
3030       s[3] = '-';
3031
3032       /* I'm not entirely happy with this, as an MTA is supposed to check
3033       that it has enough room to accept a message of maximum size before
3034       it sends this. However, there seems little point in not sending it.
3035       The actual size check happens later at MAIL FROM time. By postponing it
3036       till then, VRFY and EXPN can be used after EHLO when space is short. */
3037
3038       if (thismessage_size_limit > 0)
3039         {
3040         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3041           thismessage_size_limit);
3042         s = string_cat(s, &size, &ptr, big_buffer, Ustrlen(big_buffer));
3043         }
3044       else
3045         {
3046         s = string_cat(s, &size, &ptr, smtp_code, 3);
3047         s = string_cat(s, &size, &ptr, US"-SIZE\r\n", 7);
3048         }
3049
3050       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3051       clean; if it has an 8-bit character in its hand, it just sends it. It
3052       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3053       However, some users want this option simply in order to stop MUAs
3054       mangling messages that contain top-bit-set characters. It is therefore
3055       provided as an option. */
3056
3057       if (accept_8bitmime)
3058         {
3059         s = string_cat(s, &size, &ptr, smtp_code, 3);
3060         s = string_cat(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3061         }
3062
3063       /* Advertise ETRN if there's an ACL checking whether a host is
3064       permitted to issue it; a check is made when any host actually tries. */
3065
3066       if (acl_smtp_etrn != NULL)
3067         {
3068         s = string_cat(s, &size, &ptr, smtp_code, 3);
3069         s = string_cat(s, &size, &ptr, US"-ETRN\r\n", 7);
3070         }
3071
3072       /* Advertise EXPN if there's an ACL checking whether a host is
3073       permitted to issue it; a check is made when any host actually tries. */
3074
3075       if (acl_smtp_expn != NULL)
3076         {
3077         s = string_cat(s, &size, &ptr, smtp_code, 3);
3078         s = string_cat(s, &size, &ptr, US"-EXPN\r\n", 7);
3079         }
3080
3081       /* Exim is quite happy with pipelining, so let the other end know that
3082       it is safe to use it, unless advertising is disabled. */
3083
3084       if (pipelining_enable &&
3085           verify_check_host(&pipelining_advertise_hosts) == OK)
3086         {
3087         s = string_cat(s, &size, &ptr, smtp_code, 3);
3088         s = string_cat(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3089         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3090         pipelining_advertised = TRUE;
3091         }
3092
3093       /* If any server authentication mechanisms are configured, advertise
3094       them if the current host is in auth_advertise_hosts. The problem with
3095       advertising always is that some clients then require users to
3096       authenticate (and aren't configurable otherwise) even though it may not
3097       be necessary (e.g. if the host is in host_accept_relay).
3098
3099       RFC 2222 states that SASL mechanism names contain only upper case
3100       letters, so output the names in upper case, though we actually recognize
3101       them in either case in the AUTH command. */
3102
3103       if (auths != NULL)
3104         {
3105         if (verify_check_host(&auth_advertise_hosts) == OK)
3106           {
3107           auth_instance *au;
3108           BOOL first = TRUE;
3109           for (au = auths; au != NULL; au = au->next)
3110             {
3111             if (au->server && (au->advertise_condition == NULL ||
3112                 expand_check_condition(au->advertise_condition, au->name,
3113                 US"authenticator")))
3114               {
3115               int saveptr;
3116               if (first)
3117                 {
3118                 s = string_cat(s, &size, &ptr, smtp_code, 3);
3119                 s = string_cat(s, &size, &ptr, US"-AUTH", 5);
3120                 first = FALSE;
3121                 auth_advertised = TRUE;
3122                 }
3123               saveptr = ptr;
3124               s = string_cat(s, &size, &ptr, US" ", 1);
3125               s = string_cat(s, &size, &ptr, au->public_name,
3126                 Ustrlen(au->public_name));
3127               while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3128               au->advertised = TRUE;
3129               }
3130             else au->advertised = FALSE;
3131             }
3132           if (!first) s = string_cat(s, &size, &ptr, US"\r\n", 2);
3133           }
3134         }
3135
3136       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3137       if it has been included in the binary, and the host matches
3138       tls_advertise_hosts. We must *not* advertise if we are already in a
3139       secure connection. */
3140
3141       #ifdef SUPPORT_TLS
3142       if (tls_active < 0 &&
3143           verify_check_host(&tls_advertise_hosts) != FAIL)
3144         {
3145         s = string_cat(s, &size, &ptr, smtp_code, 3);
3146         s = string_cat(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3147         tls_advertised = TRUE;
3148         }
3149       #endif
3150
3151       /* Finish off the multiline reply with one that is always available. */
3152
3153       s = string_cat(s, &size, &ptr, smtp_code, 3);
3154       s = string_cat(s, &size, &ptr, US" HELP\r\n", 7);
3155       }
3156
3157     /* Terminate the string (for debug), write it, and note that HELO/EHLO
3158     has been seen. */
3159
3160     s[ptr] = 0;
3161
3162     #ifdef SUPPORT_TLS
3163     if (tls_active >= 0) (void)tls_write(s, ptr); else
3164     #endif
3165
3166     (void)fwrite(s, 1, ptr, smtp_out);
3167     DEBUG(D_receive)
3168       {
3169       uschar *cr;
3170       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
3171         memmove(cr, cr + 1, (ptr--) - (cr - s));
3172       debug_printf("SMTP>> %s", s);
3173       }
3174     helo_seen = TRUE;
3175
3176     /* Reset the protocol and the state, abandoning any previous message. */
3177
3178     received_protocol = (esmtp?
3179       protocols[pextend +
3180         ((sender_host_authenticated != NULL)? pauthed : 0) +
3181         ((tls_active >= 0)? pcrpted : 0)]
3182       :
3183       protocols[pnormal + ((tls_active >= 0)? pcrpted : 0)])
3184       +
3185       ((sender_host_address != NULL)? pnlocal : 0);
3186
3187     smtp_reset(reset_point);
3188     toomany = FALSE;
3189     break;   /* HELO/EHLO */
3190
3191
3192     /* The MAIL command requires an address as an operand. All we do
3193     here is to parse it for syntactic correctness. The form "<>" is
3194     a special case which converts into an empty string. The start/end
3195     pointers in the original are not used further for this address, as
3196     it is the canonical extracted address which is all that is kept. */
3197
3198     case MAIL_CMD:
3199     HAD(SCH_MAIL);
3200     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
3201     was_rej_mail = TRUE;               /* Reset if accepted */
3202
3203     if (helo_required && !helo_seen)
3204       {
3205       smtp_printf("503 HELO or EHLO required\r\n");
3206       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
3207         "HELO/EHLO given", host_and_ident(FALSE));
3208       break;
3209       }
3210
3211     if (sender_address != NULL)
3212       {
3213       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3214         US"sender already given");
3215       break;
3216       }
3217
3218     if (smtp_cmd_data[0] == 0)
3219       {
3220       done = synprot_error(L_smtp_protocol_error, 501, NULL,
3221         US"MAIL must have an address operand");
3222       break;
3223       }
3224
3225     /* Check to see if the limit for messages per connection would be
3226     exceeded by accepting further messages. */
3227
3228     if (smtp_accept_max_per_connection > 0 &&
3229         smtp_mailcmd_count > smtp_accept_max_per_connection)
3230       {
3231       smtp_printf("421 too many messages in this connection\r\n");
3232       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
3233         "messages in one connection", host_and_ident(TRUE));
3234       break;
3235       }
3236
3237     /* Reset for start of message - even if this is going to fail, we
3238     obviously need to throw away any previous data. */
3239
3240     smtp_reset(reset_point);
3241     toomany = FALSE;
3242     sender_data = recipient_data = NULL;
3243
3244     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
3245
3246     if (esmtp) for(;;)
3247       {
3248       uschar *name, *value, *end;
3249       unsigned long int size;
3250
3251       if (!extract_option(&name, &value)) break;
3252
3253       /* Handle SIZE= by reading the value. We don't do the check till later,
3254       in order to be able to log the sender address on failure. */
3255
3256       if (strcmpic(name, US"SIZE") == 0 &&
3257           ((size = Ustrtoul(value, &end, 10)), *end == 0))
3258         {
3259         if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
3260           size = INT_MAX;
3261         message_size = (int)size;
3262         }
3263
3264       /* If this session was initiated with EHLO and accept_8bitmime is set,
3265       Exim will have indicated that it supports the BODY=8BITMIME option. In
3266       fact, it does not support this according to the RFCs, in that it does not
3267       take any special action for forwarding messages containing 8-bit
3268       characters. That is why accept_8bitmime is not the default setting, but
3269       some sites want the action that is provided. We recognize both "8BITMIME"
3270       and "7BIT" as body types, but take no action. */
3271
3272       else if (accept_8bitmime && strcmpic(name, US"BODY") == 0 &&
3273           (strcmpic(value, US"8BITMIME") == 0 ||
3274            strcmpic(value, US"7BIT") == 0)) {}
3275
3276       /* Handle the AUTH extension. If the value given is not "<>" and either
3277       the ACL says "yes" or there is no ACL but the sending host is
3278       authenticated, we set it up as the authenticated sender. However, if the
3279       authenticator set a condition to be tested, we ignore AUTH on MAIL unless
3280       the condition is met. The value of AUTH is an xtext, which means that +,
3281       = and cntrl chars are coded in hex; however "<>" is unaffected by this
3282       coding. */
3283
3284       else if (strcmpic(name, US"AUTH") == 0)
3285         {
3286         if (Ustrcmp(value, "<>") != 0)
3287           {
3288           int rc;
3289           uschar *ignore_msg;
3290
3291           if (auth_xtextdecode(value, &authenticated_sender) < 0)
3292             {
3293             /* Put back terminator overrides for error message */
3294             name[-1] = ' ';
3295             value[-1] = '=';
3296             done = synprot_error(L_smtp_syntax_error, 501, NULL,
3297               US"invalid data for AUTH");
3298             goto COMMAND_LOOP;
3299             }
3300
3301           if (acl_smtp_mailauth == NULL)
3302             {
3303             ignore_msg = US"client not authenticated";
3304             rc = (sender_host_authenticated != NULL)? OK : FAIL;
3305             }
3306           else
3307             {
3308             ignore_msg = US"rejected by ACL";
3309             rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
3310               &user_msg, &log_msg);
3311             }
3312
3313           switch (rc)
3314             {
3315             case OK:
3316             if (authenticated_by == NULL ||
3317                 authenticated_by->mail_auth_condition == NULL ||
3318                 expand_check_condition(authenticated_by->mail_auth_condition,
3319                     authenticated_by->name, US"authenticator"))
3320               break;     /* Accept the AUTH */
3321
3322             ignore_msg = US"server_mail_auth_condition failed";
3323             if (authenticated_id != NULL)
3324               ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
3325                 ignore_msg, authenticated_id);
3326
3327             /* Fall through */
3328
3329             case FAIL:
3330             authenticated_sender = NULL;
3331             log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
3332               value, host_and_ident(TRUE), ignore_msg);
3333             break;
3334
3335             /* Should only get DEFER or ERROR here. Put back terminator
3336             overrides for error message */
3337
3338             default:
3339             name[-1] = ' ';
3340             value[-1] = '=';
3341             (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
3342               log_msg);
3343             goto COMMAND_LOOP;
3344             }
3345           }
3346         }
3347
3348       /* Unknown option. Stick back the terminator characters and break
3349       the loop. An error for a malformed address will occur. */
3350
3351       else
3352         {
3353         name[-1] = ' ';
3354         value[-1] = '=';
3355         break;
3356         }
3357       }
3358
3359     /* If we have passed the threshold for rate limiting, apply the current
3360     delay, and update it for next time, provided this is a limited host. */
3361
3362     if (smtp_mailcmd_count > smtp_rlm_threshold &&
3363         verify_check_host(&smtp_ratelimit_hosts) == OK)
3364       {
3365       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
3366         smtp_delay_mail/1000.0);
3367       millisleep((int)smtp_delay_mail);
3368       smtp_delay_mail *= smtp_rlm_factor;
3369       if (smtp_delay_mail > (double)smtp_rlm_limit)
3370         smtp_delay_mail = (double)smtp_rlm_limit;
3371       }
3372
3373     /* Now extract the address, first applying any SMTP-time rewriting. The
3374     TRUE flag allows "<>" as a sender address. */
3375
3376     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
3377       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
3378         global_rewrite_rules) : smtp_cmd_data;
3379
3380     /* rfc821_domains = TRUE; << no longer needed */
3381     raw_sender =
3382       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
3383         TRUE);
3384     /* rfc821_domains = FALSE; << no longer needed */
3385
3386     if (raw_sender == NULL)
3387       {
3388       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
3389       break;
3390       }
3391
3392     sender_address = raw_sender;
3393
3394     /* If there is a configured size limit for mail, check that this message
3395     doesn't exceed it. The check is postponed to this point so that the sender
3396     can be logged. */
3397
3398     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
3399       {
3400       smtp_printf("552 Message size exceeds maximum permitted\r\n");
3401       log_write(L_size_reject,
3402           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
3403           "message too big: size%s=%d max=%d",
3404           sender_address,
3405           host_and_ident(TRUE),
3406           (message_size == INT_MAX)? ">" : "",
3407           message_size,
3408           thismessage_size_limit);
3409       sender_address = NULL;
3410       break;
3411       }
3412
3413     /* Check there is enough space on the disk unless configured not to.
3414     When smtp_check_spool_space is set, the check is for thismessage_size_limit
3415     plus the current message - i.e. we accept the message only if it won't
3416     reduce the space below the threshold. Add 5000 to the size to allow for
3417     overheads such as the Received: line and storing of recipients, etc.
3418     By putting the check here, even when SIZE is not given, it allow VRFY
3419     and EXPN etc. to be used when space is short. */
3420
3421     if (!receive_check_fs(
3422          (smtp_check_spool_space && message_size >= 0)?
3423             message_size + 5000 : 0))
3424       {
3425       smtp_printf("452 Space shortage, please try later\r\n");
3426       sender_address = NULL;
3427       break;
3428       }
3429
3430     /* If sender_address is unqualified, reject it, unless this is a locally
3431     generated message, or the sending host or net is permitted to send
3432     unqualified addresses - typically local machines behaving as MUAs -
3433     in which case just qualify the address. The flag is set above at the start
3434     of the SMTP connection. */
3435
3436     if (sender_domain == 0 && sender_address[0] != 0)
3437       {
3438       if (allow_unqualified_sender)
3439         {
3440         sender_domain = Ustrlen(sender_address) + 1;
3441         sender_address = rewrite_address_qualify(sender_address, FALSE);
3442         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3443           raw_sender);
3444         }
3445       else
3446         {
3447         smtp_printf("501 %s: sender address must contain a domain\r\n",
3448           smtp_cmd_data);
3449         log_write(L_smtp_syntax_error,
3450           LOG_MAIN|LOG_REJECT,
3451           "unqualified sender rejected: <%s> %s%s",
3452           raw_sender,
3453           host_and_ident(TRUE),
3454           host_lookup_msg);
3455         sender_address = NULL;
3456         break;
3457         }
3458       }
3459
3460     /* Apply an ACL check if one is defined, before responding. Afterwards,
3461     when pipelining is not advertised, do another sync check in case the ACL
3462     delayed and the client started sending in the meantime. */
3463
3464     if (acl_smtp_mail == NULL) rc = OK; else
3465       {
3466       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
3467       if (rc == OK && !pipelining_advertised && !check_sync())
3468         goto SYNC_FAILURE;
3469       }
3470
3471     if (rc == OK || rc == DISCARD)
3472       {
3473       if (user_msg == NULL) smtp_printf("250 OK\r\n");
3474         else smtp_user_msg(US"250", user_msg);
3475       smtp_delay_rcpt = smtp_rlr_base;
3476       recipients_discarded = (rc == DISCARD);
3477       was_rej_mail = FALSE;
3478       }
3479     else
3480       {
3481       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
3482       sender_address = NULL;
3483       }
3484     break;
3485
3486
3487     /* The RCPT command requires an address as an operand. There may be any
3488     number of RCPT commands, specifying multiple recipients. We build them all
3489     into a data structure. The start/end values given by parse_extract_address
3490     are not used, as we keep only the extracted address. */
3491
3492     case RCPT_CMD:
3493     HAD(SCH_RCPT);
3494     rcpt_count++;
3495     was_rcpt = rcpt_in_progress = TRUE;
3496
3497     /* There must be a sender address; if the sender was rejected and
3498     pipelining was advertised, we assume the client was pipelining, and do not
3499     count this as a protocol error. Reset was_rej_mail so that further RCPTs
3500     get the same treatment. */
3501
3502     if (sender_address == NULL)
3503       {
3504       if (pipelining_advertised && last_was_rej_mail)
3505         {
3506         smtp_printf("503 sender not yet given\r\n");
3507         was_rej_mail = TRUE;
3508         }
3509       else
3510         {
3511         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3512           US"sender not yet given");
3513         was_rcpt = FALSE;             /* Not a valid RCPT */
3514         }
3515       rcpt_fail_count++;
3516       break;
3517       }
3518
3519     /* Check for an operand */
3520
3521     if (smtp_cmd_data[0] == 0)
3522       {
3523       done = synprot_error(L_smtp_syntax_error, 501, NULL,
3524         US"RCPT must have an address operand");
3525       rcpt_fail_count++;
3526       break;
3527       }
3528
3529     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
3530     as a recipient address */
3531
3532     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
3533       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
3534         global_rewrite_rules) : smtp_cmd_data;
3535
3536     /* rfc821_domains = TRUE; << no longer needed */
3537     recipient = parse_extract_address(recipient, &errmess, &start, &end,
3538       &recipient_domain, FALSE);
3539     /* rfc821_domains = FALSE; << no longer needed */
3540
3541     if (recipient == NULL)
3542       {
3543       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
3544       rcpt_fail_count++;
3545       break;
3546       }
3547
3548     /* If the recipient address is unqualified, reject it, unless this is a
3549     locally generated message. However, unqualified addresses are permitted
3550     from a configured list of hosts and nets - typically when behaving as
3551     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
3552     really. The flag is set at the start of the SMTP connection.
3553
3554     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
3555     assumed this meant "reserved local part", but the revision of RFC 821 and
3556     friends now makes it absolutely clear that it means *mailbox*. Consequently
3557     we must always qualify this address, regardless. */
3558
3559     if (recipient_domain == 0)
3560       {
3561       if (allow_unqualified_recipient ||
3562           strcmpic(recipient, US"postmaster") == 0)
3563         {
3564         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3565           recipient);
3566         recipient_domain = Ustrlen(recipient) + 1;
3567         recipient = rewrite_address_qualify(recipient, TRUE);
3568         }
3569       else
3570         {
3571         rcpt_fail_count++;
3572         smtp_printf("501 %s: recipient address must contain a domain\r\n",
3573           smtp_cmd_data);
3574         log_write(L_smtp_syntax_error,
3575           LOG_MAIN|LOG_REJECT, "unqualified recipient rejected: "
3576           "<%s> %s%s", recipient, host_and_ident(TRUE),
3577           host_lookup_msg);
3578         break;
3579         }
3580       }
3581
3582     /* Check maximum allowed */
3583
3584     if (rcpt_count > recipients_max && recipients_max > 0)
3585       {
3586       if (recipients_max_reject)
3587         {
3588         rcpt_fail_count++;
3589         smtp_printf("552 too many recipients\r\n");
3590         if (!toomany)
3591           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
3592             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
3593         }
3594       else
3595         {
3596         rcpt_defer_count++;
3597         smtp_printf("452 too many recipients\r\n");
3598         if (!toomany)
3599           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
3600             "temporarily rejected: sender=<%s> %s", sender_address,
3601             host_and_ident(TRUE));
3602         }
3603
3604       toomany = TRUE;
3605       break;
3606       }
3607
3608     /* If we have passed the threshold for rate limiting, apply the current
3609     delay, and update it for next time, provided this is a limited host. */
3610
3611     if (rcpt_count > smtp_rlr_threshold &&
3612         verify_check_host(&smtp_ratelimit_hosts) == OK)
3613       {
3614       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
3615         smtp_delay_rcpt/1000.0);
3616       millisleep((int)smtp_delay_rcpt);
3617       smtp_delay_rcpt *= smtp_rlr_factor;
3618       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
3619         smtp_delay_rcpt = (double)smtp_rlr_limit;
3620       }
3621
3622     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
3623     for them. Otherwise, check the access control list for this recipient. As
3624     there may be a delay in this, re-check for a synchronization error
3625     afterwards, unless pipelining was advertised. */
3626
3627     if (recipients_discarded) rc = DISCARD; else
3628       {
3629       rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
3630         &log_msg);
3631       if (rc == OK && !pipelining_advertised && !check_sync())
3632         goto SYNC_FAILURE;
3633       }
3634
3635     /* The ACL was happy */
3636
3637     if (rc == OK)
3638       {
3639       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
3640         else smtp_user_msg(US"250", user_msg);
3641       receive_add_recipient(recipient, -1);
3642       }
3643
3644     /* The recipient was discarded */
3645
3646     else if (rc == DISCARD)
3647       {
3648       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
3649         else smtp_user_msg(US"250", user_msg);
3650       rcpt_fail_count++;
3651       discarded = TRUE;
3652       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> rejected RCPT %s: "
3653         "discarded by %s ACL%s%s", host_and_ident(TRUE),
3654         (sender_address_unrewritten != NULL)?
3655         sender_address_unrewritten : sender_address,
3656         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
3657         (log_msg == NULL)? US"" : US": ",
3658         (log_msg == NULL)? US"" : log_msg);
3659       }
3660
3661     /* Either the ACL failed the address, or it was deferred. */
3662
3663     else
3664       {
3665       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
3666       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
3667       }
3668     break;
3669
3670
3671     /* The DATA command is legal only if it follows successful MAIL FROM
3672     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
3673     not counted as a protocol error if it follows RCPT (which must have been
3674     rejected if there are no recipients.) This function is complete when a
3675     valid DATA command is encountered.
3676
3677     Note concerning the code used: RFC 2821 says this:
3678
3679      -  If there was no MAIL, or no RCPT, command, or all such commands
3680         were rejected, the server MAY return a "command out of sequence"
3681         (503) or "no valid recipients" (554) reply in response to the
3682         DATA command.
3683
3684     The example in the pipelining RFC 2920 uses 554, but I use 503 here
3685     because it is the same whether pipelining is in use or not.
3686
3687     If all the RCPT commands that precede DATA provoked the same error message
3688     (often indicating some kind of system error), it is helpful to include it
3689     with the DATA rejection (an idea suggested by Tony Finch). */
3690
3691     case DATA_CMD:
3692     HAD(SCH_DATA);
3693     if (!discarded && recipients_count <= 0)
3694       {
3695       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
3696         {
3697         uschar *code = US"503";
3698         int len = Ustrlen(rcpt_smtp_response);
3699         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
3700           "this error:");
3701         /* Responses from smtp_printf() will have \r\n on the end */
3702         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
3703           rcpt_smtp_response[len-2] = 0;
3704         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
3705         }
3706       if (pipelining_advertised && last_was_rcpt)
3707         smtp_printf("503 Valid RCPT command must precede DATA\r\n");
3708       else
3709         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3710           US"valid RCPT command must precede DATA");
3711       break;
3712       }
3713
3714     if (toomany && recipients_max_reject)
3715       {
3716       sender_address = NULL;  /* This will allow a new MAIL without RSET */
3717       sender_address_unrewritten = NULL;
3718       smtp_printf("554 Too many recipients\r\n");
3719       break;
3720       }
3721
3722     /* If there is an ACL, re-check the synchronization afterwards, since the
3723     ACL may have delayed. */
3724
3725     if (acl_smtp_predata == NULL) rc = OK; else
3726       {
3727       enable_dollar_recipients = TRUE;
3728       rc = acl_check(ACL_WHERE_PREDATA, NULL, acl_smtp_predata, &user_msg,
3729         &log_msg);
3730       enable_dollar_recipients = FALSE;
3731       if (rc == OK && !check_sync()) goto SYNC_FAILURE;
3732       }
3733
3734     if (rc == OK)
3735       {
3736       if (user_msg == NULL)
3737         smtp_printf("354 Enter message, ending with \".\" on a line by itself\r\n");
3738       else smtp_user_msg(US"354", user_msg);
3739       done = 3;
3740       message_ended = END_NOTENDED;   /* Indicate in middle of data */
3741       }
3742
3743     /* Either the ACL failed the address, or it was deferred. */
3744
3745     else
3746       done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
3747     break;
3748
3749
3750     case VRFY_CMD:
3751     HAD(SCH_VRFY);
3752     rc = acl_check(ACL_WHERE_VRFY, NULL, acl_smtp_vrfy, &user_msg, &log_msg);
3753     if (rc != OK)
3754       done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
3755     else
3756       {
3757       uschar *address;
3758       uschar *s = NULL;
3759
3760       /* rfc821_domains = TRUE; << no longer needed */
3761       address = parse_extract_address(smtp_cmd_data, &errmess, &start, &end,
3762         &recipient_domain, FALSE);
3763       /* rfc821_domains = FALSE; << no longer needed */
3764
3765       if (address == NULL)
3766         s = string_sprintf("501 %s", errmess);
3767       else
3768         {
3769         address_item *addr = deliver_make_addr(address, FALSE);
3770         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
3771                -1, -1, NULL, NULL, NULL))
3772           {
3773           case OK:
3774           s = string_sprintf("250 <%s> is deliverable", address);
3775           break;
3776
3777           case DEFER:
3778           s = (addr->user_message != NULL)?
3779             string_sprintf("451 <%s> %s", address, addr->user_message) :
3780             string_sprintf("451 Cannot resolve <%s> at this time", address);
3781           break;
3782
3783           case FAIL:
3784           s = (addr->user_message != NULL)?
3785             string_sprintf("550 <%s> %s", address, addr->user_message) :
3786             string_sprintf("550 <%s> is not deliverable", address);
3787           log_write(0, LOG_MAIN, "VRFY failed for %s %s",
3788             smtp_cmd_argument, host_and_ident(TRUE));
3789           break;
3790           }
3791         }
3792
3793       smtp_printf("%s\r\n", s);
3794       }
3795     break;
3796
3797
3798     case EXPN_CMD:
3799     HAD(SCH_EXPN);
3800     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
3801     if (rc != OK)
3802       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
3803     else
3804       {
3805       BOOL save_log_testing_mode = log_testing_mode;
3806       address_test_mode = log_testing_mode = TRUE;
3807       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
3808         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
3809         NULL, NULL, NULL);
3810       address_test_mode = FALSE;
3811       log_testing_mode = save_log_testing_mode;    /* true for -bh */
3812       }
3813     break;
3814
3815
3816     #ifdef SUPPORT_TLS
3817
3818     case STARTTLS_CMD:
3819     HAD(SCH_STARTTLS);
3820     if (!tls_advertised)
3821       {
3822       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3823         US"STARTTLS command used when not advertised");
3824       break;
3825       }
3826
3827     /* Apply an ACL check if one is defined */
3828
3829     if (acl_smtp_starttls != NULL)
3830       {
3831       rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls, &user_msg,
3832         &log_msg);
3833       if (rc != OK)
3834         {
3835         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
3836         break;
3837         }
3838       }
3839
3840     /* RFC 2487 is not clear on when this command may be sent, though it
3841     does state that all information previously obtained from the client
3842     must be discarded if a TLS session is started. It seems reasonble to
3843     do an implied RSET when STARTTLS is received. */
3844
3845     incomplete_transaction_log(US"STARTTLS");
3846     smtp_reset(reset_point);
3847     toomany = FALSE;
3848     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
3849
3850     /* There's an attack where more data is read in past the STARTTLS command
3851     before TLS is negotiated, then assumed to be part of the secure session
3852     when used afterwards; we use segregated input buffers, so are not
3853     vulnerable, but we want to note when it happens and, for sheer paranoia,
3854     ensure that the buffer is "wiped".
3855     Pipelining sync checks will normally have protected us too, unless disabled
3856     by configuration. */
3857
3858     if (receive_smtp_buffered())
3859       {
3860       DEBUG(D_any)
3861         debug_printf("Non-empty input buffer after STARTTLS; naive attack?");
3862       if (tls_active < 0)
3863         smtp_inend = smtp_inptr = smtp_inbuffer;
3864       /* and if TLS is already active, tls_server_start() should fail */
3865       }
3866
3867     /* There is nothing we value in the input buffer and if TLS is succesfully
3868     negotiated, we won't use this buffer again; if TLS fails, we'll just read
3869     fresh content into it.  The buffer contains arbitrary content from an
3870     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
3871     It seems safest to just wipe away the content rather than leave it as a
3872     target to jump to. */
3873
3874     memset(smtp_inbuffer, 0, in_buffer_size);
3875
3876     /* Attempt to start up a TLS session, and if successful, discard all
3877     knowledge that was obtained previously. At least, that's what the RFC says,
3878     and that's what happens by default. However, in order to work round YAEB,
3879     there is an option to remember the esmtp state. Sigh.
3880
3881     We must allow for an extra EHLO command and an extra AUTH command after
3882     STARTTLS that don't add to the nonmail command count. */
3883
3884     if ((rc = tls_server_start(tls_require_ciphers, gnutls_require_mac,
3885            gnutls_require_kx, gnutls_require_proto)) == OK)
3886       {
3887       if (!tls_remember_esmtp)
3888         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
3889       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3890       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
3891       if (sender_helo_name != NULL)
3892         {
3893         store_free(sender_helo_name);
3894         sender_helo_name = NULL;
3895         host_build_sender_fullhost();  /* Rebuild */
3896         set_process_info("handling incoming TLS connection from %s",
3897           host_and_ident(FALSE));
3898         }
3899       received_protocol = (esmtp?
3900         protocols[pextend + pcrpted +
3901           ((sender_host_authenticated != NULL)? pauthed : 0)]
3902         :
3903         protocols[pnormal + pcrpted])
3904         +
3905         ((sender_host_address != NULL)? pnlocal : 0);
3906
3907       sender_host_authenticated = NULL;
3908       authenticated_id = NULL;
3909       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
3910       DEBUG(D_tls) debug_printf("TLS active\n");
3911       break;     /* Successful STARTTLS */
3912       }
3913
3914     /* Some local configuration problem was discovered before actually trying
3915     to do a TLS handshake; give a temporary error. */
3916
3917     else if (rc == DEFER)
3918       {
3919       smtp_printf("454 TLS currently unavailable\r\n");
3920       break;
3921       }
3922
3923     /* Hard failure. Reject everything except QUIT or closed connection. One
3924     cause for failure is a nested STARTTLS, in which case tls_active remains
3925     set, but we must still reject all incoming commands. */
3926
3927     DEBUG(D_tls) debug_printf("TLS failed to start\n");
3928     while (done <= 0)
3929       {
3930       switch(smtp_read_command(FALSE))
3931         {
3932         case EOF_CMD:
3933         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
3934           smtp_get_connection_info());
3935         smtp_notquit_exit(US"tls-failed", NULL, NULL);
3936         done = 2;
3937         break;
3938
3939         /* It is perhaps arguable as to which exit ACL should be called here,
3940         but as it is probably a situtation that almost never arises, it
3941         probably doesn't matter. We choose to call the real QUIT ACL, which in
3942         some sense is perhaps "right". */
3943
3944         case QUIT_CMD:
3945         user_msg = NULL;
3946         if (acl_smtp_quit != NULL)
3947           {
3948           rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
3949             &log_msg);
3950           if (rc == ERROR)
3951             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3952               log_msg);
3953           }
3954         if (user_msg == NULL)
3955           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3956         else
3957           smtp_respond(US"221", 3, TRUE, user_msg);
3958         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3959           smtp_get_connection_info());
3960         done = 2;
3961         break;
3962
3963         default:
3964         smtp_printf("554 Security failure\r\n");
3965         break;
3966         }
3967       }
3968     tls_close(TRUE);
3969     break;
3970     #endif
3971
3972
3973     /* The ACL for QUIT is provided for gathering statistical information or
3974     similar; it does not affect the response code, but it can supply a custom
3975     message. */
3976
3977     case QUIT_CMD:
3978     HAD(SCH_QUIT);
3979     incomplete_transaction_log(US"QUIT");
3980     if (acl_smtp_quit != NULL)
3981       {
3982       rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg, &log_msg);
3983       if (rc == ERROR)
3984         log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3985           log_msg);
3986       }
3987     if (user_msg == NULL)
3988       smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3989     else
3990       smtp_respond(US"221", 3, TRUE, user_msg);
3991
3992     #ifdef SUPPORT_TLS
3993     tls_close(TRUE);
3994     #endif
3995
3996     done = 2;
3997     log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3998       smtp_get_connection_info());
3999     break;
4000
4001
4002     case RSET_CMD:
4003     HAD(SCH_RSET);
4004     incomplete_transaction_log(US"RSET");
4005     smtp_reset(reset_point);
4006     toomany = FALSE;
4007     smtp_printf("250 Reset OK\r\n");
4008     cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
4009     break;
4010
4011
4012     case NOOP_CMD:
4013     HAD(SCH_NOOP);
4014     smtp_printf("250 OK\r\n");
4015     break;
4016
4017
4018     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
4019     used, a check will be done for permitted hosts. Show STARTTLS only if not
4020     already in a TLS session and if it would be advertised in the EHLO
4021     response. */
4022
4023     case HELP_CMD:
4024     HAD(SCH_HELP);
4025     smtp_printf("214-Commands supported:\r\n");
4026       {
4027       uschar buffer[256];
4028       buffer[0] = 0;
4029       Ustrcat(buffer, " AUTH");
4030       #ifdef SUPPORT_TLS
4031       if (tls_active < 0 &&
4032           verify_check_host(&tls_advertise_hosts) != FAIL)
4033         Ustrcat(buffer, " STARTTLS");
4034       #endif
4035       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA");
4036       Ustrcat(buffer, " NOOP QUIT RSET HELP");
4037       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
4038       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
4039       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
4040       smtp_printf("214%s\r\n", buffer);
4041       }
4042     break;
4043
4044
4045     case EOF_CMD:
4046     incomplete_transaction_log(US"connection lost");
4047     smtp_notquit_exit(US"connection-lost", US"421",
4048       US"%s lost input connection", smtp_active_hostname);
4049
4050     /* Don't log by default unless in the middle of a message, as some mailers
4051     just drop the call rather than sending QUIT, and it clutters up the logs.
4052     */
4053
4054     if (sender_address != NULL || recipients_count > 0)
4055       log_write(L_lost_incoming_connection,
4056           LOG_MAIN,
4057           "unexpected %s while reading SMTP command from %s%s",
4058           sender_host_unknown? "EOF" : "disconnection",
4059           host_and_ident(FALSE), smtp_read_error);
4060
4061     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
4062       smtp_get_connection_info(), smtp_read_error);
4063
4064     done = 1;
4065     break;
4066
4067
4068     case ETRN_CMD:
4069     HAD(SCH_ETRN);
4070     if (sender_address != NULL)
4071       {
4072       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4073         US"ETRN is not permitted inside a transaction");
4074       break;
4075       }
4076
4077     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
4078       host_and_ident(FALSE));
4079
4080     rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn, &user_msg, &log_msg);
4081     if (rc != OK)
4082       {
4083       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
4084       break;
4085       }
4086
4087     /* Compute the serialization key for this command. */
4088
4089     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
4090
4091     /* If a command has been specified for running as a result of ETRN, we
4092     permit any argument to ETRN. If not, only the # standard form is permitted,
4093     since that is strictly the only kind of ETRN that can be implemented
4094     according to the RFC. */
4095
4096     if (smtp_etrn_command != NULL)
4097       {
4098       uschar *error;
4099       BOOL rc;
4100       etrn_command = smtp_etrn_command;
4101       deliver_domain = smtp_cmd_data;
4102       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
4103         US"ETRN processing", &error);
4104       deliver_domain = NULL;
4105       if (!rc)
4106         {
4107         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
4108           error);
4109         smtp_printf("458 Internal failure\r\n");
4110         break;
4111         }
4112       }
4113
4114     /* Else set up to call Exim with the -R option. */
4115
4116     else
4117       {
4118       if (*smtp_cmd_data++ != '#')
4119         {
4120         done = synprot_error(L_smtp_syntax_error, 501, NULL,
4121           US"argument must begin with #");
4122         break;
4123         }
4124       etrn_command = US"exim -R";
4125       argv = child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE, 2, US"-R",
4126         smtp_cmd_data);
4127       }
4128
4129     /* If we are host-testing, don't actually do anything. */
4130
4131     if (host_checking)
4132       {
4133       HDEBUG(D_any)
4134         {
4135         debug_printf("ETRN command is: %s\n", etrn_command);
4136         debug_printf("ETRN command execution skipped\n");
4137         }
4138       if (user_msg == NULL) smtp_printf("250 OK\r\n");
4139         else smtp_user_msg(US"250", user_msg);
4140       break;
4141       }
4142
4143
4144     /* If ETRN queue runs are to be serialized, check the database to
4145     ensure one isn't already running. */
4146
4147     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key))
4148       {
4149       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
4150       break;
4151       }
4152
4153     /* Fork a child process and run the command. We don't want to have to
4154     wait for the process at any point, so set SIGCHLD to SIG_IGN before
4155     forking. It should be set that way anyway for external incoming SMTP,
4156     but we save and restore to be tidy. If serialization is required, we
4157     actually run the command in yet another process, so we can wait for it
4158     to complete and then remove the serialization lock. */
4159
4160     oldsignal = signal(SIGCHLD, SIG_IGN);
4161
4162     if ((pid = fork()) == 0)
4163       {
4164       smtp_input = FALSE;       /* This process is not associated with the */
4165       (void)fclose(smtp_in);    /* SMTP call any more. */
4166       (void)fclose(smtp_out);
4167
4168       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
4169
4170       /* If not serializing, do the exec right away. Otherwise, fork down
4171       into another process. */
4172
4173       if (!smtp_etrn_serialize || (pid = fork()) == 0)
4174         {
4175         DEBUG(D_exec) debug_print_argv(argv);
4176         exim_nullstd();                   /* Ensure std{in,out,err} exist */
4177         execv(CS argv[0], (char *const *)argv);
4178         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
4179           etrn_command, strerror(errno));
4180         _exit(EXIT_FAILURE);         /* paranoia */
4181         }
4182
4183       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
4184       is, we are in the first subprocess, after forking again. All we can do
4185       for a failing fork is to log it. Otherwise, wait for the 2nd process to
4186       complete, before removing the serialization. */
4187
4188       if (pid < 0)
4189         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
4190           "failed: %s", strerror(errno));
4191       else
4192         {
4193         int status;
4194         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
4195           (int)pid);
4196         (void)wait(&status);
4197         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
4198           (int)pid);
4199         }
4200
4201       enq_end(etrn_serialize_key);
4202       _exit(EXIT_SUCCESS);
4203       }
4204
4205     /* Back in the top level SMTP process. Check that we started a subprocess
4206     and restore the signal state. */
4207
4208     if (pid < 0)
4209       {
4210       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
4211         strerror(errno));
4212       smtp_printf("458 Unable to fork process\r\n");
4213       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
4214       }
4215     else
4216       {
4217       if (user_msg == NULL) smtp_printf("250 OK\r\n");
4218         else smtp_user_msg(US"250", user_msg);
4219       }
4220
4221     signal(SIGCHLD, oldsignal);
4222     break;
4223
4224
4225     case BADARG_CMD:
4226     done = synprot_error(L_smtp_syntax_error, 501, NULL,
4227       US"unexpected argument data");
4228     break;
4229
4230
4231     /* This currently happens only for NULLs, but could be extended. */
4232
4233     case BADCHAR_CMD:
4234     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
4235       US"NULL character(s) present (shown as '?')");
4236     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
4237     break;
4238
4239
4240     case BADSYN_CMD:
4241     SYNC_FAILURE:
4242     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
4243       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
4244     c = smtp_inend - smtp_inptr;
4245     if (c > 150) c = 150;
4246     smtp_inptr[c] = 0;
4247     incomplete_transaction_log(US"sync failure");
4248     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
4249       "(next input sent too soon: pipelining was%s advertised): "
4250       "rejected \"%s\" %s next input=\"%s\"",
4251       pipelining_advertised? "" : " not",
4252       smtp_cmd_buffer, host_and_ident(TRUE),
4253       string_printing(smtp_inptr));
4254     smtp_notquit_exit(US"synchronization-error", US"554",
4255       US"SMTP synchronization error");
4256     done = 1;   /* Pretend eof - drops connection */
4257     break;
4258
4259
4260     case TOO_MANY_NONMAIL_CMD:
4261     s = smtp_cmd_buffer;
4262     while (*s != 0 && !isspace(*s)) s++;
4263     incomplete_transaction_log(US"too many non-mail commands");
4264     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4265       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
4266       s - smtp_cmd_buffer, smtp_cmd_buffer);
4267     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
4268     done = 1;   /* Pretend eof - drops connection */
4269     break;
4270
4271
4272     default:
4273     if (unknown_command_count++ >= smtp_max_unknown_commands)
4274       {
4275       log_write(L_smtp_syntax_error, LOG_MAIN,
4276         "SMTP syntax error in \"%s\" %s %s",
4277         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
4278         US"unrecognized command");
4279       incomplete_transaction_log(US"unrecognized command");
4280       smtp_notquit_exit(US"bad-commands", US"500",
4281         US"Too many unrecognized commands");
4282       done = 2;
4283       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4284         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
4285         smtp_cmd_buffer);
4286       }
4287     else
4288       done = synprot_error(L_smtp_syntax_error, 500, NULL,
4289         US"unrecognized command");
4290     break;
4291     }
4292
4293   /* This label is used by goto's inside loops that want to break out to
4294   the end of the command-processing loop. */
4295
4296   COMMAND_LOOP:
4297   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
4298   last_was_rcpt = was_rcpt;             /* protocol error handling */
4299   continue;
4300   }
4301
4302 return done - 2;  /* Convert yield values */
4303 }
4304
4305 /* End of smtp_in.c */