e79f0a202e233c010aaa25e11ab600f3edd0e66b
[users/heiko/exim.git] / src / src / smtp_in.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2009 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions for handling an incoming SMTP call. */
9
10
11 #include "exim.h"
12
13
14 /* Initialize for TCP wrappers if so configured. It appears that the macro
15 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
16 including that header, and restore its value afterwards. */
17
18 #ifdef USE_TCP_WRAPPERS
19
20   #if HAVE_IPV6
21   #define EXIM_HAVE_IPV6
22   #endif
23   #undef HAVE_IPV6
24   #include <tcpd.h>
25   #undef HAVE_IPV6
26   #ifdef EXIM_HAVE_IPV6
27   #define HAVE_IPV6 TRUE
28   #endif
29
30 int allow_severity = LOG_INFO;
31 int deny_severity  = LOG_NOTICE;
32 uschar *tcp_wrappers_name;
33 #endif
34
35
36 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
37 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
38 commands that accept arguments, and this in particular applies to AUTH, where
39 the data can be quite long.  More recently this value was 2048 in Exim; 
40 however, RFC 4954 (circa 2007) recommends 12288 bytes to handle AUTH.  Clients
41 such as Thunderbird will send an AUTH with an initial-response for GSSAPI. 
42 The maximum size of a Kerberos ticket under Windows 2003 is 12000 bytes, and 
43 we need room to handle large base64-encoded AUTHs for GSSAPI.
44 */
45
46 #define smtp_cmd_buffer_size  16384
47
48 /* Size of buffer for reading SMTP incoming packets */
49
50 #define in_buffer_size  8192
51
52 /* Structure for SMTP command list */
53
54 typedef struct {
55   const char *name;
56   int len;
57   short int cmd;
58   short int has_arg;
59   short int is_mail_cmd;
60 } smtp_cmd_list;
61
62 /* Codes for identifying commands. We order them so that those that come first
63 are those for which synchronization is always required. Checking this can help
64 block some spam.  */
65
66 enum {
67   /* These commands are required to be synchronized, i.e. to be the last in a
68   block of commands when pipelining. */
69
70   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
71   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
72   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
73   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
74
75   /* This is a dummy to identify the non-sync commands when pipelining */
76
77   NON_SYNC_CMD_PIPELINING,
78
79   /* These commands need not be synchronized when pipelining */
80
81   MAIL_CMD, RCPT_CMD, RSET_CMD,
82
83   /* This is a dummy to identify the non-sync commands when not pipelining */
84
85   NON_SYNC_CMD_NON_PIPELINING,
86
87   /* I have been unable to find a statement about the use of pipelining
88   with AUTH, so to be on the safe side it is here, though I kind of feel
89   it should be up there with the synchronized commands. */
90
91   AUTH_CMD,
92
93   /* I'm not sure about these, but I don't think they matter. */
94
95   QUIT_CMD, HELP_CMD,
96
97   /* These are specials that don't correspond to actual commands */
98
99   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
100   TOO_MANY_NONMAIL_CMD };
101
102
103 /* This is a convenience macro for adding the identity of an SMTP command
104 to the circular buffer that holds a list of the last n received. */
105
106 #define HAD(n) \
107     smtp_connection_had[smtp_ch_index++] = n; \
108     if (smtp_ch_index >= SMTP_HBUFF_SIZE) smtp_ch_index = 0
109
110
111 /*************************************************
112 *                Local static variables          *
113 *************************************************/
114
115 static auth_instance *authenticated_by;
116 static BOOL auth_advertised;
117 #ifdef SUPPORT_TLS
118 static BOOL tls_advertised;
119 #endif
120 static BOOL esmtp;
121 static BOOL helo_required = FALSE;
122 static BOOL helo_verify = FALSE;
123 static BOOL helo_seen;
124 static BOOL helo_accept_junk;
125 static BOOL count_nonmail;
126 static BOOL pipelining_advertised;
127 static BOOL rcpt_smtp_response_same;
128 static BOOL rcpt_in_progress;
129 static int  nonmail_command_count;
130 static BOOL smtp_exit_function_called = 0;
131 static int  synprot_error_count;
132 static int  unknown_command_count;
133 static int  sync_cmd_limit;
134 static int  smtp_write_error = 0;
135
136 static uschar *rcpt_smtp_response;
137 static uschar *smtp_data_buffer;
138 static uschar *smtp_cmd_data;
139
140 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
141 final fields of all except AUTH are forced TRUE at the start of a new message
142 setup, to allow one of each between messages that is not counted as a nonmail
143 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
144 allow a new EHLO after starting up TLS.
145
146 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
147 counted. However, the flag is changed when AUTH is received, so that multiple
148 failing AUTHs will eventually hit the limit. After a successful AUTH, another
149 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
150 forced TRUE, to allow for the re-authentication that can happen at that point.
151
152 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
153 count of non-mail commands and possibly provoke an error. */
154
155 static smtp_cmd_list cmd_list[] = {
156   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
157   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
158   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
159   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
160   #ifdef SUPPORT_TLS
161   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
162   #endif
163
164 /* If you change anything above here, also fix the definitions below. */
165
166   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
167   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
168   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
169   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
170   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
171   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
172   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
173   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
174   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
175 };
176
177 static smtp_cmd_list *cmd_list_end =
178   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
179
180 #define CMD_LIST_RSET      0
181 #define CMD_LIST_HELO      1
182 #define CMD_LIST_EHLO      2
183 #define CMD_LIST_AUTH      3
184 #define CMD_LIST_STARTTLS  4
185
186 /* This list of names is used for performing the smtp_no_mail logging action.
187 It must be kept in step with the SCH_xxx enumerations. */
188
189 static uschar *smtp_names[] =
190   {
191   US"NONE", US"AUTH", US"DATA", US"EHLO", US"ETRN", US"EXPN", US"HELO",
192   US"HELP", US"MAIL", US"NOOP", US"QUIT", US"RCPT", US"RSET", US"STARTTLS",
193   US"VRFY" };
194
195 static uschar *protocols[] = {
196   US"local-smtp",        /* HELO */
197   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
198   US"local-esmtp",       /* EHLO */
199   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
200   US"local-esmtpa",      /* EHLO->AUTH */
201   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
202   };
203
204 #define pnormal  0
205 #define pextend  2
206 #define pcrpted  1  /* added to pextend or pnormal */
207 #define pauthed  2  /* added to pextend */
208 #define pnlocal  6  /* offset to remove "local" */
209
210 /* When reading SMTP from a remote host, we have to use our own versions of the
211 C input-reading functions, in order to be able to flush the SMTP output only
212 when about to read more data from the socket. This is the only way to get
213 optimal performance when the client is using pipelining. Flushing for every
214 command causes a separate packet and reply packet each time; saving all the
215 responses up (when pipelining) combines them into one packet and one response.
216
217 For simplicity, these functions are used for *all* SMTP input, not only when
218 receiving over a socket. However, after setting up a secure socket (SSL), input
219 is read via the OpenSSL library, and another set of functions is used instead
220 (see tls.c).
221
222 These functions are set in the receive_getc etc. variables and called with the
223 same interface as the C functions. However, since there can only ever be
224 one incoming SMTP call, we just use a single buffer and flags. There is no need
225 to implement a complicated private FILE-like structure.*/
226
227 static uschar *smtp_inbuffer;
228 static uschar *smtp_inptr;
229 static uschar *smtp_inend;
230 static int     smtp_had_eof;
231 static int     smtp_had_error;
232
233
234 /*************************************************
235 *          SMTP version of getc()                *
236 *************************************************/
237
238 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
239 it flushes the output, and refills the buffer, with a timeout. The signal
240 handler is set appropriately by the calling function. This function is not used
241 after a connection has negotated itself into an TLS/SSL state.
242
243 Arguments:  none
244 Returns:    the next character or EOF
245 */
246
247 int
248 smtp_getc(void)
249 {
250 if (smtp_inptr >= smtp_inend)
251   {
252   int rc, save_errno;
253   fflush(smtp_out);
254   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
255   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
256   save_errno = errno;
257   alarm(0);
258   if (rc <= 0)
259     {
260     /* Must put the error text in fixed store, because this might be during
261     header reading, where it releases unused store above the header. */
262     if (rc < 0)
263       {
264       smtp_had_error = save_errno;
265       smtp_read_error = string_copy_malloc(
266         string_sprintf(" (error: %s)", strerror(save_errno)));
267       }
268     else smtp_had_eof = 1;
269     return EOF;
270     }
271 #ifndef DISABLE_DKIM
272   dkim_exim_verify_feed(smtp_inbuffer, rc);
273 #endif
274   smtp_inend = smtp_inbuffer + rc;
275   smtp_inptr = smtp_inbuffer;
276   }
277 return *smtp_inptr++;
278 }
279
280
281
282 /*************************************************
283 *          SMTP version of ungetc()              *
284 *************************************************/
285
286 /* Puts a character back in the input buffer. Only ever
287 called once.
288
289 Arguments:
290   ch           the character
291
292 Returns:       the character
293 */
294
295 int
296 smtp_ungetc(int ch)
297 {
298 *(--smtp_inptr) = ch;
299 return ch;
300 }
301
302
303
304
305 /*************************************************
306 *          SMTP version of feof()                *
307 *************************************************/
308
309 /* Tests for a previous EOF
310
311 Arguments:     none
312 Returns:       non-zero if the eof flag is set
313 */
314
315 int
316 smtp_feof(void)
317 {
318 return smtp_had_eof;
319 }
320
321
322
323
324 /*************************************************
325 *          SMTP version of ferror()              *
326 *************************************************/
327
328 /* Tests for a previous read error, and returns with errno
329 restored to what it was when the error was detected.
330
331 Arguments:     none
332 Returns:       non-zero if the error flag is set
333 */
334
335 int
336 smtp_ferror(void)
337 {
338 errno = smtp_had_error;
339 return smtp_had_error;
340 }
341
342
343
344 /*************************************************
345 *      Test for characters in the SMTP buffer    *
346 *************************************************/
347
348 /* Used at the end of a message
349
350 Arguments:     none
351 Returns:       TRUE/FALSE
352 */
353
354 BOOL
355 smtp_buffered(void)
356 {
357 return smtp_inptr < smtp_inend;
358 }
359
360
361
362 /*************************************************
363 *     Write formatted string to SMTP channel     *
364 *************************************************/
365
366 /* This is a separate function so that we don't have to repeat everything for
367 TLS support or debugging. It is global so that the daemon and the
368 authentication functions can use it. It does not return any error indication,
369 because major problems such as dropped connections won't show up till an output
370 flush for non-TLS connections. The smtp_fflush() function is available for
371 checking that: for convenience, TLS output errors are remembered here so that
372 they are also picked up later by smtp_fflush().
373
374 Arguments:
375   format      format string
376   ...         optional arguments
377
378 Returns:      nothing
379 */
380
381 void
382 smtp_printf(const char *format, ...)
383 {
384 va_list ap;
385
386 va_start(ap, format);
387 smtp_vprintf(format, ap);
388 va_end(ap);
389 }
390
391 /* This is split off so that verify.c:respond_printf() can, in effect, call
392 smtp_printf(), bearing in mind that in C a vararg function can't directly
393 call another vararg function, only a function which accepts a va_list. */
394
395 void
396 smtp_vprintf(const char *format, va_list ap)
397 {
398 BOOL yield;
399
400 yield = string_vformat(big_buffer, big_buffer_size, format, ap);
401
402 DEBUG(D_receive)
403   {
404   void *reset_point = store_get(0);
405   uschar *msg_copy, *cr, *end;
406   msg_copy = string_copy(big_buffer);
407   end = msg_copy + Ustrlen(msg_copy);
408   while ((cr = Ustrchr(msg_copy, '\r')) != NULL)   /* lose CRs */
409   memmove(cr, cr + 1, (end--) - cr);
410   debug_printf("SMTP>> %s", msg_copy);
411   store_reset(reset_point);
412   }
413
414 if (!yield)
415   {
416   log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf()");
417   smtp_closedown(US"Unexpected error");
418   exim_exit(EXIT_FAILURE);
419   }
420
421 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
422 have had the same. Note: this code is also present in smtp_respond(). It would
423 be tidier to have it only in one place, but when it was added, it was easier to
424 do it that way, so as not to have to mess with the code for the RCPT command,
425 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
426
427 if (rcpt_in_progress)
428   {
429   if (rcpt_smtp_response == NULL)
430     rcpt_smtp_response = string_copy(big_buffer);
431   else if (rcpt_smtp_response_same &&
432            Ustrcmp(rcpt_smtp_response, big_buffer) != 0)
433     rcpt_smtp_response_same = FALSE;
434   rcpt_in_progress = FALSE;
435   }
436
437 /* Now write the string */
438
439 #ifdef SUPPORT_TLS
440 if (tls_active >= 0)
441   {
442   if (tls_write(big_buffer, Ustrlen(big_buffer)) < 0) smtp_write_error = -1;
443   }
444 else
445 #endif
446
447 if (fprintf(smtp_out, "%s", big_buffer) < 0) smtp_write_error = -1;
448 }
449
450
451
452 /*************************************************
453 *        Flush SMTP out and check for error      *
454 *************************************************/
455
456 /* This function isn't currently used within Exim (it detects errors when it
457 tries to read the next SMTP input), but is available for use in local_scan().
458 For non-TLS connections, it flushes the output and checks for errors. For
459 TLS-connections, it checks for a previously-detected TLS write error.
460
461 Arguments:  none
462 Returns:    0 for no error; -1 after an error
463 */
464
465 int
466 smtp_fflush(void)
467 {
468 if (tls_active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
469 return smtp_write_error;
470 }
471
472
473
474 /*************************************************
475 *          SMTP command read timeout             *
476 *************************************************/
477
478 /* Signal handler for timing out incoming SMTP commands. This attempts to
479 finish off tidily.
480
481 Argument: signal number (SIGALRM)
482 Returns:  nothing
483 */
484
485 static void
486 command_timeout_handler(int sig)
487 {
488 sig = sig;    /* Keep picky compilers happy */
489 log_write(L_lost_incoming_connection,
490           LOG_MAIN, "SMTP command timeout on%s connection from %s",
491           (tls_active >= 0)? " TLS" : "",
492           host_and_ident(FALSE));
493 if (smtp_batched_input)
494   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
495 smtp_notquit_exit(US"command-timeout", US"421",
496   US"%s: SMTP command timeout - closing connection", smtp_active_hostname);
497 exim_exit(EXIT_FAILURE);
498 }
499
500
501
502 /*************************************************
503 *               SIGTERM received                 *
504 *************************************************/
505
506 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
507
508 Argument: signal number (SIGTERM)
509 Returns:  nothing
510 */
511
512 static void
513 command_sigterm_handler(int sig)
514 {
515 sig = sig;    /* Keep picky compilers happy */
516 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
517 if (smtp_batched_input)
518   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
519 smtp_notquit_exit(US"signal-exit", US"421",
520   US"%s: Service not available - closing connection", smtp_active_hostname);
521 exim_exit(EXIT_FAILURE);
522 }
523
524
525
526
527 /*************************************************
528 *           Read one command line                *
529 *************************************************/
530
531 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
532 There are sites that don't do this, and in any case internal SMTP probably
533 should check only for LF. Consequently, we check here for LF only. The line
534 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
535 an unknown command. The command is read into the global smtp_cmd_buffer so that
536 it is available via $smtp_command.
537
538 The character reading routine sets up a timeout for each block actually read
539 from the input (which may contain more than one command). We set up a special
540 signal handler that closes down the session on a timeout. Control does not
541 return when it runs.
542
543 Arguments:
544   check_sync   if TRUE, check synchronization rules if global option is TRUE
545
546 Returns:       a code identifying the command (enumerated above)
547 */
548
549 static int
550 smtp_read_command(BOOL check_sync)
551 {
552 int c;
553 int ptr = 0;
554 smtp_cmd_list *p;
555 BOOL hadnull = FALSE;
556
557 os_non_restarting_signal(SIGALRM, command_timeout_handler);
558
559 while ((c = (receive_getc)()) != '\n' && c != EOF)
560   {
561   if (ptr >= smtp_cmd_buffer_size)
562     {
563     os_non_restarting_signal(SIGALRM, sigalrm_handler);
564     return OTHER_CMD;
565     }
566   if (c == 0)
567     {
568     hadnull = TRUE;
569     c = '?';
570     }
571   smtp_cmd_buffer[ptr++] = c;
572   }
573
574 receive_linecount++;    /* For BSMTP errors */
575 os_non_restarting_signal(SIGALRM, sigalrm_handler);
576
577 /* If hit end of file, return pseudo EOF command. Whether we have a
578 part-line already read doesn't matter, since this is an error state. */
579
580 if (c == EOF) return EOF_CMD;
581
582 /* Remove any CR and white space at the end of the line, and terminate the
583 string. */
584
585 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
586 smtp_cmd_buffer[ptr] = 0;
587
588 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
589
590 /* NULLs are not allowed in SMTP commands */
591
592 if (hadnull) return BADCHAR_CMD;
593
594 /* Scan command list and return identity, having set the data pointer
595 to the start of the actual data characters. Check for SMTP synchronization
596 if required. */
597
598 for (p = cmd_list; p < cmd_list_end; p++)
599   {
600   if (strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0 &&
601        (smtp_cmd_buffer[p->len-1] == ':' ||   /* "mail from:" or "rcpt to:" */
602         smtp_cmd_buffer[p->len] == 0 ||
603         smtp_cmd_buffer[p->len] == ' '))
604     {
605     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
606         p->cmd < sync_cmd_limit &&                     /* Command should sync */
607         check_sync &&                                  /* Local flag set */
608         smtp_enforce_sync &&                           /* Global flag set */
609         sender_host_address != NULL &&                 /* Not local input */
610         !sender_host_notsocket)                        /* Really is a socket */
611       return BADSYN_CMD;
612
613     /* The variables $smtp_command and $smtp_command_argument point into the
614     unmodified input buffer. A copy of the latter is taken for actual
615     processing, so that it can be chopped up into separate parts if necessary,
616     for example, when processing a MAIL command options such as SIZE that can
617     follow the sender address. */
618
619     smtp_cmd_argument = smtp_cmd_buffer + p->len;
620     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
621     Ustrcpy(smtp_data_buffer, smtp_cmd_argument);
622     smtp_cmd_data = smtp_data_buffer;
623
624     /* Count non-mail commands from those hosts that are controlled in this
625     way. The default is all hosts. We don't waste effort checking the list
626     until we get a non-mail command, but then cache the result to save checking
627     again. If there's a DEFER while checking the host, assume it's in the list.
628
629     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
630     start of each incoming message by fiddling with the value in the table. */
631
632     if (!p->is_mail_cmd)
633       {
634       if (count_nonmail == TRUE_UNSET) count_nonmail =
635         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
636       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
637         return TOO_MANY_NONMAIL_CMD;
638       }
639
640     /* If there is data for a command that does not expect it, generate the
641     error here. */
642
643     return (p->has_arg || *smtp_cmd_data == 0)? p->cmd : BADARG_CMD;
644     }
645   }
646
647 /* Enforce synchronization for unknown commands */
648
649 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
650     check_sync &&                                  /* Local flag set */
651     smtp_enforce_sync &&                           /* Global flag set */
652     sender_host_address != NULL &&                 /* Not local input */
653     !sender_host_notsocket)                        /* Really is a socket */
654   return BADSYN_CMD;
655
656 return OTHER_CMD;
657 }
658
659
660
661 /*************************************************
662 *          Recheck synchronization               *
663 *************************************************/
664
665 /* Synchronization checks can never be perfect because a packet may be on its
666 way but not arrived when the check is done. Such checks can in any case only be
667 done when TLS is not in use. Normally, the checks happen when commands are
668 read: Exim ensures that there is no more input in the input buffer. In normal
669 cases, the response to the command will be fast, and there is no further check.
670
671 However, for some commands an ACL is run, and that can include delays. In those
672 cases, it is useful to do another check on the input just before sending the
673 response. This also applies at the start of a connection. This function does
674 that check by means of the select() function, as long as the facility is not
675 disabled or inappropriate. A failure of select() is ignored.
676
677 When there is unwanted input, we read it so that it appears in the log of the
678 error.
679
680 Arguments: none
681 Returns:   TRUE if all is well; FALSE if there is input pending
682 */
683
684 static BOOL
685 check_sync(void)
686 {
687 int fd, rc;
688 fd_set fds;
689 struct timeval tzero;
690
691 if (!smtp_enforce_sync || sender_host_address == NULL ||
692     sender_host_notsocket || tls_active >= 0)
693   return TRUE;
694
695 fd = fileno(smtp_in);
696 FD_ZERO(&fds);
697 FD_SET(fd, &fds);
698 tzero.tv_sec = 0;
699 tzero.tv_usec = 0;
700 rc = select(fd + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL, &tzero);
701
702 if (rc <= 0) return TRUE;     /* Not ready to read */
703 rc = smtp_getc();
704 if (rc < 0) return TRUE;      /* End of file or error */
705
706 smtp_ungetc(rc);
707 rc = smtp_inend - smtp_inptr;
708 if (rc > 150) rc = 150;
709 smtp_inptr[rc] = 0;
710 return FALSE;
711 }
712
713
714
715 /*************************************************
716 *          Forced closedown of call              *
717 *************************************************/
718
719 /* This function is called from log.c when Exim is dying because of a serious
720 disaster, and also from some other places. If an incoming non-batched SMTP
721 channel is open, it swallows the rest of the incoming message if in the DATA
722 phase, sends the reply string, and gives an error to all subsequent commands
723 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
724 smtp_in.
725
726 Arguments:
727   message   SMTP reply string to send, excluding the code
728
729 Returns:    nothing
730 */
731
732 void
733 smtp_closedown(uschar *message)
734 {
735 if (smtp_in == NULL || smtp_batched_input) return;
736 receive_swallow_smtp();
737 smtp_printf("421 %s\r\n", message);
738
739 for (;;)
740   {
741   switch(smtp_read_command(FALSE))
742     {
743     case EOF_CMD:
744     return;
745
746     case QUIT_CMD:
747     smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
748     mac_smtp_fflush();
749     return;
750
751     case RSET_CMD:
752     smtp_printf("250 Reset OK\r\n");
753     break;
754
755     default:
756     smtp_printf("421 %s\r\n", message);
757     break;
758     }
759   }
760 }
761
762
763
764
765 /*************************************************
766 *        Set up connection info for logging      *
767 *************************************************/
768
769 /* This function is called when logging information about an SMTP connection.
770 It sets up appropriate source information, depending on the type of connection.
771 If sender_fullhost is NULL, we are at a very early stage of the connection;
772 just use the IP address.
773
774 Argument:    none
775 Returns:     a string describing the connection
776 */
777
778 uschar *
779 smtp_get_connection_info(void)
780 {
781 uschar *hostname = (sender_fullhost == NULL)?
782   sender_host_address : sender_fullhost;
783
784 if (host_checking)
785   return string_sprintf("SMTP connection from %s", hostname);
786
787 if (sender_host_unknown || sender_host_notsocket)
788   return string_sprintf("SMTP connection from %s", sender_ident);
789
790 if (is_inetd)
791   return string_sprintf("SMTP connection from %s (via inetd)", hostname);
792
793 if ((log_extra_selector & LX_incoming_interface) != 0 &&
794      interface_address != NULL)
795   return string_sprintf("SMTP connection from %s I=[%s]:%d", hostname,
796     interface_address, interface_port);
797
798 return string_sprintf("SMTP connection from %s", hostname);
799 }
800
801
802
803 /*************************************************
804 *      Log lack of MAIL if so configured         *
805 *************************************************/
806
807 /* This function is called when an SMTP session ends. If the log selector
808 smtp_no_mail is set, write a log line giving some details of what has happened
809 in the SMTP session.
810
811 Arguments:   none
812 Returns:     nothing
813 */
814
815 void
816 smtp_log_no_mail(void)
817 {
818 int size, ptr, i;
819 uschar *s, *sep;
820
821 if (smtp_mailcmd_count > 0 || (log_extra_selector & LX_smtp_no_mail) == 0)
822   return;
823
824 s = NULL;
825 size = ptr = 0;
826
827 if (sender_host_authenticated != NULL)
828   {
829   s = string_append(s, &size, &ptr, 2, US" A=", sender_host_authenticated);
830   if (authenticated_id != NULL)
831     s = string_append(s, &size, &ptr, 2, US":", authenticated_id);
832   }
833
834 #ifdef SUPPORT_TLS
835 if ((log_extra_selector & LX_tls_cipher) != 0 && tls_cipher != NULL)
836   s = string_append(s, &size, &ptr, 2, US" X=", tls_cipher);
837 if ((log_extra_selector & LX_tls_certificate_verified) != 0 &&
838      tls_cipher != NULL)
839   s = string_append(s, &size, &ptr, 2, US" CV=",
840     tls_certificate_verified? "yes":"no");
841 if ((log_extra_selector & LX_tls_peerdn) != 0 && tls_peerdn != NULL)
842   s = string_append(s, &size, &ptr, 3, US" DN=\"",
843     string_printing(tls_peerdn), US"\"");
844 #endif
845
846 sep = (smtp_connection_had[SMTP_HBUFF_SIZE-1] != SCH_NONE)?
847   US" C=..." : US" C=";
848 for (i = smtp_ch_index; i < SMTP_HBUFF_SIZE; i++)
849   {
850   if (smtp_connection_had[i] != SCH_NONE)
851     {
852     s = string_append(s, &size, &ptr, 2, sep,
853       smtp_names[smtp_connection_had[i]]);
854     sep = US",";
855     }
856   }
857
858 for (i = 0; i < smtp_ch_index; i++)
859   {
860   s = string_append(s, &size, &ptr, 2, sep, smtp_names[smtp_connection_had[i]]);
861   sep = US",";
862   }
863
864 if (s != NULL) s[ptr] = 0; else s = US"";
865 log_write(0, LOG_MAIN, "no MAIL in SMTP connection from %s D=%s%s",
866   host_and_ident(FALSE),
867   readconf_printtime(time(NULL) - smtp_connection_start), s);
868 }
869
870
871
872 /*************************************************
873 *   Check HELO line and set sender_helo_name     *
874 *************************************************/
875
876 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
877 the domain name of the sending host, or an ip literal in square brackets. The
878 arrgument is placed in sender_helo_name, which is in malloc store, because it
879 must persist over multiple incoming messages. If helo_accept_junk is set, this
880 host is permitted to send any old junk (needed for some broken hosts).
881 Otherwise, helo_allow_chars can be used for rogue characters in general
882 (typically people want to let in underscores).
883
884 Argument:
885   s       the data portion of the line (already past any white space)
886
887 Returns:  TRUE or FALSE
888 */
889
890 static BOOL
891 check_helo(uschar *s)
892 {
893 uschar *start = s;
894 uschar *end = s + Ustrlen(s);
895 BOOL yield = helo_accept_junk;
896
897 /* Discard any previous helo name */
898
899 if (sender_helo_name != NULL)
900   {
901   store_free(sender_helo_name);
902   sender_helo_name = NULL;
903   }
904
905 /* Skip tests if junk is permitted. */
906
907 if (!yield)
908   {
909   /* Allow the new standard form for IPv6 address literals, namely,
910   [IPv6:....], and because someone is bound to use it, allow an equivalent
911   IPv4 form. Allow plain addresses as well. */
912
913   if (*s == '[')
914     {
915     if (end[-1] == ']')
916       {
917       end[-1] = 0;
918       if (strncmpic(s, US"[IPv6:", 6) == 0)
919         yield = (string_is_ip_address(s+6, NULL) == 6);
920       else if (strncmpic(s, US"[IPv4:", 6) == 0)
921         yield = (string_is_ip_address(s+6, NULL) == 4);
922       else
923         yield = (string_is_ip_address(s+1, NULL) != 0);
924       end[-1] = ']';
925       }
926     }
927
928   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
929   that have been configured (usually underscore - sigh). */
930
931   else if (*s != 0)
932     {
933     yield = TRUE;
934     while (*s != 0)
935       {
936       if (!isalnum(*s) && *s != '.' && *s != '-' &&
937           Ustrchr(helo_allow_chars, *s) == NULL)
938         {
939         yield = FALSE;
940         break;
941         }
942       s++;
943       }
944     }
945   }
946
947 /* Save argument if OK */
948
949 if (yield) sender_helo_name = string_copy_malloc(start);
950 return yield;
951 }
952
953
954
955
956
957 /*************************************************
958 *         Extract SMTP command option            *
959 *************************************************/
960
961 /* This function picks the next option setting off the end of smtp_cmd_data. It
962 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
963 things that can appear there.
964
965 Arguments:
966    name           point this at the name
967    value          point this at the data string
968
969 Returns:          TRUE if found an option
970 */
971
972 static BOOL
973 extract_option(uschar **name, uschar **value)
974 {
975 uschar *n;
976 uschar *v = smtp_cmd_data + Ustrlen(smtp_cmd_data) - 1;
977 while (isspace(*v)) v--;
978 v[1] = 0;
979
980 while (v > smtp_cmd_data && *v != '=' && !isspace(*v)) v--;
981 if (*v != '=') return FALSE;
982
983 n = v;
984 while(isalpha(n[-1])) n--;
985
986 if (n[-1] != ' ') return FALSE;
987
988 n[-1] = 0;
989 *name = n;
990 *v++ = 0;
991 *value = v;
992 return TRUE;
993 }
994
995
996
997
998
999 /*************************************************
1000 *         Reset for new message                  *
1001 *************************************************/
1002
1003 /* This function is called whenever the SMTP session is reset from
1004 within either of the setup functions.
1005
1006 Argument:   the stacking pool storage reset point
1007 Returns:    nothing
1008 */
1009
1010 static void
1011 smtp_reset(void *reset_point)
1012 {
1013 store_reset(reset_point);
1014 recipients_list = NULL;
1015 rcpt_count = rcpt_defer_count = rcpt_fail_count =
1016   raw_recipients_count = recipients_count = recipients_list_max = 0;
1017 message_linecount = 0;
1018 message_size = -1;
1019 acl_added_headers = NULL;
1020 queue_only_policy = FALSE;
1021 rcpt_smtp_response = NULL;
1022 rcpt_smtp_response_same = TRUE;
1023 rcpt_in_progress = FALSE;
1024 deliver_freeze = FALSE;                              /* Can be set by ACL */
1025 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
1026 fake_response = OK;                                  /* Can be set by ACL */
1027 #ifdef WITH_CONTENT_SCAN
1028 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
1029 #endif
1030 submission_mode = FALSE;                             /* Can be set by ACL */
1031 suppress_local_fixups = FALSE;                       /* Can be set by ACL */
1032 active_local_from_check = local_from_check;          /* Can be set by ACL */
1033 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
1034 sender_address = NULL;
1035 submission_name = NULL;                              /* Can be set by ACL */
1036 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
1037 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
1038 sender_verified_list = NULL;        /* No senders verified */
1039 memset(sender_address_cache, 0, sizeof(sender_address_cache));
1040 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
1041 authenticated_sender = NULL;
1042 #ifdef EXPERIMENTAL_BRIGHTMAIL
1043 bmi_run = 0;
1044 bmi_verdicts = NULL;
1045 #endif
1046 #ifndef DISABLE_DKIM
1047 dkim_signers = NULL;
1048 dkim_disable_verify = FALSE;
1049 dkim_collect_input = FALSE;
1050 #endif
1051 #ifdef EXPERIMENTAL_SPF
1052 spf_header_comment = NULL;
1053 spf_received = NULL;
1054 spf_result = NULL;
1055 spf_smtp_comment = NULL;
1056 #endif
1057 body_linecount = body_zerocount = 0;
1058
1059 sender_rate = sender_rate_limit = sender_rate_period = NULL;
1060 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
1061                    /* Note that ratelimiters_conn persists across resets. */
1062
1063 /* Reset message ACL variables */
1064
1065 acl_var_m = NULL;
1066
1067 /* The message body variables use malloc store. They may be set if this is
1068 not the first message in an SMTP session and the previous message caused them
1069 to be referenced in an ACL. */
1070
1071 if (message_body != NULL)
1072   {
1073   store_free(message_body);
1074   message_body = NULL;
1075   }
1076
1077 if (message_body_end != NULL)
1078   {
1079   store_free(message_body_end);
1080   message_body_end = NULL;
1081   }
1082
1083 /* Warning log messages are also saved in malloc store. They are saved to avoid
1084 repetition in the same message, but it seems right to repeat them for different
1085 messages. */
1086
1087 while (acl_warn_logged != NULL)
1088   {
1089   string_item *this = acl_warn_logged;
1090   acl_warn_logged = acl_warn_logged->next;
1091   store_free(this);
1092   }
1093 }
1094
1095
1096
1097
1098
1099 /*************************************************
1100 *  Initialize for incoming batched SMTP message  *
1101 *************************************************/
1102
1103 /* This function is called from smtp_setup_msg() in the case when
1104 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
1105 of messages in one file with SMTP commands between them. All errors must be
1106 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
1107 relevant. After an error on a sender, or an invalid recipient, the remainder
1108 of the message is skipped. The value of received_protocol is already set.
1109
1110 Argument: none
1111 Returns:  > 0 message successfully started (reached DATA)
1112           = 0 QUIT read or end of file reached
1113           < 0 should not occur
1114 */
1115
1116 static int
1117 smtp_setup_batch_msg(void)
1118 {
1119 int done = 0;
1120 void *reset_point = store_get(0);
1121
1122 /* Save the line count at the start of each transaction - single commands
1123 like HELO and RSET count as whole transactions. */
1124
1125 bsmtp_transaction_linecount = receive_linecount;
1126
1127 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
1128
1129 smtp_reset(reset_point);                /* Reset for start of message */
1130
1131 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
1132 value. The values are 2 larger than the required yield of the function. */
1133
1134 while (done <= 0)
1135   {
1136   uschar *errmess;
1137   uschar *recipient = NULL;
1138   int start, end, sender_domain, recipient_domain;
1139
1140   switch(smtp_read_command(FALSE))
1141     {
1142     /* The HELO/EHLO commands set sender_address_helo if they have
1143     valid data; otherwise they are ignored, except that they do
1144     a reset of the state. */
1145
1146     case HELO_CMD:
1147     case EHLO_CMD:
1148
1149     check_helo(smtp_cmd_data);
1150     /* Fall through */
1151
1152     case RSET_CMD:
1153     smtp_reset(reset_point);
1154     bsmtp_transaction_linecount = receive_linecount;
1155     break;
1156
1157
1158     /* The MAIL FROM command requires an address as an operand. All we
1159     do here is to parse it for syntactic correctness. The form "<>" is
1160     a special case which converts into an empty string. The start/end
1161     pointers in the original are not used further for this address, as
1162     it is the canonical extracted address which is all that is kept. */
1163
1164     case MAIL_CMD:
1165     if (sender_address != NULL)
1166       /* The function moan_smtp_batch() does not return. */
1167       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
1168
1169     if (smtp_cmd_data[0] == 0)
1170       /* The function moan_smtp_batch() does not return. */
1171       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
1172
1173     /* Reset to start of message */
1174
1175     smtp_reset(reset_point);
1176
1177     /* Apply SMTP rewrite */
1178
1179     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
1180       rewrite_one(smtp_cmd_data, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
1181         US"", global_rewrite_rules) : smtp_cmd_data;
1182
1183     /* Extract the address; the TRUE flag allows <> as valid */
1184
1185     raw_sender =
1186       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
1187         TRUE);
1188
1189     if (raw_sender == NULL)
1190       /* The function moan_smtp_batch() does not return. */
1191       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1192
1193     sender_address = string_copy(raw_sender);
1194
1195     /* Qualify unqualified sender addresses if permitted to do so. */
1196
1197     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
1198       {
1199       if (allow_unqualified_sender)
1200         {
1201         sender_address = rewrite_address_qualify(sender_address, FALSE);
1202         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
1203           "and rewritten\n", raw_sender);
1204         }
1205       /* The function moan_smtp_batch() does not return. */
1206       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
1207         "a domain");
1208       }
1209     break;
1210
1211
1212     /* The RCPT TO command requires an address as an operand. All we do
1213     here is to parse it for syntactic correctness. There may be any number
1214     of RCPT TO commands, specifying multiple senders. We build them all into
1215     a data structure that is in argc/argv format. The start/end values
1216     given by parse_extract_address are not used, as we keep only the
1217     extracted address. */
1218
1219     case RCPT_CMD:
1220     if (sender_address == NULL)
1221       /* The function moan_smtp_batch() does not return. */
1222       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1223
1224     if (smtp_cmd_data[0] == 0)
1225       /* The function moan_smtp_batch() does not return. */
1226       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1227
1228     /* Check maximum number allowed */
1229
1230     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1231       /* The function moan_smtp_batch() does not return. */
1232       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1233         recipients_max_reject? "552": "452");
1234
1235     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1236     recipient address */
1237
1238     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
1239       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
1240         global_rewrite_rules) : smtp_cmd_data;
1241
1242     /* rfc821_domains = TRUE; << no longer needed */
1243     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1244       &recipient_domain, FALSE);
1245     /* rfc821_domains = FALSE; << no longer needed */
1246
1247     if (recipient == NULL)
1248       /* The function moan_smtp_batch() does not return. */
1249       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1250
1251     /* If the recipient address is unqualified, qualify it if permitted. Then
1252     add it to the list of recipients. */
1253
1254     if (recipient_domain == 0)
1255       {
1256       if (allow_unqualified_recipient)
1257         {
1258         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1259           recipient);
1260         recipient = rewrite_address_qualify(recipient, TRUE);
1261         }
1262       /* The function moan_smtp_batch() does not return. */
1263       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1264         "a domain");
1265       }
1266     receive_add_recipient(recipient, -1);
1267     break;
1268
1269
1270     /* The DATA command is legal only if it follows successful MAIL FROM
1271     and RCPT TO commands. This function is complete when a valid DATA
1272     command is encountered. */
1273
1274     case DATA_CMD:
1275     if (sender_address == NULL || recipients_count <= 0)
1276       {
1277       /* The function moan_smtp_batch() does not return. */
1278       if (sender_address == NULL)
1279         moan_smtp_batch(smtp_cmd_buffer,
1280           "503 MAIL FROM:<sender> command must precede DATA");
1281       else
1282         moan_smtp_batch(smtp_cmd_buffer,
1283           "503 RCPT TO:<recipient> must precede DATA");
1284       }
1285     else
1286       {
1287       done = 3;                      /* DATA successfully achieved */
1288       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1289       }
1290     break;
1291
1292
1293     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1294
1295     case VRFY_CMD:
1296     case EXPN_CMD:
1297     case HELP_CMD:
1298     case NOOP_CMD:
1299     case ETRN_CMD:
1300     bsmtp_transaction_linecount = receive_linecount;
1301     break;
1302
1303
1304     case EOF_CMD:
1305     case QUIT_CMD:
1306     done = 2;
1307     break;
1308
1309
1310     case BADARG_CMD:
1311     /* The function moan_smtp_batch() does not return. */
1312     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1313     break;
1314
1315
1316     case BADCHAR_CMD:
1317     /* The function moan_smtp_batch() does not return. */
1318     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1319     break;
1320
1321
1322     default:
1323     /* The function moan_smtp_batch() does not return. */
1324     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1325     break;
1326     }
1327   }
1328
1329 return done - 2;  /* Convert yield values */
1330 }
1331
1332
1333
1334
1335 /*************************************************
1336 *          Start an SMTP session                 *
1337 *************************************************/
1338
1339 /* This function is called at the start of an SMTP session. Thereafter,
1340 smtp_setup_msg() is called to initiate each separate message. This
1341 function does host-specific testing, and outputs the banner line.
1342
1343 Arguments:     none
1344 Returns:       FALSE if the session can not continue; something has
1345                gone wrong, or the connection to the host is blocked
1346 */
1347
1348 BOOL
1349 smtp_start_session(void)
1350 {
1351 int size = 256;
1352 int ptr, esclen;
1353 uschar *user_msg, *log_msg;
1354 uschar *code, *esc;
1355 uschar *p, *s, *ss;
1356
1357 smtp_connection_start = time(NULL);
1358 for (smtp_ch_index = 0; smtp_ch_index < SMTP_HBUFF_SIZE; smtp_ch_index++)
1359   smtp_connection_had[smtp_ch_index] = SCH_NONE;
1360 smtp_ch_index = 0;
1361
1362 /* Default values for certain variables */
1363
1364 helo_seen = esmtp = helo_accept_junk = FALSE;
1365 smtp_mailcmd_count = 0;
1366 count_nonmail = TRUE_UNSET;
1367 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
1368 smtp_delay_mail = smtp_rlm_base;
1369 auth_advertised = FALSE;
1370 pipelining_advertised = FALSE;
1371 pipelining_enable = TRUE;
1372 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
1373 smtp_exit_function_called = FALSE;    /* For avoiding loop in not-quit exit */
1374
1375 memset(sender_host_cache, 0, sizeof(sender_host_cache));
1376
1377 /* If receiving by -bs from a trusted user, or testing with -bh, we allow
1378 authentication settings from -oMaa to remain in force. */
1379
1380 if (!host_checking && !sender_host_notsocket) sender_host_authenticated = NULL;
1381 authenticated_by = NULL;
1382
1383 #ifdef SUPPORT_TLS
1384 tls_cipher = tls_peerdn = NULL;
1385 tls_advertised = FALSE;
1386 #endif
1387
1388 /* Reset ACL connection variables */
1389
1390 acl_var_c = NULL;
1391
1392 /* Allow for trailing 0 in the command and data buffers. */
1393
1394 smtp_cmd_buffer = (uschar *)malloc(2*smtp_cmd_buffer_size + 2);
1395 if (smtp_cmd_buffer == NULL)
1396   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1397     "malloc() failed for SMTP command buffer");
1398 smtp_data_buffer = smtp_cmd_buffer + smtp_cmd_buffer_size + 1;
1399
1400 /* For batched input, the protocol setting can be overridden from the
1401 command line by a trusted caller. */
1402
1403 if (smtp_batched_input)
1404   {
1405   if (received_protocol == NULL) received_protocol = US"local-bsmtp";
1406   }
1407
1408 /* For non-batched SMTP input, the protocol setting is forced here. It will be
1409 reset later if any of EHLO/AUTH/STARTTLS are received. */
1410
1411 else
1412   received_protocol =
1413     protocols[pnormal] + ((sender_host_address != NULL)? pnlocal : 0);
1414
1415 /* Set up the buffer for inputting using direct read() calls, and arrange to
1416 call the local functions instead of the standard C ones. */
1417
1418 smtp_inbuffer = (uschar *)malloc(in_buffer_size);
1419 if (smtp_inbuffer == NULL)
1420   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
1421 receive_getc = smtp_getc;
1422 receive_ungetc = smtp_ungetc;
1423 receive_feof = smtp_feof;
1424 receive_ferror = smtp_ferror;
1425 receive_smtp_buffered = smtp_buffered;
1426 smtp_inptr = smtp_inend = smtp_inbuffer;
1427 smtp_had_eof = smtp_had_error = 0;
1428
1429 /* Set up the message size limit; this may be host-specific */
1430
1431 thismessage_size_limit = expand_string_integer(message_size_limit, TRUE);
1432 if (expand_string_message != NULL)
1433   {
1434   if (thismessage_size_limit == -1)
1435     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
1436       "%s", expand_string_message);
1437   else
1438     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
1439       "%s", expand_string_message);
1440   smtp_closedown(US"Temporary local problem - please try later");
1441   return FALSE;
1442   }
1443
1444 /* When a message is input locally via the -bs or -bS options, sender_host_
1445 unknown is set unless -oMa was used to force an IP address, in which case it
1446 is checked like a real remote connection. When -bs is used from inetd, this
1447 flag is not set, causing the sending host to be checked. The code that deals
1448 with IP source routing (if configured) is never required for -bs or -bS and
1449 the flag sender_host_notsocket is used to suppress it.
1450
1451 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
1452 reserve for certain hosts and/or networks. */
1453
1454 if (!sender_host_unknown)
1455   {
1456   int rc;
1457   BOOL reserved_host = FALSE;
1458
1459   /* Look up IP options (source routing info) on the socket if this is not an
1460   -oMa "host", and if any are found, log them and drop the connection.
1461
1462   Linux (and others now, see below) is different to everyone else, so there
1463   has to be some conditional compilation here. Versions of Linux before 2.1.15
1464   used a structure whose name was "options". Somebody finally realized that
1465   this name was silly, and it got changed to "ip_options". I use the
1466   newer name here, but there is a fudge in the script that sets up os.h
1467   to define a macro in older Linux systems.
1468
1469   Sigh. Linux is a fast-moving target. Another generation of Linux uses
1470   glibc 2, which has chosen ip_opts for the structure name. This is now
1471   really a glibc thing rather than a Linux thing, so the condition name
1472   has been changed to reflect this. It is relevant also to GNU/Hurd.
1473
1474   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
1475   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
1476   a special macro defined in the os.h file.
1477
1478   Some DGUX versions on older hardware appear not to support IP options at
1479   all, so there is now a general macro which can be set to cut out this
1480   support altogether.
1481
1482   How to do this properly in IPv6 is not yet known. */
1483
1484   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
1485
1486   #ifdef GLIBC_IP_OPTIONS
1487     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
1488     #define OPTSTYLE 1
1489     #else
1490     #define OPTSTYLE 2
1491     #endif
1492   #elif defined DARWIN_IP_OPTIONS
1493     #define OPTSTYLE 2
1494   #else
1495     #define OPTSTYLE 3
1496   #endif
1497
1498   if (!host_checking && !sender_host_notsocket)
1499     {
1500     #if OPTSTYLE == 1
1501     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
1502     struct ip_options *ipopt = store_get(optlen);
1503     #elif OPTSTYLE == 2
1504     struct ip_opts ipoptblock;
1505     struct ip_opts *ipopt = &ipoptblock;
1506     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1507     #else
1508     struct ipoption ipoptblock;
1509     struct ipoption *ipopt = &ipoptblock;
1510     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1511     #endif
1512
1513     /* Occasional genuine failures of getsockopt() have been seen - for
1514     example, "reset by peer". Therefore, just log and give up on this
1515     call, unless the error is ENOPROTOOPT. This error is given by systems
1516     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
1517     of writing. So for that error, carry on - we just can't do an IP options
1518     check. */
1519
1520     DEBUG(D_receive) debug_printf("checking for IP options\n");
1521
1522     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
1523           &optlen) < 0)
1524       {
1525       if (errno != ENOPROTOOPT)
1526         {
1527         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
1528           host_and_ident(FALSE), strerror(errno));
1529         smtp_printf("451 SMTP service not available\r\n");
1530         return FALSE;
1531         }
1532       }
1533
1534     /* Deal with any IP options that are set. On the systems I have looked at,
1535     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
1536     more logging data than will fit in big_buffer. Nevertheless, after somebody
1537     questioned this code, I've added in some paranoid checking. */
1538
1539     else if (optlen > 0)
1540       {
1541       uschar *p = big_buffer;
1542       uschar *pend = big_buffer + big_buffer_size;
1543       uschar *opt, *adptr;
1544       int optcount;
1545       struct in_addr addr;
1546
1547       #if OPTSTYLE == 1
1548       uschar *optstart = (uschar *)(ipopt->__data);
1549       #elif OPTSTYLE == 2
1550       uschar *optstart = (uschar *)(ipopt->ip_opts);
1551       #else
1552       uschar *optstart = (uschar *)(ipopt->ipopt_list);
1553       #endif
1554
1555       DEBUG(D_receive) debug_printf("IP options exist\n");
1556
1557       Ustrcpy(p, "IP options on incoming call:");
1558       p += Ustrlen(p);
1559
1560       for (opt = optstart; opt != NULL &&
1561            opt < (uschar *)(ipopt) + optlen;)
1562         {
1563         switch (*opt)
1564           {
1565           case IPOPT_EOL:
1566           opt = NULL;
1567           break;
1568
1569           case IPOPT_NOP:
1570           opt++;
1571           break;
1572
1573           case IPOPT_SSRR:
1574           case IPOPT_LSRR:
1575           if (!string_format(p, pend-p, " %s [@%s",
1576                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
1577                #if OPTSTYLE == 1
1578                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
1579                #elif OPTSTYLE == 2
1580                inet_ntoa(ipopt->ip_dst)))
1581                #else
1582                inet_ntoa(ipopt->ipopt_dst)))
1583                #endif
1584             {
1585             opt = NULL;
1586             break;
1587             }
1588
1589           p += Ustrlen(p);
1590           optcount = (opt[1] - 3) / sizeof(struct in_addr);
1591           adptr = opt + 3;
1592           while (optcount-- > 0)
1593             {
1594             memcpy(&addr, adptr, sizeof(addr));
1595             if (!string_format(p, pend - p - 1, "%s%s",
1596                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
1597               {
1598               opt = NULL;
1599               break;
1600               }
1601             p += Ustrlen(p);
1602             adptr += sizeof(struct in_addr);
1603             }
1604           *p++ = ']';
1605           opt += opt[1];
1606           break;
1607
1608           default:
1609             {
1610             int i;
1611             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
1612             Ustrcat(p, "[ ");
1613             p += 2;
1614             for (i = 0; i < opt[1]; i++)
1615               {
1616               sprintf(CS p, "%2.2x ", opt[i]);
1617               p += 3;
1618               }
1619             *p++ = ']';
1620             }
1621           opt += opt[1];
1622           break;
1623           }
1624         }
1625
1626       *p = 0;
1627       log_write(0, LOG_MAIN, "%s", big_buffer);
1628
1629       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
1630
1631       log_write(0, LOG_MAIN|LOG_REJECT,
1632         "connection from %s refused (IP options)", host_and_ident(FALSE));
1633
1634       smtp_printf("554 SMTP service not available\r\n");
1635       return FALSE;
1636       }
1637
1638     /* Length of options = 0 => there are no options */
1639
1640     else DEBUG(D_receive) debug_printf("no IP options found\n");
1641     }
1642   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
1643
1644   /* Set keep-alive in socket options. The option is on by default. This
1645   setting is an attempt to get rid of some hanging connections that stick in
1646   read() when the remote end (usually a dialup) goes away. */
1647
1648   if (smtp_accept_keepalive && !sender_host_notsocket)
1649     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
1650
1651   /* If the current host matches host_lookup, set the name by doing a
1652   reverse lookup. On failure, sender_host_name will be NULL and
1653   host_lookup_failed will be TRUE. This may or may not be serious - optional
1654   checks later. */
1655
1656   if (verify_check_host(&host_lookup) == OK)
1657     {
1658     (void)host_name_lookup();
1659     host_build_sender_fullhost();
1660     }
1661
1662   /* Delay this until we have the full name, if it is looked up. */
1663
1664   set_process_info("handling incoming connection from %s",
1665     host_and_ident(FALSE));
1666
1667   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
1668   smtps port for use with older style SSL MTAs. */
1669
1670   #ifdef SUPPORT_TLS
1671   if (tls_on_connect &&
1672       tls_server_start(tls_require_ciphers,
1673         gnutls_require_mac, gnutls_require_kx, gnutls_require_proto) != OK)
1674     return FALSE;
1675   #endif
1676
1677   /* Test for explicit connection rejection */
1678
1679   if (verify_check_host(&host_reject_connection) == OK)
1680     {
1681     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
1682       "from %s (host_reject_connection)", host_and_ident(FALSE));
1683     smtp_printf("554 SMTP service not available\r\n");
1684     return FALSE;
1685     }
1686
1687   /* Test with TCP Wrappers if so configured. There is a problem in that
1688   hosts_ctl() returns 0 (deny) under a number of system failure circumstances,
1689   such as disks dying. In these cases, it is desirable to reject with a 4xx
1690   error instead of a 5xx error. There isn't a "right" way to detect such
1691   problems. The following kludge is used: errno is zeroed before calling
1692   hosts_ctl(). If the result is "reject", a 5xx error is given only if the
1693   value of errno is 0 or ENOENT (which happens if /etc/hosts.{allow,deny} does
1694   not exist). */
1695
1696   #ifdef USE_TCP_WRAPPERS
1697   errno = 0;
1698   tcp_wrappers_name = expand_string(tcp_wrappers_daemon_name);
1699   if (tcp_wrappers_name == NULL)
1700     {
1701     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" "
1702       "(tcp_wrappers_name) failed: %s", string_printing(tcp_wrappers_name),
1703         expand_string_message);
1704     }
1705   if (!hosts_ctl(tcp_wrappers_name,
1706          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
1707          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
1708          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
1709     {
1710     if (errno == 0 || errno == ENOENT)
1711       {
1712       HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
1713       log_write(L_connection_reject,
1714                 LOG_MAIN|LOG_REJECT, "refused connection from %s "
1715                 "(tcp wrappers)", host_and_ident(FALSE));
1716       smtp_printf("554 SMTP service not available\r\n");
1717       }
1718     else
1719       {
1720       int save_errno = errno;
1721       HDEBUG(D_receive) debug_printf("tcp wrappers rejected with unexpected "
1722         "errno value %d\n", save_errno);
1723       log_write(L_connection_reject,
1724                 LOG_MAIN|LOG_REJECT, "temporarily refused connection from %s "
1725                 "(tcp wrappers errno=%d)", host_and_ident(FALSE), save_errno);
1726       smtp_printf("451 Temporary local problem - please try later\r\n");
1727       }
1728     return FALSE;
1729     }
1730   #endif
1731
1732   /* Check for reserved slots. The value of smtp_accept_count has already been
1733   incremented to include this process. */
1734
1735   if (smtp_accept_max > 0 &&
1736       smtp_accept_count > smtp_accept_max - smtp_accept_reserve)
1737     {
1738     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
1739       {
1740       log_write(L_connection_reject,
1741         LOG_MAIN, "temporarily refused connection from %s: not in "
1742         "reserve list: connected=%d max=%d reserve=%d%s",
1743         host_and_ident(FALSE), smtp_accept_count - 1, smtp_accept_max,
1744         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
1745       smtp_printf("421 %s: Too many concurrent SMTP connections; "
1746         "please try again later\r\n", smtp_active_hostname);
1747       return FALSE;
1748       }
1749     reserved_host = TRUE;
1750     }
1751
1752   /* If a load level above which only messages from reserved hosts are
1753   accepted is set, check the load. For incoming calls via the daemon, the
1754   check is done in the superior process if there are no reserved hosts, to
1755   save a fork. In all cases, the load average will already be available
1756   in a global variable at this point. */
1757
1758   if (smtp_load_reserve >= 0 &&
1759        load_average > smtp_load_reserve &&
1760        !reserved_host &&
1761        verify_check_host(&smtp_reserve_hosts) != OK)
1762     {
1763     log_write(L_connection_reject,
1764       LOG_MAIN, "temporarily refused connection from %s: not in "
1765       "reserve list and load average = %.2f", host_and_ident(FALSE),
1766       (double)load_average/1000.0);
1767     smtp_printf("421 %s: Too much load; please try again later\r\n",
1768       smtp_active_hostname);
1769     return FALSE;
1770     }
1771
1772   /* Determine whether unqualified senders or recipients are permitted
1773   for this host. Unfortunately, we have to do this every time, in order to
1774   set the flags so that they can be inspected when considering qualifying
1775   addresses in the headers. For a site that permits no qualification, this
1776   won't take long, however. */
1777
1778   allow_unqualified_sender =
1779     verify_check_host(&sender_unqualified_hosts) == OK;
1780
1781   allow_unqualified_recipient =
1782     verify_check_host(&recipient_unqualified_hosts) == OK;
1783
1784   /* Determine whether HELO/EHLO is required for this host. The requirement
1785   can be hard or soft. */
1786
1787   helo_required = verify_check_host(&helo_verify_hosts) == OK;
1788   if (!helo_required)
1789     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
1790
1791   /* Determine whether this hosts is permitted to send syntactic junk
1792   after a HELO or EHLO command. */
1793
1794   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
1795   }
1796
1797 /* For batch SMTP input we are now done. */
1798
1799 if (smtp_batched_input) return TRUE;
1800
1801 /* Run the ACL if it exists */
1802
1803 user_msg = NULL;
1804 if (acl_smtp_connect != NULL)
1805   {
1806   int rc;
1807   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
1808     &log_msg);
1809   if (rc != OK)
1810     {
1811     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
1812     return FALSE;
1813     }
1814   }
1815
1816 /* Output the initial message for a two-way SMTP connection. It may contain
1817 newlines, which then cause a multi-line response to be given. */
1818
1819 code = US"220";   /* Default status code */
1820 esc = US"";       /* Default extended status code */
1821 esclen = 0;       /* Length of esc */
1822
1823 if (user_msg == NULL)
1824   {
1825   s = expand_string(smtp_banner);
1826   if (s == NULL)
1827     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
1828       "failed: %s", smtp_banner, expand_string_message);
1829   }
1830 else
1831   {
1832   int codelen = 3;
1833   s = user_msg;
1834   smtp_message_code(&code, &codelen, &s, NULL);
1835   if (codelen > 4)
1836     {
1837     esc = code + 4;
1838     esclen = codelen - 4;
1839     }
1840   }
1841
1842 /* Remove any terminating newlines; might as well remove trailing space too */
1843
1844 p = s + Ustrlen(s);
1845 while (p > s && isspace(p[-1])) p--;
1846 *p = 0;
1847
1848 /* It seems that CC:Mail is braindead, and assumes that the greeting message
1849 is all contained in a single IP packet. The original code wrote out the
1850 greeting using several calls to fprint/fputc, and on busy servers this could
1851 cause it to be split over more than one packet - which caused CC:Mail to fall
1852 over when it got the second part of the greeting after sending its first
1853 command. Sigh. To try to avoid this, build the complete greeting message
1854 first, and output it in one fell swoop. This gives a better chance of it
1855 ending up as a single packet. */
1856
1857 ss = store_get(size);
1858 ptr = 0;
1859
1860 p = s;
1861 do       /* At least once, in case we have an empty string */
1862   {
1863   int len;
1864   uschar *linebreak = Ustrchr(p, '\n');
1865   ss = string_cat(ss, &size, &ptr, code, 3);
1866   if (linebreak == NULL)
1867     {
1868     len = Ustrlen(p);
1869     ss = string_cat(ss, &size, &ptr, US" ", 1);
1870     }
1871   else
1872     {
1873     len = linebreak - p;
1874     ss = string_cat(ss, &size, &ptr, US"-", 1);
1875     }
1876   ss = string_cat(ss, &size, &ptr, esc, esclen);
1877   ss = string_cat(ss, &size, &ptr, p, len);
1878   ss = string_cat(ss, &size, &ptr, US"\r\n", 2);
1879   p += len;
1880   if (linebreak != NULL) p++;
1881   }
1882 while (*p != 0);
1883
1884 ss[ptr] = 0;  /* string_cat leaves room for this */
1885
1886 /* Before we write the banner, check that there is no input pending, unless
1887 this synchronisation check is disabled. */
1888
1889 if (!check_sync())
1890   {
1891   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
1892     "synchronization error (input sent without waiting for greeting): "
1893     "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
1894     string_printing(smtp_inptr));
1895   smtp_printf("554 SMTP synchronization error\r\n");
1896   return FALSE;
1897   }
1898
1899 /* Now output the banner */
1900
1901 smtp_printf("%s", ss);
1902 return TRUE;
1903 }
1904
1905
1906
1907
1908
1909 /*************************************************
1910 *     Handle SMTP syntax and protocol errors     *
1911 *************************************************/
1912
1913 /* Write to the log for SMTP syntax errors in incoming commands, if configured
1914 to do so. Then transmit the error response. The return value depends on the
1915 number of syntax and protocol errors in this SMTP session.
1916
1917 Arguments:
1918   type      error type, given as a log flag bit
1919   code      response code; <= 0 means don't send a response
1920   data      data to reflect in the response (can be NULL)
1921   errmess   the error message
1922
1923 Returns:    -1   limit of syntax/protocol errors NOT exceeded
1924             +1   limit of syntax/protocol errors IS exceeded
1925
1926 These values fit in with the values of the "done" variable in the main
1927 processing loop in smtp_setup_msg(). */
1928
1929 static int
1930 synprot_error(int type, int code, uschar *data, uschar *errmess)
1931 {
1932 int yield = -1;
1933
1934 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
1935   (type == L_smtp_syntax_error)? "syntax" : "protocol",
1936   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
1937
1938 if (++synprot_error_count > smtp_max_synprot_errors)
1939   {
1940   yield = 1;
1941   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
1942     "syntax or protocol errors (last command was \"%s\")",
1943     host_and_ident(FALSE), smtp_cmd_buffer);
1944   }
1945
1946 if (code > 0)
1947   {
1948   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
1949     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
1950   if (yield == 1)
1951     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
1952   }
1953
1954 return yield;
1955 }
1956
1957
1958
1959
1960 /*************************************************
1961 *          Log incomplete transactions           *
1962 *************************************************/
1963
1964 /* This function is called after a transaction has been aborted by RSET, QUIT,
1965 connection drops or other errors. It logs the envelope information received
1966 so far in order to preserve address verification attempts.
1967
1968 Argument:   string to indicate what aborted the transaction
1969 Returns:    nothing
1970 */
1971
1972 static void
1973 incomplete_transaction_log(uschar *what)
1974 {
1975 if (sender_address == NULL ||                 /* No transaction in progress */
1976     (log_write_selector & L_smtp_incomplete_transaction) == 0  /* Not logging */
1977   ) return;
1978
1979 /* Build list of recipients for logging */
1980
1981 if (recipients_count > 0)
1982   {
1983   int i;
1984   raw_recipients = store_get(recipients_count * sizeof(uschar *));
1985   for (i = 0; i < recipients_count; i++)
1986     raw_recipients[i] = recipients_list[i].address;
1987   raw_recipients_count = recipients_count;
1988   }
1989
1990 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
1991   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
1992 }
1993
1994
1995
1996
1997 /*************************************************
1998 *    Send SMTP response, possibly multiline      *
1999 *************************************************/
2000
2001 /* There are, it seems, broken clients out there that cannot handle multiline
2002 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
2003 output nothing for non-final calls, and only the first line for anything else.
2004
2005 Arguments:
2006   code          SMTP code, may involve extended status codes
2007   codelen       length of smtp code; if > 4 there's an ESC
2008   final         FALSE if the last line isn't the final line
2009   msg           message text, possibly containing newlines
2010
2011 Returns:        nothing
2012 */
2013
2014 void
2015 smtp_respond(uschar* code, int codelen, BOOL final, uschar *msg)
2016 {
2017 int esclen = 0;
2018 uschar *esc = US"";
2019
2020 if (!final && no_multiline_responses) return;
2021
2022 if (codelen > 4)
2023   {
2024   esc = code + 4;
2025   esclen = codelen - 4;
2026   }
2027
2028 /* If this is the first output for a (non-batch) RCPT command, see if all RCPTs
2029 have had the same. Note: this code is also present in smtp_printf(). It would
2030 be tidier to have it only in one place, but when it was added, it was easier to
2031 do it that way, so as not to have to mess with the code for the RCPT command,
2032 which sometimes uses smtp_printf() and sometimes smtp_respond(). */
2033
2034 if (rcpt_in_progress)
2035   {
2036   if (rcpt_smtp_response == NULL)
2037     rcpt_smtp_response = string_copy(msg);
2038   else if (rcpt_smtp_response_same &&
2039            Ustrcmp(rcpt_smtp_response, msg) != 0)
2040     rcpt_smtp_response_same = FALSE;
2041   rcpt_in_progress = FALSE;
2042   }
2043
2044 /* Not output the message, splitting it up into multiple lines if necessary. */
2045
2046 for (;;)
2047   {
2048   uschar *nl = Ustrchr(msg, '\n');
2049   if (nl == NULL)
2050     {
2051     smtp_printf("%.3s%c%.*s%s\r\n", code, final? ' ':'-', esclen, esc, msg);
2052     return;
2053     }
2054   else if (nl[1] == 0 || no_multiline_responses)
2055     {
2056     smtp_printf("%.3s%c%.*s%.*s\r\n", code, final? ' ':'-', esclen, esc,
2057       (int)(nl - msg), msg);
2058     return;
2059     }
2060   else
2061     {
2062     smtp_printf("%.3s-%.*s%.*s\r\n", code, esclen, esc, (int)(nl - msg), msg);
2063     msg = nl + 1;
2064     while (isspace(*msg)) msg++;
2065     }
2066   }
2067 }
2068
2069
2070
2071
2072 /*************************************************
2073 *            Parse user SMTP message             *
2074 *************************************************/
2075
2076 /* This function allows for user messages overriding the response code details
2077 by providing a suitable response code string at the start of the message
2078 user_msg. Check the message for starting with a response code and optionally an
2079 extended status code. If found, check that the first digit is valid, and if so,
2080 change the code pointer and length to use the replacement. An invalid code
2081 causes a panic log; in this case, if the log messages is the same as the user
2082 message, we must also adjust the value of the log message to show the code that
2083 is actually going to be used (the original one).
2084
2085 This function is global because it is called from receive.c as well as within
2086 this module.
2087
2088 Note that the code length returned includes the terminating whitespace
2089 character, which is always included in the regex match.
2090
2091 Arguments:
2092   code          SMTP code, may involve extended status codes
2093   codelen       length of smtp code; if > 4 there's an ESC
2094   msg           message text
2095   log_msg       optional log message, to be adjusted with the new SMTP code
2096
2097 Returns:        nothing
2098 */
2099
2100 void
2101 smtp_message_code(uschar **code, int *codelen, uschar **msg, uschar **log_msg)
2102 {
2103 int n;
2104 int ovector[3];
2105
2106 if (msg == NULL || *msg == NULL) return;
2107
2108 n = pcre_exec(regex_smtp_code, NULL, CS *msg, Ustrlen(*msg), 0,
2109   PCRE_EOPT, ovector, sizeof(ovector)/sizeof(int));
2110 if (n < 0) return;
2111
2112 if ((*msg)[0] != (*code)[0])
2113   {
2114   log_write(0, LOG_MAIN|LOG_PANIC, "configured error code starts with "
2115     "incorrect digit (expected %c) in \"%s\"", (*code)[0], *msg);
2116   if (log_msg != NULL && *log_msg == *msg)
2117     *log_msg = string_sprintf("%s %s", *code, *log_msg + ovector[1]);
2118   }
2119 else
2120   {
2121   *code = *msg;
2122   *codelen = ovector[1];    /* Includes final space */
2123   }
2124 *msg += ovector[1];         /* Chop the code off the message */
2125 return;
2126 }
2127
2128
2129
2130
2131 /*************************************************
2132 *           Handle an ACL failure                *
2133 *************************************************/
2134
2135 /* This function is called when acl_check() fails. As well as calls from within
2136 this module, it is called from receive.c for an ACL after DATA. It sorts out
2137 logging the incident, and sets up the error response. A message containing
2138 newlines is turned into a multiline SMTP response, but for logging, only the
2139 first line is used.
2140
2141 There's a table of default permanent failure response codes to use in
2142 globals.c, along with the table of names. VFRY is special. Despite RFC1123 it
2143 defaults disabled in Exim. However, discussion in connection with RFC 821bis
2144 (aka RFC 2821) has concluded that the response should be 252 in the disabled
2145 state, because there are broken clients that try VRFY before RCPT. A 5xx
2146 response should be given only when the address is positively known to be
2147 undeliverable. Sigh. Also, for ETRN, 458 is given on refusal, and for AUTH,
2148 503.
2149
2150 From Exim 4.63, it is possible to override the response code details by
2151 providing a suitable response code string at the start of the message provided
2152 in user_msg. The code's first digit is checked for validity.
2153
2154 Arguments:
2155   where      where the ACL was called from
2156   rc         the failure code
2157   user_msg   a message that can be included in an SMTP response
2158   log_msg    a message for logging
2159
2160 Returns:     0 in most cases
2161              2 if the failure code was FAIL_DROP, in which case the
2162                SMTP connection should be dropped (this value fits with the
2163                "done" variable in smtp_setup_msg() below)
2164 */
2165
2166 int
2167 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
2168 {
2169 BOOL drop = rc == FAIL_DROP;
2170 int codelen = 3;
2171 uschar *smtp_code;
2172 uschar *lognl;
2173 uschar *sender_info = US"";
2174 uschar *what =
2175 #ifdef WITH_CONTENT_SCAN
2176   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
2177 #endif
2178   (where == ACL_WHERE_PREDATA)? US"DATA" :
2179   (where == ACL_WHERE_DATA)? US"after DATA" :
2180   (smtp_cmd_data == NULL)?
2181     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
2182     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_data);
2183
2184 if (drop) rc = FAIL;
2185
2186 /* Set the default SMTP code, and allow a user message to change it. */
2187
2188 smtp_code = (rc != FAIL)? US"451" : acl_wherecodes[where];
2189 smtp_message_code(&smtp_code, &codelen, &user_msg, &log_msg);
2190
2191 /* We used to have sender_address here; however, there was a bug that was not
2192 updating sender_address after a rewrite during a verify. When this bug was
2193 fixed, sender_address at this point became the rewritten address. I'm not sure
2194 this is what should be logged, so I've changed to logging the unrewritten
2195 address to retain backward compatibility. */
2196
2197 #ifndef WITH_CONTENT_SCAN
2198 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
2199 #else
2200 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
2201 #endif
2202   {
2203   sender_info = string_sprintf("F=<%s>%s%s%s%s ",
2204     sender_address_unrewritten ? sender_address_unrewritten : sender_address,
2205     sender_host_authenticated ? US" A="                                    : US"",
2206     sender_host_authenticated ? sender_host_authenticated                  : US"",
2207     sender_host_authenticated && authenticated_id ? US":"                  : US"",
2208     sender_host_authenticated && authenticated_id ? authenticated_id       : US""
2209     );
2210   }
2211
2212 /* If there's been a sender verification failure with a specific message, and
2213 we have not sent a response about it yet, do so now, as a preliminary line for
2214 failures, but not defers. However, always log it for defer, and log it for fail
2215 unless the sender_verify_fail log selector has been turned off. */
2216
2217 if (sender_verified_failed != NULL &&
2218     !testflag(sender_verified_failed, af_sverify_told))
2219   {
2220   BOOL save_rcpt_in_progress = rcpt_in_progress;
2221   rcpt_in_progress = FALSE;  /* So as not to treat these as the error */
2222
2223   setflag(sender_verified_failed, af_sverify_told);
2224
2225   if (rc != FAIL || (log_extra_selector & LX_sender_verify_fail) != 0)
2226     log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
2227       host_and_ident(TRUE),
2228       ((sender_verified_failed->special_action & 255) == DEFER)? "defer":"fail",
2229       sender_verified_failed->address,
2230       (sender_verified_failed->message == NULL)? US"" :
2231       string_sprintf(": %s", sender_verified_failed->message));
2232
2233   if (rc == FAIL && sender_verified_failed->user_message != NULL)
2234     smtp_respond(smtp_code, codelen, FALSE, string_sprintf(
2235         testflag(sender_verified_failed, af_verify_pmfail)?
2236           "Postmaster verification failed while checking <%s>\n%s\n"
2237           "Several RFCs state that you are required to have a postmaster\n"
2238           "mailbox for each mail domain. This host does not accept mail\n"
2239           "from domains whose servers reject the postmaster address."
2240           :
2241         testflag(sender_verified_failed, af_verify_nsfail)?
2242           "Callback setup failed while verifying <%s>\n%s\n"
2243           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
2244           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
2245           "RFC requirements, and stops you from receiving standard bounce\n"
2246           "messages. This host does not accept mail from domains whose servers\n"
2247           "refuse bounces."
2248           :
2249           "Verification failed for <%s>\n%s",
2250         sender_verified_failed->address,
2251         sender_verified_failed->user_message));
2252
2253   rcpt_in_progress = save_rcpt_in_progress;
2254   }
2255
2256 /* Sort out text for logging */
2257
2258 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
2259 lognl = Ustrchr(log_msg, '\n');
2260 if (lognl != NULL) *lognl = 0;
2261
2262 /* Send permanent failure response to the command, but the code used isn't
2263 always a 5xx one - see comments at the start of this function. If the original
2264 rc was FAIL_DROP we drop the connection and yield 2. */
2265
2266 if (rc == FAIL) smtp_respond(smtp_code, codelen, TRUE, (user_msg == NULL)?
2267   US"Administrative prohibition" : user_msg);
2268
2269 /* Send temporary failure response to the command. Don't give any details,
2270 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
2271 verb, and for a header verify when smtp_return_error_details is set.
2272
2273 This conditional logic is all somewhat of a mess because of the odd
2274 interactions between temp_details and return_error_details. One day it should
2275 be re-implemented in a tidier fashion. */
2276
2277 else
2278   {
2279   if (acl_temp_details && user_msg != NULL)
2280     {
2281     if (smtp_return_error_details &&
2282         sender_verified_failed != NULL &&
2283         sender_verified_failed->message != NULL)
2284       {
2285       smtp_respond(smtp_code, codelen, FALSE, sender_verified_failed->message);
2286       }
2287     smtp_respond(smtp_code, codelen, TRUE, user_msg);
2288     }
2289   else
2290     smtp_respond(smtp_code, codelen, TRUE,
2291       US"Temporary local problem - please try later");
2292   }
2293
2294 /* Log the incident to the logs that are specified by log_reject_target
2295 (default main, reject). This can be empty to suppress logging of rejections. If
2296 the connection is not forcibly to be dropped, return 0. Otherwise, log why it
2297 is closing if required and return 2.  */
2298
2299 if (log_reject_target != 0)
2300   log_write(0, log_reject_target, "%s %s%srejected %s%s",
2301     host_and_ident(TRUE),
2302     sender_info, (rc == FAIL)? US"" : US"temporarily ", what, log_msg);
2303
2304 if (!drop) return 0;
2305
2306 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
2307   smtp_get_connection_info());
2308
2309 /* Run the not-quit ACL, but without any custom messages. This should not be a
2310 problem, because we get here only if some other ACL has issued "drop", and
2311 in that case, *its* custom messages will have been used above. */
2312
2313 smtp_notquit_exit(US"acl-drop", NULL, NULL);
2314 return 2;
2315 }
2316
2317
2318
2319
2320 /*************************************************
2321 *     Handle SMTP exit when QUIT is not given    *
2322 *************************************************/
2323
2324 /* This function provides a logging/statistics hook for when an SMTP connection
2325 is dropped on the floor or the other end goes away. It's a global function
2326 because it's called from receive.c as well as this module. As well as running
2327 the NOTQUIT ACL, if there is one, this function also outputs a final SMTP
2328 response, either with a custom message from the ACL, or using a default. There
2329 is one case, however, when no message is output - after "drop". In that case,
2330 the ACL that obeyed "drop" has already supplied the custom message, and NULL is
2331 passed to this function.
2332
2333 In case things go wrong while processing this function, causing an error that
2334 may re-enter this funtion, there is a recursion check.
2335
2336 Arguments:
2337   reason          What $smtp_notquit_reason will be set to in the ACL;
2338                     if NULL, the ACL is not run
2339   code            The error code to return as part of the response
2340   defaultrespond  The default message if there's no user_msg
2341
2342 Returns:          Nothing
2343 */
2344
2345 void
2346 smtp_notquit_exit(uschar *reason, uschar *code, uschar *defaultrespond, ...)
2347 {
2348 int rc;
2349 uschar *user_msg = NULL;
2350 uschar *log_msg = NULL;
2351
2352 /* Check for recursive acll */
2353
2354 if (smtp_exit_function_called)
2355   {
2356   log_write(0, LOG_PANIC, "smtp_notquit_exit() called more than once (%s)",
2357     reason);
2358   return;
2359   }
2360 smtp_exit_function_called = TRUE;
2361
2362 /* Call the not-QUIT ACL, if there is one, unless no reason is given. */
2363
2364 if (acl_smtp_notquit != NULL && reason != NULL)
2365   {
2366   smtp_notquit_reason = reason;
2367   rc = acl_check(ACL_WHERE_NOTQUIT, NULL, acl_smtp_notquit, &user_msg,
2368     &log_msg);
2369   if (rc == ERROR)
2370     log_write(0, LOG_MAIN|LOG_PANIC, "ACL for not-QUIT returned ERROR: %s",
2371       log_msg);
2372   }
2373
2374 /* Write an SMTP response if we are expected to give one. As the default
2375 responses are all internal, they should always fit in the buffer, but code a
2376 warning, just in case. Note that string_vformat() still leaves a complete
2377 string, even if it is incomplete. */
2378
2379 if (code != NULL && defaultrespond != NULL)
2380   {
2381   if (user_msg == NULL)
2382     {
2383     uschar buffer[128];
2384     va_list ap;
2385     va_start(ap, defaultrespond);
2386     if (!string_vformat(buffer, sizeof(buffer), CS defaultrespond, ap))
2387       log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_notquit_exit()");
2388     smtp_printf("%s %s\r\n", code, buffer);
2389     va_end(ap);
2390     }
2391   else
2392     smtp_respond(code, 3, TRUE, user_msg);
2393   mac_smtp_fflush();
2394   }
2395 }
2396
2397
2398
2399
2400 /*************************************************
2401 *             Verify HELO argument               *
2402 *************************************************/
2403
2404 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
2405 matched. It is also called from ACL processing if verify = helo is used and
2406 verification was not previously tried (i.e. helo_try_verify_hosts was not
2407 matched). The result of its processing is to set helo_verified and
2408 helo_verify_failed. These variables should both be FALSE for this function to
2409 be called.
2410
2411 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
2412 for IPv6 ::ffff: literals.
2413
2414 Argument:   none
2415 Returns:    TRUE if testing was completed;
2416             FALSE on a temporary failure
2417 */
2418
2419 BOOL
2420 smtp_verify_helo(void)
2421 {
2422 BOOL yield = TRUE;
2423
2424 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
2425   sender_helo_name);
2426
2427 if (sender_helo_name == NULL)
2428   {
2429   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
2430   }
2431
2432 /* Deal with the case of -bs without an IP address */
2433
2434 else if (sender_host_address == NULL)
2435   {
2436   HDEBUG(D_receive) debug_printf("no client IP address: assume success\n");
2437   helo_verified = TRUE;
2438   }
2439
2440 /* Deal with the more common case when there is a sending IP address */
2441
2442 else if (sender_helo_name[0] == '[')
2443   {
2444   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
2445     Ustrlen(sender_host_address)) == 0;
2446
2447   #if HAVE_IPV6
2448   if (!helo_verified)
2449     {
2450     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
2451       helo_verified = Ustrncmp(sender_helo_name + 1,
2452         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
2453     }
2454   #endif
2455
2456   HDEBUG(D_receive)
2457     { if (helo_verified) debug_printf("matched host address\n"); }
2458   }
2459
2460 /* Do a reverse lookup if one hasn't already given a positive or negative
2461 response. If that fails, or the name doesn't match, try checking with a forward
2462 lookup. */
2463
2464 else
2465   {
2466   if (sender_host_name == NULL && !host_lookup_failed)
2467     yield = host_name_lookup() != DEFER;
2468
2469   /* If a host name is known, check it and all its aliases. */
2470
2471   if (sender_host_name != NULL)
2472     {
2473     helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0;
2474
2475     if (helo_verified)
2476       {
2477       HDEBUG(D_receive) debug_printf("matched host name\n");
2478       }
2479     else
2480       {
2481       uschar **aliases = sender_host_aliases;
2482       while (*aliases != NULL)
2483         {
2484         helo_verified = strcmpic(*aliases++, sender_helo_name) == 0;
2485         if (helo_verified) break;
2486         }
2487       HDEBUG(D_receive)
2488         {
2489         if (helo_verified)
2490           debug_printf("matched alias %s\n", *(--aliases));
2491         }
2492       }
2493     }
2494
2495   /* Final attempt: try a forward lookup of the helo name */
2496
2497   if (!helo_verified)
2498     {
2499     int rc;
2500     host_item h;
2501     h.name = sender_helo_name;
2502     h.address = NULL;
2503     h.mx = MX_NONE;
2504     h.next = NULL;
2505     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
2506       sender_helo_name);
2507     rc = host_find_byname(&h, NULL, 0, NULL, TRUE);
2508     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
2509       {
2510       host_item *hh = &h;
2511       while (hh != NULL)
2512         {
2513         if (Ustrcmp(hh->address, sender_host_address) == 0)
2514           {
2515           helo_verified = TRUE;
2516           HDEBUG(D_receive)
2517             debug_printf("IP address for %s matches calling address\n",
2518               sender_helo_name);
2519           break;
2520           }
2521         hh = hh->next;
2522         }
2523       }
2524     }
2525   }
2526
2527 if (!helo_verified) helo_verify_failed = TRUE;  /* We've tried ... */
2528 return yield;
2529 }
2530
2531
2532
2533
2534 /*************************************************
2535 *        Send user response message              *
2536 *************************************************/
2537
2538 /* This function is passed a default response code and a user message. It calls
2539 smtp_message_code() to check and possibly modify the response code, and then
2540 calls smtp_respond() to transmit the response. I put this into a function
2541 just to avoid a lot of repetition.
2542
2543 Arguments:
2544   code         the response code
2545   user_msg     the user message
2546
2547 Returns:       nothing
2548 */
2549
2550 static void
2551 smtp_user_msg(uschar *code, uschar *user_msg)
2552 {
2553 int len = 3;
2554 smtp_message_code(&code, &len, &user_msg, NULL);
2555 smtp_respond(code, len, TRUE, user_msg);
2556 }
2557
2558
2559
2560
2561 /*************************************************
2562 *       Initialize for SMTP incoming message     *
2563 *************************************************/
2564
2565 /* This function conducts the initial dialogue at the start of an incoming SMTP
2566 message, and builds a list of recipients. However, if the incoming message
2567 is part of a batch (-bS option) a separate function is called since it would
2568 be messy having tests splattered about all over this function. This function
2569 therefore handles the case where interaction is occurring. The input and output
2570 files are set up in smtp_in and smtp_out.
2571
2572 The global recipients_list is set to point to a vector of recipient_item
2573 blocks, whose number is given by recipients_count. This is extended by the
2574 receive_add_recipient() function. The global variable sender_address is set to
2575 the sender's address. The yield is +1 if a message has been successfully
2576 started, 0 if a QUIT command was encountered or the connection was refused from
2577 the particular host, or -1 if the connection was lost.
2578
2579 Argument: none
2580
2581 Returns:  > 0 message successfully started (reached DATA)
2582           = 0 QUIT read or end of file reached or call refused
2583           < 0 lost connection
2584 */
2585
2586 int
2587 smtp_setup_msg(void)
2588 {
2589 int done = 0;
2590 BOOL toomany = FALSE;
2591 BOOL discarded = FALSE;
2592 BOOL last_was_rej_mail = FALSE;
2593 BOOL last_was_rcpt = FALSE;
2594 void *reset_point = store_get(0);
2595
2596 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
2597
2598 /* Reset for start of new message. We allow one RSET not to be counted as a
2599 nonmail command, for those MTAs that insist on sending it between every
2600 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
2601 TLS between messages (an Exim client may do this if it has messages queued up
2602 for the host). Note: we do NOT reset AUTH at this point. */
2603
2604 smtp_reset(reset_point);
2605 message_ended = END_NOTSTARTED;
2606
2607 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
2608 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
2609 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
2610 #ifdef SUPPORT_TLS
2611 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
2612 #endif
2613
2614 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
2615
2616 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
2617
2618 /* Batched SMTP is handled in a different function. */
2619
2620 if (smtp_batched_input) return smtp_setup_batch_msg();
2621
2622 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2623 value. The values are 2 larger than the required yield of the function. */
2624
2625 while (done <= 0)
2626   {
2627   uschar **argv;
2628   uschar *etrn_command;
2629   uschar *etrn_serialize_key;
2630   uschar *errmess;
2631   uschar *log_msg, *smtp_code;
2632   uschar *user_msg = NULL;
2633   uschar *recipient = NULL;
2634   uschar *hello = NULL;
2635   uschar *set_id = NULL;
2636   uschar *s, *ss;
2637   BOOL was_rej_mail = FALSE;
2638   BOOL was_rcpt = FALSE;
2639   void (*oldsignal)(int);
2640   pid_t pid;
2641   int start, end, sender_domain, recipient_domain;
2642   int ptr, size, rc;
2643   int c, i;
2644   auth_instance *au;
2645
2646   switch(smtp_read_command(TRUE))
2647     {
2648     /* The AUTH command is not permitted to occur inside a transaction, and may
2649     occur successfully only once per connection. Actually, that isn't quite
2650     true. When TLS is started, all previous information about a connection must
2651     be discarded, so a new AUTH is permitted at that time.
2652
2653     AUTH may only be used when it has been advertised. However, it seems that
2654     there are clients that send AUTH when it hasn't been advertised, some of
2655     them even doing this after HELO. And there are MTAs that accept this. Sigh.
2656     So there's a get-out that allows this to happen.
2657
2658     AUTH is initially labelled as a "nonmail command" so that one occurrence
2659     doesn't get counted. We change the label here so that multiple failing
2660     AUTHS will eventually hit the nonmail threshold. */
2661
2662     case AUTH_CMD:
2663     HAD(SCH_AUTH);
2664     authentication_failed = TRUE;
2665     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
2666
2667     if (!auth_advertised && !allow_auth_unadvertised)
2668       {
2669       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2670         US"AUTH command used when not advertised");
2671       break;
2672       }
2673     if (sender_host_authenticated != NULL)
2674       {
2675       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2676         US"already authenticated");
2677       break;
2678       }
2679     if (sender_address != NULL)
2680       {
2681       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2682         US"not permitted in mail transaction");
2683       break;
2684       }
2685
2686     /* Check the ACL */
2687
2688     if (acl_smtp_auth != NULL)
2689       {
2690       rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth, &user_msg, &log_msg);
2691       if (rc != OK)
2692         {
2693         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
2694         break;
2695         }
2696       }
2697
2698     /* Find the name of the requested authentication mechanism. */
2699
2700     s = smtp_cmd_data;
2701     while ((c = *smtp_cmd_data) != 0 && !isspace(c))
2702       {
2703       if (!isalnum(c) && c != '-' && c != '_')
2704         {
2705         done = synprot_error(L_smtp_syntax_error, 501, NULL,
2706           US"invalid character in authentication mechanism name");
2707         goto COMMAND_LOOP;
2708         }
2709       smtp_cmd_data++;
2710       }
2711
2712     /* If not at the end of the line, we must be at white space. Terminate the
2713     name and move the pointer on to any data that may be present. */
2714
2715     if (*smtp_cmd_data != 0)
2716       {
2717       *smtp_cmd_data++ = 0;
2718       while (isspace(*smtp_cmd_data)) smtp_cmd_data++;
2719       }
2720
2721     /* Search for an authentication mechanism which is configured for use
2722     as a server and which has been advertised (unless, sigh, allow_auth_
2723     unadvertised is set). */
2724
2725     for (au = auths; au != NULL; au = au->next)
2726       {
2727       if (strcmpic(s, au->public_name) == 0 && au->server &&
2728           (au->advertised || allow_auth_unadvertised)) break;
2729       }
2730
2731     if (au == NULL)
2732       {
2733       done = synprot_error(L_smtp_protocol_error, 504, NULL,
2734         string_sprintf("%s authentication mechanism not supported", s));
2735       break;
2736       }
2737
2738     /* Run the checking code, passing the remainder of the command line as
2739     data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
2740     it as the only set numerical variable. The authenticator may set $auth<n>
2741     and also set other numeric variables. The $auth<n> variables are preferred
2742     nowadays; the numerical variables remain for backwards compatibility.
2743
2744     Afterwards, have a go at expanding the set_id string, even if
2745     authentication failed - for bad passwords it can be useful to log the
2746     userid. On success, require set_id to expand and exist, and put it in
2747     authenticated_id. Save this in permanent store, as the working store gets
2748     reset at HELO, RSET, etc. */
2749
2750     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
2751     expand_nmax = 0;
2752     expand_nlength[0] = 0;   /* $0 contains nothing */
2753
2754     c = (au->info->servercode)(au, smtp_cmd_data);
2755     if (au->set_id != NULL) set_id = expand_string(au->set_id);
2756     expand_nmax = -1;        /* Reset numeric variables */
2757     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
2758
2759     /* The value of authenticated_id is stored in the spool file and printed in
2760     log lines. It must not contain binary zeros or newline characters. In
2761     normal use, it never will, but when playing around or testing, this error
2762     can (did) happen. To guard against this, ensure that the id contains only
2763     printing characters. */
2764
2765     if (set_id != NULL) set_id = string_printing(set_id);
2766
2767     /* For the non-OK cases, set up additional logging data if set_id
2768     is not empty. */
2769
2770     if (c != OK)
2771       {
2772       if (set_id != NULL && *set_id != 0)
2773         set_id = string_sprintf(" (set_id=%s)", set_id);
2774       else set_id = US"";
2775       }
2776
2777     /* Switch on the result */
2778
2779     switch(c)
2780       {
2781       case OK:
2782       if (au->set_id == NULL || set_id != NULL)    /* Complete success */
2783         {
2784         if (set_id != NULL) authenticated_id = string_copy_malloc(set_id);
2785         sender_host_authenticated = au->name;
2786         authentication_failed = FALSE;
2787         received_protocol =
2788           protocols[pextend + pauthed + ((tls_active >= 0)? pcrpted:0)] +
2789             ((sender_host_address != NULL)? pnlocal : 0);
2790         s = ss = US"235 Authentication succeeded";
2791         authenticated_by = au;
2792         break;
2793         }
2794
2795       /* Authentication succeeded, but we failed to expand the set_id string.
2796       Treat this as a temporary error. */
2797
2798       auth_defer_msg = expand_string_message;
2799       /* Fall through */
2800
2801       case DEFER:
2802       s = string_sprintf("435 Unable to authenticate at present%s",
2803         auth_defer_user_msg);
2804       ss = string_sprintf("435 Unable to authenticate at present%s: %s",
2805         set_id, auth_defer_msg);
2806       break;
2807
2808       case BAD64:
2809       s = ss = US"501 Invalid base64 data";
2810       break;
2811
2812       case CANCELLED:
2813       s = ss = US"501 Authentication cancelled";
2814       break;
2815
2816       case UNEXPECTED:
2817       s = ss = US"553 Initial data not expected";
2818       break;
2819
2820       case FAIL:
2821       s = US"535 Incorrect authentication data";
2822       ss = string_sprintf("535 Incorrect authentication data%s", set_id);
2823       break;
2824
2825       default:
2826       s = US"435 Internal error";
2827       ss = string_sprintf("435 Internal error%s: return %d from authentication "
2828         "check", set_id, c);
2829       break;
2830       }
2831
2832     smtp_printf("%s\r\n", s);
2833     if (c != OK)
2834       log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
2835         au->name, host_and_ident(FALSE), ss);
2836
2837     break;  /* AUTH_CMD */
2838
2839     /* The HELO/EHLO commands are permitted to appear in the middle of a
2840     session as well as at the beginning. They have the effect of a reset in
2841     addition to their other functions. Their absence at the start cannot be
2842     taken to be an error.
2843
2844     RFC 2821 says:
2845
2846       If the EHLO command is not acceptable to the SMTP server, 501, 500,
2847       or 502 failure replies MUST be returned as appropriate.  The SMTP
2848       server MUST stay in the same state after transmitting these replies
2849       that it was in before the EHLO was received.
2850
2851     Therefore, we do not do the reset until after checking the command for
2852     acceptability. This change was made for Exim release 4.11. Previously
2853     it did the reset first. */
2854
2855     case HELO_CMD:
2856     HAD(SCH_HELO);
2857     hello = US"HELO";
2858     esmtp = FALSE;
2859     goto HELO_EHLO;
2860
2861     case EHLO_CMD:
2862     HAD(SCH_EHLO);
2863     hello = US"EHLO";
2864     esmtp = TRUE;
2865
2866     HELO_EHLO:      /* Common code for HELO and EHLO */
2867     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
2868     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
2869
2870     /* Reject the HELO if its argument was invalid or non-existent. A
2871     successful check causes the argument to be saved in malloc store. */
2872
2873     if (!check_helo(smtp_cmd_data))
2874       {
2875       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
2876
2877       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
2878         "invalid argument(s): %s", hello, host_and_ident(FALSE),
2879         (*smtp_cmd_argument == 0)? US"(no argument given)" :
2880                            string_printing(smtp_cmd_argument));
2881
2882       if (++synprot_error_count > smtp_max_synprot_errors)
2883         {
2884         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2885           "syntax or protocol errors (last command was \"%s\")",
2886           host_and_ident(FALSE), smtp_cmd_buffer);
2887         done = 1;
2888         }
2889
2890       break;
2891       }
2892
2893     /* If sender_host_unknown is true, we have got here via the -bs interface,
2894     not called from inetd. Otherwise, we are running an IP connection and the
2895     host address will be set. If the helo name is the primary name of this
2896     host and we haven't done a reverse lookup, force one now. If helo_required
2897     is set, ensure that the HELO name matches the actual host. If helo_verify
2898     is set, do the same check, but softly. */
2899
2900     if (!sender_host_unknown)
2901       {
2902       BOOL old_helo_verified = helo_verified;
2903       uschar *p = smtp_cmd_data;
2904
2905       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
2906       *p = 0;
2907
2908       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
2909       because otherwise the log can be confusing. */
2910
2911       if (sender_host_name == NULL &&
2912            (deliver_domain = sender_helo_name,  /* set $domain */
2913             match_isinlist(sender_helo_name, &helo_lookup_domains, 0,
2914               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
2915         (void)host_name_lookup();
2916
2917       /* Rebuild the fullhost info to include the HELO name (and the real name
2918       if it was looked up.) */
2919
2920       host_build_sender_fullhost();  /* Rebuild */
2921       set_process_info("handling%s incoming connection from %s",
2922         (tls_active >= 0)? " TLS" : "", host_and_ident(FALSE));
2923
2924       /* Verify if configured. This doesn't give much security, but it does
2925       make some people happy to be able to do it. If helo_required is set,
2926       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
2927       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
2928       now obsolescent, since the verification can now be requested selectively
2929       at ACL time. */
2930
2931       helo_verified = helo_verify_failed = FALSE;
2932       if (helo_required || helo_verify)
2933         {
2934         BOOL tempfail = !smtp_verify_helo();
2935         if (!helo_verified)
2936           {
2937           if (helo_required)
2938             {
2939             smtp_printf("%d %s argument does not match calling host\r\n",
2940               tempfail? 451 : 550, hello);
2941             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
2942               tempfail? "temporarily " : "",
2943               hello, sender_helo_name, host_and_ident(FALSE));
2944             helo_verified = old_helo_verified;
2945             break;                   /* End of HELO/EHLO processing */
2946             }
2947           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
2948             "helo_try_verify_hosts\n", hello);
2949           }
2950         }
2951       }
2952
2953 #ifdef EXPERIMENTAL_SPF
2954     /* set up SPF context */
2955     spf_init(sender_helo_name, sender_host_address);
2956 #endif
2957
2958     /* Apply an ACL check if one is defined; afterwards, recheck
2959     synchronization in case the client started sending in a delay. */
2960
2961     if (acl_smtp_helo != NULL)
2962       {
2963       rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo, &user_msg, &log_msg);
2964       if (rc != OK)
2965         {
2966         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
2967         sender_helo_name = NULL;
2968         host_build_sender_fullhost();  /* Rebuild */
2969         break;
2970         }
2971       else if (!check_sync()) goto SYNC_FAILURE;
2972       }
2973
2974     /* Generate an OK reply. The default string includes the ident if present,
2975     and also the IP address if present. Reflecting back the ident is intended
2976     as a deterrent to mail forgers. For maximum efficiency, and also because
2977     some broken systems expect each response to be in a single packet, arrange
2978     that the entire reply is sent in one write(). */
2979
2980     auth_advertised = FALSE;
2981     pipelining_advertised = FALSE;
2982     #ifdef SUPPORT_TLS
2983     tls_advertised = FALSE;
2984     #endif
2985
2986     smtp_code = US"250 ";        /* Default response code plus space*/
2987     if (user_msg == NULL)
2988       {
2989       s = string_sprintf("%.3s %s Hello %s%s%s",
2990         smtp_code,
2991         smtp_active_hostname,
2992         (sender_ident == NULL)?  US"" : sender_ident,
2993         (sender_ident == NULL)?  US"" : US" at ",
2994         (sender_host_name == NULL)? sender_helo_name : sender_host_name);
2995
2996       ptr = Ustrlen(s);
2997       size = ptr + 1;
2998
2999       if (sender_host_address != NULL)
3000         {
3001         s = string_cat(s, &size, &ptr, US" [", 2);
3002         s = string_cat(s, &size, &ptr, sender_host_address,
3003           Ustrlen(sender_host_address));
3004         s = string_cat(s, &size, &ptr, US"]", 1);
3005         }
3006       }
3007
3008     /* A user-supplied EHLO greeting may not contain more than one line. Note
3009     that the code returned by smtp_message_code() includes the terminating
3010     whitespace character. */
3011
3012     else
3013       {
3014       char *ss;
3015       int codelen = 4;
3016       smtp_message_code(&smtp_code, &codelen, &user_msg, NULL);
3017       s = string_sprintf("%.*s%s", codelen, smtp_code, user_msg);
3018       if ((ss = strpbrk(CS s, "\r\n")) != NULL)
3019         {
3020         log_write(0, LOG_MAIN|LOG_PANIC, "EHLO/HELO response must not contain "
3021           "newlines: message truncated: %s", string_printing(s));
3022         *ss = 0;
3023         }
3024       ptr = Ustrlen(s);
3025       size = ptr + 1;
3026       }
3027
3028     s = string_cat(s, &size, &ptr, US"\r\n", 2);
3029
3030     /* If we received EHLO, we must create a multiline response which includes
3031     the functions supported. */
3032
3033     if (esmtp)
3034       {
3035       s[3] = '-';
3036
3037       /* I'm not entirely happy with this, as an MTA is supposed to check
3038       that it has enough room to accept a message of maximum size before
3039       it sends this. However, there seems little point in not sending it.
3040       The actual size check happens later at MAIL FROM time. By postponing it
3041       till then, VRFY and EXPN can be used after EHLO when space is short. */
3042
3043       if (thismessage_size_limit > 0)
3044         {
3045         sprintf(CS big_buffer, "%.3s-SIZE %d\r\n", smtp_code,
3046           thismessage_size_limit);
3047         s = string_cat(s, &size, &ptr, big_buffer, Ustrlen(big_buffer));
3048         }
3049       else
3050         {
3051         s = string_cat(s, &size, &ptr, smtp_code, 3);
3052         s = string_cat(s, &size, &ptr, US"-SIZE\r\n", 7);
3053         }
3054
3055       /* Exim does not do protocol conversion or data conversion. It is 8-bit
3056       clean; if it has an 8-bit character in its hand, it just sends it. It
3057       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
3058       However, some users want this option simply in order to stop MUAs
3059       mangling messages that contain top-bit-set characters. It is therefore
3060       provided as an option. */
3061
3062       if (accept_8bitmime)
3063         {
3064         s = string_cat(s, &size, &ptr, smtp_code, 3);
3065         s = string_cat(s, &size, &ptr, US"-8BITMIME\r\n", 11);
3066         }
3067
3068       /* Advertise ETRN if there's an ACL checking whether a host is
3069       permitted to issue it; a check is made when any host actually tries. */
3070
3071       if (acl_smtp_etrn != NULL)
3072         {
3073         s = string_cat(s, &size, &ptr, smtp_code, 3);
3074         s = string_cat(s, &size, &ptr, US"-ETRN\r\n", 7);
3075         }
3076
3077       /* Advertise EXPN if there's an ACL checking whether a host is
3078       permitted to issue it; a check is made when any host actually tries. */
3079
3080       if (acl_smtp_expn != NULL)
3081         {
3082         s = string_cat(s, &size, &ptr, smtp_code, 3);
3083         s = string_cat(s, &size, &ptr, US"-EXPN\r\n", 7);
3084         }
3085
3086       /* Exim is quite happy with pipelining, so let the other end know that
3087       it is safe to use it, unless advertising is disabled. */
3088
3089       if (pipelining_enable &&
3090           verify_check_host(&pipelining_advertise_hosts) == OK)
3091         {
3092         s = string_cat(s, &size, &ptr, smtp_code, 3);
3093         s = string_cat(s, &size, &ptr, US"-PIPELINING\r\n", 13);
3094         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
3095         pipelining_advertised = TRUE;
3096         }
3097
3098       /* If any server authentication mechanisms are configured, advertise
3099       them if the current host is in auth_advertise_hosts. The problem with
3100       advertising always is that some clients then require users to
3101       authenticate (and aren't configurable otherwise) even though it may not
3102       be necessary (e.g. if the host is in host_accept_relay).
3103
3104       RFC 2222 states that SASL mechanism names contain only upper case
3105       letters, so output the names in upper case, though we actually recognize
3106       them in either case in the AUTH command. */
3107
3108       if (auths != NULL)
3109         {
3110         if (verify_check_host(&auth_advertise_hosts) == OK)
3111           {
3112           auth_instance *au;
3113           BOOL first = TRUE;
3114           for (au = auths; au != NULL; au = au->next)
3115             {
3116             if (au->server && (au->advertise_condition == NULL ||
3117                 expand_check_condition(au->advertise_condition, au->name,
3118                 US"authenticator")))
3119               {
3120               int saveptr;
3121               if (first)
3122                 {
3123                 s = string_cat(s, &size, &ptr, smtp_code, 3);
3124                 s = string_cat(s, &size, &ptr, US"-AUTH", 5);
3125                 first = FALSE;
3126                 auth_advertised = TRUE;
3127                 }
3128               saveptr = ptr;
3129               s = string_cat(s, &size, &ptr, US" ", 1);
3130               s = string_cat(s, &size, &ptr, au->public_name,
3131                 Ustrlen(au->public_name));
3132               while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
3133               au->advertised = TRUE;
3134               }
3135             else au->advertised = FALSE;
3136             }
3137           if (!first) s = string_cat(s, &size, &ptr, US"\r\n", 2);
3138           }
3139         }
3140
3141       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
3142       if it has been included in the binary, and the host matches
3143       tls_advertise_hosts. We must *not* advertise if we are already in a
3144       secure connection. */
3145
3146       #ifdef SUPPORT_TLS
3147       if (tls_active < 0 &&
3148           verify_check_host(&tls_advertise_hosts) != FAIL)
3149         {
3150         s = string_cat(s, &size, &ptr, smtp_code, 3);
3151         s = string_cat(s, &size, &ptr, US"-STARTTLS\r\n", 11);
3152         tls_advertised = TRUE;
3153         }
3154       #endif
3155
3156       /* Finish off the multiline reply with one that is always available. */
3157
3158       s = string_cat(s, &size, &ptr, smtp_code, 3);
3159       s = string_cat(s, &size, &ptr, US" HELP\r\n", 7);
3160       }
3161
3162     /* Terminate the string (for debug), write it, and note that HELO/EHLO
3163     has been seen. */
3164
3165     s[ptr] = 0;
3166
3167     #ifdef SUPPORT_TLS
3168     if (tls_active >= 0) (void)tls_write(s, ptr); else
3169     #endif
3170
3171     (void)fwrite(s, 1, ptr, smtp_out);
3172     DEBUG(D_receive)
3173       {
3174       uschar *cr;
3175       while ((cr = Ustrchr(s, '\r')) != NULL)   /* lose CRs */
3176         memmove(cr, cr + 1, (ptr--) - (cr - s));
3177       debug_printf("SMTP>> %s", s);
3178       }
3179     helo_seen = TRUE;
3180
3181     /* Reset the protocol and the state, abandoning any previous message. */
3182
3183     received_protocol = (esmtp?
3184       protocols[pextend +
3185         ((sender_host_authenticated != NULL)? pauthed : 0) +
3186         ((tls_active >= 0)? pcrpted : 0)]
3187       :
3188       protocols[pnormal + ((tls_active >= 0)? pcrpted : 0)])
3189       +
3190       ((sender_host_address != NULL)? pnlocal : 0);
3191
3192     smtp_reset(reset_point);
3193     toomany = FALSE;
3194     break;   /* HELO/EHLO */
3195
3196
3197     /* The MAIL command requires an address as an operand. All we do
3198     here is to parse it for syntactic correctness. The form "<>" is
3199     a special case which converts into an empty string. The start/end
3200     pointers in the original are not used further for this address, as
3201     it is the canonical extracted address which is all that is kept. */
3202
3203     case MAIL_CMD:
3204     HAD(SCH_MAIL);
3205     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
3206     was_rej_mail = TRUE;               /* Reset if accepted */
3207
3208     if (helo_required && !helo_seen)
3209       {
3210       smtp_printf("503 HELO or EHLO required\r\n");
3211       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
3212         "HELO/EHLO given", host_and_ident(FALSE));
3213       break;
3214       }
3215
3216     if (sender_address != NULL)
3217       {
3218       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3219         US"sender already given");
3220       break;
3221       }
3222
3223     if (smtp_cmd_data[0] == 0)
3224       {
3225       done = synprot_error(L_smtp_protocol_error, 501, NULL,
3226         US"MAIL must have an address operand");
3227       break;
3228       }
3229
3230     /* Check to see if the limit for messages per connection would be
3231     exceeded by accepting further messages. */
3232
3233     if (smtp_accept_max_per_connection > 0 &&
3234         smtp_mailcmd_count > smtp_accept_max_per_connection)
3235       {
3236       smtp_printf("421 too many messages in this connection\r\n");
3237       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
3238         "messages in one connection", host_and_ident(TRUE));
3239       break;
3240       }
3241
3242     /* Reset for start of message - even if this is going to fail, we
3243     obviously need to throw away any previous data. */
3244
3245     smtp_reset(reset_point);
3246     toomany = FALSE;
3247     sender_data = recipient_data = NULL;
3248
3249     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
3250
3251     if (esmtp) for(;;)
3252       {
3253       uschar *name, *value, *end;
3254       unsigned long int size;
3255
3256       if (!extract_option(&name, &value)) break;
3257
3258       /* Handle SIZE= by reading the value. We don't do the check till later,
3259       in order to be able to log the sender address on failure. */
3260
3261       if (strcmpic(name, US"SIZE") == 0 &&
3262           ((size = Ustrtoul(value, &end, 10)), *end == 0))
3263         {
3264         if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
3265           size = INT_MAX;
3266         message_size = (int)size;
3267         }
3268
3269       /* If this session was initiated with EHLO and accept_8bitmime is set,
3270       Exim will have indicated that it supports the BODY=8BITMIME option. In
3271       fact, it does not support this according to the RFCs, in that it does not
3272       take any special action for forwarding messages containing 8-bit
3273       characters. That is why accept_8bitmime is not the default setting, but
3274       some sites want the action that is provided. We recognize both "8BITMIME"
3275       and "7BIT" as body types, but take no action. */
3276
3277       else if (accept_8bitmime && strcmpic(name, US"BODY") == 0 &&
3278           (strcmpic(value, US"8BITMIME") == 0 ||
3279            strcmpic(value, US"7BIT") == 0)) {}
3280
3281       /* Handle the AUTH extension. If the value given is not "<>" and either
3282       the ACL says "yes" or there is no ACL but the sending host is
3283       authenticated, we set it up as the authenticated sender. However, if the
3284       authenticator set a condition to be tested, we ignore AUTH on MAIL unless
3285       the condition is met. The value of AUTH is an xtext, which means that +,
3286       = and cntrl chars are coded in hex; however "<>" is unaffected by this
3287       coding. */
3288
3289       else if (strcmpic(name, US"AUTH") == 0)
3290         {
3291         if (Ustrcmp(value, "<>") != 0)
3292           {
3293           int rc;
3294           uschar *ignore_msg;
3295
3296           if (auth_xtextdecode(value, &authenticated_sender) < 0)
3297             {
3298             /* Put back terminator overrides for error message */
3299             name[-1] = ' ';
3300             value[-1] = '=';
3301             done = synprot_error(L_smtp_syntax_error, 501, NULL,
3302               US"invalid data for AUTH");
3303             goto COMMAND_LOOP;
3304             }
3305
3306           if (acl_smtp_mailauth == NULL)
3307             {
3308             ignore_msg = US"client not authenticated";
3309             rc = (sender_host_authenticated != NULL)? OK : FAIL;
3310             }
3311           else
3312             {
3313             ignore_msg = US"rejected by ACL";
3314             rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
3315               &user_msg, &log_msg);
3316             }
3317
3318           switch (rc)
3319             {
3320             case OK:
3321             if (authenticated_by == NULL ||
3322                 authenticated_by->mail_auth_condition == NULL ||
3323                 expand_check_condition(authenticated_by->mail_auth_condition,
3324                     authenticated_by->name, US"authenticator"))
3325               break;     /* Accept the AUTH */
3326
3327             ignore_msg = US"server_mail_auth_condition failed";
3328             if (authenticated_id != NULL)
3329               ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
3330                 ignore_msg, authenticated_id);
3331
3332             /* Fall through */
3333
3334             case FAIL:
3335             authenticated_sender = NULL;
3336             log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
3337               value, host_and_ident(TRUE), ignore_msg);
3338             break;
3339
3340             /* Should only get DEFER or ERROR here. Put back terminator
3341             overrides for error message */
3342
3343             default:
3344             name[-1] = ' ';
3345             value[-1] = '=';
3346             (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
3347               log_msg);
3348             goto COMMAND_LOOP;
3349             }
3350           }
3351         }
3352
3353       /* Unknown option. Stick back the terminator characters and break
3354       the loop. An error for a malformed address will occur. */
3355
3356       else
3357         {
3358         name[-1] = ' ';
3359         value[-1] = '=';
3360         break;
3361         }
3362       }
3363
3364     /* If we have passed the threshold for rate limiting, apply the current
3365     delay, and update it for next time, provided this is a limited host. */
3366
3367     if (smtp_mailcmd_count > smtp_rlm_threshold &&
3368         verify_check_host(&smtp_ratelimit_hosts) == OK)
3369       {
3370       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
3371         smtp_delay_mail/1000.0);
3372       millisleep((int)smtp_delay_mail);
3373       smtp_delay_mail *= smtp_rlm_factor;
3374       if (smtp_delay_mail > (double)smtp_rlm_limit)
3375         smtp_delay_mail = (double)smtp_rlm_limit;
3376       }
3377
3378     /* Now extract the address, first applying any SMTP-time rewriting. The
3379     TRUE flag allows "<>" as a sender address. */
3380
3381     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
3382       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
3383         global_rewrite_rules) : smtp_cmd_data;
3384
3385     /* rfc821_domains = TRUE; << no longer needed */
3386     raw_sender =
3387       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
3388         TRUE);
3389     /* rfc821_domains = FALSE; << no longer needed */
3390
3391     if (raw_sender == NULL)
3392       {
3393       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
3394       break;
3395       }
3396
3397     sender_address = raw_sender;
3398
3399     /* If there is a configured size limit for mail, check that this message
3400     doesn't exceed it. The check is postponed to this point so that the sender
3401     can be logged. */
3402
3403     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
3404       {
3405       smtp_printf("552 Message size exceeds maximum permitted\r\n");
3406       log_write(L_size_reject,
3407           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
3408           "message too big: size%s=%d max=%d",
3409           sender_address,
3410           host_and_ident(TRUE),
3411           (message_size == INT_MAX)? ">" : "",
3412           message_size,
3413           thismessage_size_limit);
3414       sender_address = NULL;
3415       break;
3416       }
3417
3418     /* Check there is enough space on the disk unless configured not to.
3419     When smtp_check_spool_space is set, the check is for thismessage_size_limit
3420     plus the current message - i.e. we accept the message only if it won't
3421     reduce the space below the threshold. Add 5000 to the size to allow for
3422     overheads such as the Received: line and storing of recipients, etc.
3423     By putting the check here, even when SIZE is not given, it allow VRFY
3424     and EXPN etc. to be used when space is short. */
3425
3426     if (!receive_check_fs(
3427          (smtp_check_spool_space && message_size >= 0)?
3428             message_size + 5000 : 0))
3429       {
3430       smtp_printf("452 Space shortage, please try later\r\n");
3431       sender_address = NULL;
3432       break;
3433       }
3434
3435     /* If sender_address is unqualified, reject it, unless this is a locally
3436     generated message, or the sending host or net is permitted to send
3437     unqualified addresses - typically local machines behaving as MUAs -
3438     in which case just qualify the address. The flag is set above at the start
3439     of the SMTP connection. */
3440
3441     if (sender_domain == 0 && sender_address[0] != 0)
3442       {
3443       if (allow_unqualified_sender)
3444         {
3445         sender_domain = Ustrlen(sender_address) + 1;
3446         sender_address = rewrite_address_qualify(sender_address, FALSE);
3447         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3448           raw_sender);
3449         }
3450       else
3451         {
3452         smtp_printf("501 %s: sender address must contain a domain\r\n",
3453           smtp_cmd_data);
3454         log_write(L_smtp_syntax_error,
3455           LOG_MAIN|LOG_REJECT,
3456           "unqualified sender rejected: <%s> %s%s",
3457           raw_sender,
3458           host_and_ident(TRUE),
3459           host_lookup_msg);
3460         sender_address = NULL;
3461         break;
3462         }
3463       }
3464
3465     /* Apply an ACL check if one is defined, before responding. Afterwards,
3466     when pipelining is not advertised, do another sync check in case the ACL
3467     delayed and the client started sending in the meantime. */
3468
3469     if (acl_smtp_mail == NULL) rc = OK; else
3470       {
3471       rc = acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
3472       if (rc == OK && !pipelining_advertised && !check_sync())
3473         goto SYNC_FAILURE;
3474       }
3475
3476     if (rc == OK || rc == DISCARD)
3477       {
3478       if (user_msg == NULL) smtp_printf("250 OK\r\n");
3479         else smtp_user_msg(US"250", user_msg);
3480       smtp_delay_rcpt = smtp_rlr_base;
3481       recipients_discarded = (rc == DISCARD);
3482       was_rej_mail = FALSE;
3483       }
3484     else
3485       {
3486       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
3487       sender_address = NULL;
3488       }
3489     break;
3490
3491
3492     /* The RCPT command requires an address as an operand. There may be any
3493     number of RCPT commands, specifying multiple recipients. We build them all
3494     into a data structure. The start/end values given by parse_extract_address
3495     are not used, as we keep only the extracted address. */
3496
3497     case RCPT_CMD:
3498     HAD(SCH_RCPT);
3499     rcpt_count++;
3500     was_rcpt = rcpt_in_progress = TRUE;
3501
3502     /* There must be a sender address; if the sender was rejected and
3503     pipelining was advertised, we assume the client was pipelining, and do not
3504     count this as a protocol error. Reset was_rej_mail so that further RCPTs
3505     get the same treatment. */
3506
3507     if (sender_address == NULL)
3508       {
3509       if (pipelining_advertised && last_was_rej_mail)
3510         {
3511         smtp_printf("503 sender not yet given\r\n");
3512         was_rej_mail = TRUE;
3513         }
3514       else
3515         {
3516         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3517           US"sender not yet given");
3518         was_rcpt = FALSE;             /* Not a valid RCPT */
3519         }
3520       rcpt_fail_count++;
3521       break;
3522       }
3523
3524     /* Check for an operand */
3525
3526     if (smtp_cmd_data[0] == 0)
3527       {
3528       done = synprot_error(L_smtp_syntax_error, 501, NULL,
3529         US"RCPT must have an address operand");
3530       rcpt_fail_count++;
3531       break;
3532       }
3533
3534     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
3535     as a recipient address */
3536
3537     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
3538       rewrite_one(smtp_cmd_data, rewrite_smtp, NULL, FALSE, US"",
3539         global_rewrite_rules) : smtp_cmd_data;
3540
3541     /* rfc821_domains = TRUE; << no longer needed */
3542     recipient = parse_extract_address(recipient, &errmess, &start, &end,
3543       &recipient_domain, FALSE);
3544     /* rfc821_domains = FALSE; << no longer needed */
3545
3546     if (recipient == NULL)
3547       {
3548       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_data, errmess);
3549       rcpt_fail_count++;
3550       break;
3551       }
3552
3553     /* If the recipient address is unqualified, reject it, unless this is a
3554     locally generated message. However, unqualified addresses are permitted
3555     from a configured list of hosts and nets - typically when behaving as
3556     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
3557     really. The flag is set at the start of the SMTP connection.
3558
3559     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
3560     assumed this meant "reserved local part", but the revision of RFC 821 and
3561     friends now makes it absolutely clear that it means *mailbox*. Consequently
3562     we must always qualify this address, regardless. */
3563
3564     if (recipient_domain == 0)
3565       {
3566       if (allow_unqualified_recipient ||
3567           strcmpic(recipient, US"postmaster") == 0)
3568         {
3569         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3570           recipient);
3571         recipient_domain = Ustrlen(recipient) + 1;
3572         recipient = rewrite_address_qualify(recipient, TRUE);
3573         }
3574       else
3575         {
3576         rcpt_fail_count++;
3577         smtp_printf("501 %s: recipient address must contain a domain\r\n",
3578           smtp_cmd_data);
3579         log_write(L_smtp_syntax_error,
3580           LOG_MAIN|LOG_REJECT, "unqualified recipient rejected: "
3581           "<%s> %s%s", recipient, host_and_ident(TRUE),
3582           host_lookup_msg);
3583         break;
3584         }
3585       }
3586
3587     /* Check maximum allowed */
3588
3589     if (rcpt_count > recipients_max && recipients_max > 0)
3590       {
3591       if (recipients_max_reject)
3592         {
3593         rcpt_fail_count++;
3594         smtp_printf("552 too many recipients\r\n");
3595         if (!toomany)
3596           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
3597             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
3598         }
3599       else
3600         {
3601         rcpt_defer_count++;
3602         smtp_printf("452 too many recipients\r\n");
3603         if (!toomany)
3604           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
3605             "temporarily rejected: sender=<%s> %s", sender_address,
3606             host_and_ident(TRUE));
3607         }
3608
3609       toomany = TRUE;
3610       break;
3611       }
3612
3613     /* If we have passed the threshold for rate limiting, apply the current
3614     delay, and update it for next time, provided this is a limited host. */
3615
3616     if (rcpt_count > smtp_rlr_threshold &&
3617         verify_check_host(&smtp_ratelimit_hosts) == OK)
3618       {
3619       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
3620         smtp_delay_rcpt/1000.0);
3621       millisleep((int)smtp_delay_rcpt);
3622       smtp_delay_rcpt *= smtp_rlr_factor;
3623       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
3624         smtp_delay_rcpt = (double)smtp_rlr_limit;
3625       }
3626
3627     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
3628     for them. Otherwise, check the access control list for this recipient. As
3629     there may be a delay in this, re-check for a synchronization error
3630     afterwards, unless pipelining was advertised. */
3631
3632     if (recipients_discarded) rc = DISCARD; else
3633       {
3634       rc = acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg,
3635         &log_msg);
3636       if (rc == OK && !pipelining_advertised && !check_sync())
3637         goto SYNC_FAILURE;
3638       }
3639
3640     /* The ACL was happy */
3641
3642     if (rc == OK)
3643       {
3644       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
3645         else smtp_user_msg(US"250", user_msg);
3646       receive_add_recipient(recipient, -1);
3647       }
3648
3649     /* The recipient was discarded */
3650
3651     else if (rc == DISCARD)
3652       {
3653       if (user_msg == NULL) smtp_printf("250 Accepted\r\n");
3654         else smtp_user_msg(US"250", user_msg);
3655       rcpt_fail_count++;
3656       discarded = TRUE;
3657       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> rejected RCPT %s: "
3658         "discarded by %s ACL%s%s", host_and_ident(TRUE),
3659         (sender_address_unrewritten != NULL)?
3660         sender_address_unrewritten : sender_address,
3661         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
3662         (log_msg == NULL)? US"" : US": ",
3663         (log_msg == NULL)? US"" : log_msg);
3664       }
3665
3666     /* Either the ACL failed the address, or it was deferred. */
3667
3668     else
3669       {
3670       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
3671       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
3672       }
3673     break;
3674
3675
3676     /* The DATA command is legal only if it follows successful MAIL FROM
3677     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
3678     not counted as a protocol error if it follows RCPT (which must have been
3679     rejected if there are no recipients.) This function is complete when a
3680     valid DATA command is encountered.
3681
3682     Note concerning the code used: RFC 2821 says this:
3683
3684      -  If there was no MAIL, or no RCPT, command, or all such commands
3685         were rejected, the server MAY return a "command out of sequence"
3686         (503) or "no valid recipients" (554) reply in response to the
3687         DATA command.
3688
3689     The example in the pipelining RFC 2920 uses 554, but I use 503 here
3690     because it is the same whether pipelining is in use or not.
3691
3692     If all the RCPT commands that precede DATA provoked the same error message
3693     (often indicating some kind of system error), it is helpful to include it
3694     with the DATA rejection (an idea suggested by Tony Finch). */
3695
3696     case DATA_CMD:
3697     HAD(SCH_DATA);
3698     if (!discarded && recipients_count <= 0)
3699       {
3700       if (rcpt_smtp_response_same && rcpt_smtp_response != NULL)
3701         {
3702         uschar *code = US"503";
3703         int len = Ustrlen(rcpt_smtp_response);
3704         smtp_respond(code, 3, FALSE, US"All RCPT commands were rejected with "
3705           "this error:");
3706         /* Responses from smtp_printf() will have \r\n on the end */
3707         if (len > 2 && rcpt_smtp_response[len-2] == '\r')
3708           rcpt_smtp_response[len-2] = 0;
3709         smtp_respond(code, 3, FALSE, rcpt_smtp_response);
3710         }
3711       if (pipelining_advertised && last_was_rcpt)
3712         smtp_printf("503 Valid RCPT command must precede DATA\r\n");
3713       else
3714         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3715           US"valid RCPT command must precede DATA");
3716       break;
3717       }
3718
3719     if (toomany && recipients_max_reject)
3720       {
3721       sender_address = NULL;  /* This will allow a new MAIL without RSET */
3722       sender_address_unrewritten = NULL;
3723       smtp_printf("554 Too many recipients\r\n");
3724       break;
3725       }
3726
3727     /* If there is an ACL, re-check the synchronization afterwards, since the
3728     ACL may have delayed. */
3729
3730     if (acl_smtp_predata == NULL) rc = OK; else
3731       {
3732       enable_dollar_recipients = TRUE;
3733       rc = acl_check(ACL_WHERE_PREDATA, NULL, acl_smtp_predata, &user_msg,
3734         &log_msg);
3735       enable_dollar_recipients = FALSE;
3736       if (rc == OK && !check_sync()) goto SYNC_FAILURE;
3737       }
3738
3739     if (rc == OK)
3740       {
3741       if (user_msg == NULL)
3742         smtp_printf("354 Enter message, ending with \".\" on a line by itself\r\n");
3743       else smtp_user_msg(US"354", user_msg);
3744       done = 3;
3745       message_ended = END_NOTENDED;   /* Indicate in middle of data */
3746       }
3747
3748     /* Either the ACL failed the address, or it was deferred. */
3749
3750     else
3751       done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
3752     break;
3753
3754
3755     case VRFY_CMD:
3756     HAD(SCH_VRFY);
3757     rc = acl_check(ACL_WHERE_VRFY, NULL, acl_smtp_vrfy, &user_msg, &log_msg);
3758     if (rc != OK)
3759       done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
3760     else
3761       {
3762       uschar *address;
3763       uschar *s = NULL;
3764
3765       /* rfc821_domains = TRUE; << no longer needed */
3766       address = parse_extract_address(smtp_cmd_data, &errmess, &start, &end,
3767         &recipient_domain, FALSE);
3768       /* rfc821_domains = FALSE; << no longer needed */
3769
3770       if (address == NULL)
3771         s = string_sprintf("501 %s", errmess);
3772       else
3773         {
3774         address_item *addr = deliver_make_addr(address, FALSE);
3775         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
3776                -1, -1, NULL, NULL, NULL))
3777           {
3778           case OK:
3779           s = string_sprintf("250 <%s> is deliverable", address);
3780           break;
3781
3782           case DEFER:
3783           s = (addr->user_message != NULL)?
3784             string_sprintf("451 <%s> %s", address, addr->user_message) :
3785             string_sprintf("451 Cannot resolve <%s> at this time", address);
3786           break;
3787
3788           case FAIL:
3789           s = (addr->user_message != NULL)?
3790             string_sprintf("550 <%s> %s", address, addr->user_message) :
3791             string_sprintf("550 <%s> is not deliverable", address);
3792           log_write(0, LOG_MAIN, "VRFY failed for %s %s",
3793             smtp_cmd_argument, host_and_ident(TRUE));
3794           break;
3795           }
3796         }
3797
3798       smtp_printf("%s\r\n", s);
3799       }
3800     break;
3801
3802
3803     case EXPN_CMD:
3804     HAD(SCH_EXPN);
3805     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
3806     if (rc != OK)
3807       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
3808     else
3809       {
3810       BOOL save_log_testing_mode = log_testing_mode;
3811       address_test_mode = log_testing_mode = TRUE;
3812       (void) verify_address(deliver_make_addr(smtp_cmd_data, FALSE),
3813         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
3814         NULL, NULL, NULL);
3815       address_test_mode = FALSE;
3816       log_testing_mode = save_log_testing_mode;    /* true for -bh */
3817       }
3818     break;
3819
3820
3821     #ifdef SUPPORT_TLS
3822
3823     case STARTTLS_CMD:
3824     HAD(SCH_STARTTLS);
3825     if (!tls_advertised)
3826       {
3827       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3828         US"STARTTLS command used when not advertised");
3829       break;
3830       }
3831
3832     /* Apply an ACL check if one is defined */
3833
3834     if (acl_smtp_starttls != NULL)
3835       {
3836       rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls, &user_msg,
3837         &log_msg);
3838       if (rc != OK)
3839         {
3840         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
3841         break;
3842         }
3843       }
3844
3845     /* RFC 2487 is not clear on when this command may be sent, though it
3846     does state that all information previously obtained from the client
3847     must be discarded if a TLS session is started. It seems reasonble to
3848     do an implied RSET when STARTTLS is received. */
3849
3850     incomplete_transaction_log(US"STARTTLS");
3851     smtp_reset(reset_point);
3852     toomany = FALSE;
3853     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
3854
3855     /* There's an attack where more data is read in past the STARTTLS command
3856     before TLS is negotiated, then assumed to be part of the secure session
3857     when used afterwards; we use segregated input buffers, so are not
3858     vulnerable, but we want to note when it happens and, for sheer paranoia,
3859     ensure that the buffer is "wiped".
3860     Pipelining sync checks will normally have protected us too, unless disabled
3861     by configuration. */
3862
3863     if (receive_smtp_buffered())
3864       {
3865       DEBUG(D_any)
3866         debug_printf("Non-empty input buffer after STARTTLS; naive attack?");
3867       if (tls_active < 0)
3868         smtp_inend = smtp_inptr = smtp_inbuffer;
3869       /* and if TLS is already active, tls_server_start() should fail */
3870       }
3871
3872     /* There is nothing we value in the input buffer and if TLS is succesfully
3873     negotiated, we won't use this buffer again; if TLS fails, we'll just read
3874     fresh content into it.  The buffer contains arbitrary content from an
3875     untrusted remote source; eg: NOOP <shellcode>\r\nSTARTTLS\r\n
3876     It seems safest to just wipe away the content rather than leave it as a
3877     target to jump to. */
3878
3879     memset(smtp_inbuffer, 0, in_buffer_size);
3880
3881     /* Attempt to start up a TLS session, and if successful, discard all
3882     knowledge that was obtained previously. At least, that's what the RFC says,
3883     and that's what happens by default. However, in order to work round YAEB,
3884     there is an option to remember the esmtp state. Sigh.
3885
3886     We must allow for an extra EHLO command and an extra AUTH command after
3887     STARTTLS that don't add to the nonmail command count. */
3888
3889     if ((rc = tls_server_start(tls_require_ciphers, gnutls_require_mac,
3890            gnutls_require_kx, gnutls_require_proto)) == OK)
3891       {
3892       if (!tls_remember_esmtp)
3893         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
3894       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3895       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
3896       if (sender_helo_name != NULL)
3897         {
3898         store_free(sender_helo_name);
3899         sender_helo_name = NULL;
3900         host_build_sender_fullhost();  /* Rebuild */
3901         set_process_info("handling incoming TLS connection from %s",
3902           host_and_ident(FALSE));
3903         }
3904       received_protocol = (esmtp?
3905         protocols[pextend + pcrpted +
3906           ((sender_host_authenticated != NULL)? pauthed : 0)]
3907         :
3908         protocols[pnormal + pcrpted])
3909         +
3910         ((sender_host_address != NULL)? pnlocal : 0);
3911
3912       sender_host_authenticated = NULL;
3913       authenticated_id = NULL;
3914       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
3915       DEBUG(D_tls) debug_printf("TLS active\n");
3916       break;     /* Successful STARTTLS */
3917       }
3918
3919     /* Some local configuration problem was discovered before actually trying
3920     to do a TLS handshake; give a temporary error. */
3921
3922     else if (rc == DEFER)
3923       {
3924       smtp_printf("454 TLS currently unavailable\r\n");
3925       break;
3926       }
3927
3928     /* Hard failure. Reject everything except QUIT or closed connection. One
3929     cause for failure is a nested STARTTLS, in which case tls_active remains
3930     set, but we must still reject all incoming commands. */
3931
3932     DEBUG(D_tls) debug_printf("TLS failed to start\n");
3933     while (done <= 0)
3934       {
3935       switch(smtp_read_command(FALSE))
3936         {
3937         case EOF_CMD:
3938         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
3939           smtp_get_connection_info());
3940         smtp_notquit_exit(US"tls-failed", NULL, NULL);
3941         done = 2;
3942         break;
3943
3944         /* It is perhaps arguable as to which exit ACL should be called here,
3945         but as it is probably a situtation that almost never arises, it
3946         probably doesn't matter. We choose to call the real QUIT ACL, which in
3947         some sense is perhaps "right". */
3948
3949         case QUIT_CMD:
3950         user_msg = NULL;
3951         if (acl_smtp_quit != NULL)
3952           {
3953           rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg,
3954             &log_msg);
3955           if (rc == ERROR)
3956             log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3957               log_msg);
3958           }
3959         if (user_msg == NULL)
3960           smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3961         else
3962           smtp_respond(US"221", 3, TRUE, user_msg);
3963         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3964           smtp_get_connection_info());
3965         done = 2;
3966         break;
3967
3968         default:
3969         smtp_printf("554 Security failure\r\n");
3970         break;
3971         }
3972       }
3973     tls_close(TRUE);
3974     break;
3975     #endif
3976
3977
3978     /* The ACL for QUIT is provided for gathering statistical information or
3979     similar; it does not affect the response code, but it can supply a custom
3980     message. */
3981
3982     case QUIT_CMD:
3983     HAD(SCH_QUIT);
3984     incomplete_transaction_log(US"QUIT");
3985     if (acl_smtp_quit != NULL)
3986       {
3987       rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit, &user_msg, &log_msg);
3988       if (rc == ERROR)
3989         log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3990           log_msg);
3991       }
3992     if (user_msg == NULL)
3993       smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3994     else
3995       smtp_respond(US"221", 3, TRUE, user_msg);
3996
3997     #ifdef SUPPORT_TLS
3998     tls_close(TRUE);
3999     #endif
4000
4001     done = 2;
4002     log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
4003       smtp_get_connection_info());
4004     break;
4005
4006
4007     case RSET_CMD:
4008     HAD(SCH_RSET);
4009     incomplete_transaction_log(US"RSET");
4010     smtp_reset(reset_point);
4011     toomany = FALSE;
4012     smtp_printf("250 Reset OK\r\n");
4013     cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
4014     break;
4015
4016
4017     case NOOP_CMD:
4018     HAD(SCH_NOOP);
4019     smtp_printf("250 OK\r\n");
4020     break;
4021
4022
4023     /* Show ETRN/EXPN/VRFY if there's an ACL for checking hosts; if actually
4024     used, a check will be done for permitted hosts. Show STARTTLS only if not
4025     already in a TLS session and if it would be advertised in the EHLO
4026     response. */
4027
4028     case HELP_CMD:
4029     HAD(SCH_HELP);
4030     smtp_printf("214-Commands supported:\r\n");
4031       {
4032       uschar buffer[256];
4033       buffer[0] = 0;
4034       Ustrcat(buffer, " AUTH");
4035       #ifdef SUPPORT_TLS
4036       if (tls_active < 0 &&
4037           verify_check_host(&tls_advertise_hosts) != FAIL)
4038         Ustrcat(buffer, " STARTTLS");
4039       #endif
4040       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA");
4041       Ustrcat(buffer, " NOOP QUIT RSET HELP");
4042       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
4043       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
4044       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
4045       smtp_printf("214%s\r\n", buffer);
4046       }
4047     break;
4048
4049
4050     case EOF_CMD:
4051     incomplete_transaction_log(US"connection lost");
4052     smtp_notquit_exit(US"connection-lost", US"421",
4053       US"%s lost input connection", smtp_active_hostname);
4054
4055     /* Don't log by default unless in the middle of a message, as some mailers
4056     just drop the call rather than sending QUIT, and it clutters up the logs.
4057     */
4058
4059     if (sender_address != NULL || recipients_count > 0)
4060       log_write(L_lost_incoming_connection,
4061           LOG_MAIN,
4062           "unexpected %s while reading SMTP command from %s%s",
4063           sender_host_unknown? "EOF" : "disconnection",
4064           host_and_ident(FALSE), smtp_read_error);
4065
4066     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
4067       smtp_get_connection_info(), smtp_read_error);
4068
4069     done = 1;
4070     break;
4071
4072
4073     case ETRN_CMD:
4074     HAD(SCH_ETRN);
4075     if (sender_address != NULL)
4076       {
4077       done = synprot_error(L_smtp_protocol_error, 503, NULL,
4078         US"ETRN is not permitted inside a transaction");
4079       break;
4080       }
4081
4082     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
4083       host_and_ident(FALSE));
4084
4085     rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn, &user_msg, &log_msg);
4086     if (rc != OK)
4087       {
4088       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
4089       break;
4090       }
4091
4092     /* Compute the serialization key for this command. */
4093
4094     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_data);
4095
4096     /* If a command has been specified for running as a result of ETRN, we
4097     permit any argument to ETRN. If not, only the # standard form is permitted,
4098     since that is strictly the only kind of ETRN that can be implemented
4099     according to the RFC. */
4100
4101     if (smtp_etrn_command != NULL)
4102       {
4103       uschar *error;
4104       BOOL rc;
4105       etrn_command = smtp_etrn_command;
4106       deliver_domain = smtp_cmd_data;
4107       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
4108         US"ETRN processing", &error);
4109       deliver_domain = NULL;
4110       if (!rc)
4111         {
4112         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
4113           error);
4114         smtp_printf("458 Internal failure\r\n");
4115         break;
4116         }
4117       }
4118
4119     /* Else set up to call Exim with the -R option. */
4120
4121     else
4122       {
4123       if (*smtp_cmd_data++ != '#')
4124         {
4125         done = synprot_error(L_smtp_syntax_error, 501, NULL,
4126           US"argument must begin with #");
4127         break;
4128         }
4129       etrn_command = US"exim -R";
4130       argv = child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE, 2, US"-R",
4131         smtp_cmd_data);
4132       }
4133
4134     /* If we are host-testing, don't actually do anything. */
4135
4136     if (host_checking)
4137       {
4138       HDEBUG(D_any)
4139         {
4140         debug_printf("ETRN command is: %s\n", etrn_command);
4141         debug_printf("ETRN command execution skipped\n");
4142         }
4143       if (user_msg == NULL) smtp_printf("250 OK\r\n");
4144         else smtp_user_msg(US"250", user_msg);
4145       break;
4146       }
4147
4148
4149     /* If ETRN queue runs are to be serialized, check the database to
4150     ensure one isn't already running. */
4151
4152     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key))
4153       {
4154       smtp_printf("458 Already processing %s\r\n", smtp_cmd_data);
4155       break;
4156       }
4157
4158     /* Fork a child process and run the command. We don't want to have to
4159     wait for the process at any point, so set SIGCHLD to SIG_IGN before
4160     forking. It should be set that way anyway for external incoming SMTP,
4161     but we save and restore to be tidy. If serialization is required, we
4162     actually run the command in yet another process, so we can wait for it
4163     to complete and then remove the serialization lock. */
4164
4165     oldsignal = signal(SIGCHLD, SIG_IGN);
4166
4167     if ((pid = fork()) == 0)
4168       {
4169       smtp_input = FALSE;       /* This process is not associated with the */
4170       (void)fclose(smtp_in);    /* SMTP call any more. */
4171       (void)fclose(smtp_out);
4172
4173       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
4174
4175       /* If not serializing, do the exec right away. Otherwise, fork down
4176       into another process. */
4177
4178       if (!smtp_etrn_serialize || (pid = fork()) == 0)
4179         {
4180         DEBUG(D_exec) debug_print_argv(argv);
4181         exim_nullstd();                   /* Ensure std{in,out,err} exist */
4182         execv(CS argv[0], (char *const *)argv);
4183         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
4184           etrn_command, strerror(errno));
4185         _exit(EXIT_FAILURE);         /* paranoia */
4186         }
4187
4188       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
4189       is, we are in the first subprocess, after forking again. All we can do
4190       for a failing fork is to log it. Otherwise, wait for the 2nd process to
4191       complete, before removing the serialization. */
4192
4193       if (pid < 0)
4194         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
4195           "failed: %s", strerror(errno));
4196       else
4197         {
4198         int status;
4199         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
4200           (int)pid);
4201         (void)wait(&status);
4202         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
4203           (int)pid);
4204         }
4205
4206       enq_end(etrn_serialize_key);
4207       _exit(EXIT_SUCCESS);
4208       }
4209
4210     /* Back in the top level SMTP process. Check that we started a subprocess
4211     and restore the signal state. */
4212
4213     if (pid < 0)
4214       {
4215       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
4216         strerror(errno));
4217       smtp_printf("458 Unable to fork process\r\n");
4218       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
4219       }
4220     else
4221       {
4222       if (user_msg == NULL) smtp_printf("250 OK\r\n");
4223         else smtp_user_msg(US"250", user_msg);
4224       }
4225
4226     signal(SIGCHLD, oldsignal);
4227     break;
4228
4229
4230     case BADARG_CMD:
4231     done = synprot_error(L_smtp_syntax_error, 501, NULL,
4232       US"unexpected argument data");
4233     break;
4234
4235
4236     /* This currently happens only for NULLs, but could be extended. */
4237
4238     case BADCHAR_CMD:
4239     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
4240       US"NULL character(s) present (shown as '?')");
4241     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
4242     break;
4243
4244
4245     case BADSYN_CMD:
4246     SYNC_FAILURE:
4247     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
4248       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
4249     c = smtp_inend - smtp_inptr;
4250     if (c > 150) c = 150;
4251     smtp_inptr[c] = 0;
4252     incomplete_transaction_log(US"sync failure");
4253     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
4254       "(next input sent too soon: pipelining was%s advertised): "
4255       "rejected \"%s\" %s next input=\"%s\"",
4256       pipelining_advertised? "" : " not",
4257       smtp_cmd_buffer, host_and_ident(TRUE),
4258       string_printing(smtp_inptr));
4259     smtp_notquit_exit(US"synchronization-error", US"554",
4260       US"SMTP synchronization error");
4261     done = 1;   /* Pretend eof - drops connection */
4262     break;
4263
4264
4265     case TOO_MANY_NONMAIL_CMD:
4266     s = smtp_cmd_buffer;
4267     while (*s != 0 && !isspace(*s)) s++;
4268     incomplete_transaction_log(US"too many non-mail commands");
4269     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4270       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
4271       s - smtp_cmd_buffer, smtp_cmd_buffer);
4272     smtp_notquit_exit(US"bad-commands", US"554", US"Too many nonmail commands");
4273     done = 1;   /* Pretend eof - drops connection */
4274     break;
4275
4276
4277     default:
4278     if (unknown_command_count++ >= smtp_max_unknown_commands)
4279       {
4280       log_write(L_smtp_syntax_error, LOG_MAIN,
4281         "SMTP syntax error in \"%s\" %s %s",
4282         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
4283         US"unrecognized command");
4284       incomplete_transaction_log(US"unrecognized command");
4285       smtp_notquit_exit(US"bad-commands", US"500",
4286         US"Too many unrecognized commands");
4287       done = 2;
4288       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
4289         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
4290         smtp_cmd_buffer);
4291       }
4292     else
4293       done = synprot_error(L_smtp_syntax_error, 500, NULL,
4294         US"unrecognized command");
4295     break;
4296     }
4297
4298   /* This label is used by goto's inside loops that want to break out to
4299   the end of the command-processing loop. */
4300
4301   COMMAND_LOOP:
4302   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
4303   last_was_rcpt = was_rcpt;             /* protocol error handling */
4304   continue;
4305   }
4306
4307 return done - 2;  /* Convert yield values */
4308 }
4309
4310 /* End of smtp_in.c */