src/src/smtp_in.c

   1 /* $Cambridge: exim/src/src/smtp_in.c,v 1.31 2006/02/13 12:02:59 ph10 Exp $ */
   2
   3 /*************************************************
   4 *     Exim - an Internet mail transport agent    *
   5 *************************************************/
   6
   7 /* Copyright (c) University of Cambridge 1995 - 2006 */
   8 /* See the file NOTICE for conditions of use and distribution. */
   9
  10 /* Functions for handling an incoming SMTP call. */
  11
  12
  13 #include "exim.h"
  14
  15
  16 /* Initialize for TCP wrappers if so configured. It appears that the macro
  17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
  18 including that header, and restore its value afterwards. */
  19
  20 #ifdef USE_TCP_WRAPPERS
  21
  22   #if HAVE_IPV6
  23   #define EXIM_HAVE_IPV6
  24   #endif
  25   #undef HAVE_IPV6
  26   #include <tcpd.h>
  27   #undef HAVE_IPV6
  28   #ifdef EXIM_HAVE_IPV6
  29   #define HAVE_IPV6 TRUE
  30   #endif
  31
  32 int allow_severity = LOG_INFO;
  33 int deny_severity  = LOG_NOTICE;
  34 #endif
  35
  36
  37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
  38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
  39 commands that accept arguments, and this in particular applies to AUTH, where
  40 the data can be quite long. */
  41
  42 #define smtp_cmd_buffer_size  2048
  43
  44 /* Size of buffer for reading SMTP incoming packets */
  45
  46 #define in_buffer_size  8192
  47
  48 /* Structure for SMTP command list */
  49
  50 typedef struct {
  51   char *name;
  52   int len;
  53   short int cmd;
  54   short int has_arg;
  55   short int is_mail_cmd;
  56 } smtp_cmd_list;
  57
  58 /* Codes for identifying commands. We order them so that those that come first
  59 are those for which synchronization is always required. Checking this can help
  60 block some spam.  */
  61
  62 enum {
  63   /* These commands are required to be synchronized, i.e. to be the last in a
  64   block of commands when pipelining. */
  65
  66   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
  67   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
  68   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
  69   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
  70
  71   /* This is a dummy to identify the non-sync commands when pipelining */
  72
  73   NON_SYNC_CMD_PIPELINING,
  74
  75   /* These commands need not be synchronized when pipelining */
  76
  77   MAIL_CMD, RCPT_CMD, RSET_CMD,
  78
  79   /* This is a dummy to identify the non-sync commands when not pipelining */
  80
  81   NON_SYNC_CMD_NON_PIPELINING,
  82
  83   /* I have been unable to find a statement about the use of pipelining
  84   with AUTH, so to be on the safe side it is here, though I kind of feel
  85   it should be up there with the synchronized commands. */
  86
  87   AUTH_CMD,
  88
  89   /* I'm not sure about these, but I don't think they matter. */
  90
  91   QUIT_CMD, HELP_CMD,
  92
  93   /* These are specials that don't correspond to actual commands */
  94
  95   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
  96   TOO_MANY_NONMAIL_CMD };
  97
  98
  99
 100 /*************************************************
 101 *                Local static variables          *
 102 *************************************************/
 103
 104 static auth_instance *authenticated_by;
 105 static BOOL auth_advertised;
 106 #ifdef SUPPORT_TLS
 107 static BOOL tls_advertised;
 108 #endif
 109 static BOOL esmtp;
 110 static BOOL helo_required = FALSE;
 111 static BOOL helo_verify = FALSE;
 112 static BOOL helo_seen;
 113 static BOOL helo_accept_junk;
 114 static BOOL count_nonmail;
 115 static BOOL pipelining_advertised;
 116 static int  nonmail_command_count;
 117 static int  synprot_error_count;
 118 static int  unknown_command_count;
 119 static int  sync_cmd_limit;
 120 static int  smtp_write_error = 0;
 121
 122 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
 123 final fields of all except AUTH are forced TRUE at the start of a new message
 124 setup, to allow one of each between messages that is not counted as a nonmail
 125 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
 126 allow a new EHLO after starting up TLS.
 127
 128 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
 129 counted. However, the flag is changed when AUTH is received, so that multiple
 130 failing AUTHs will eventually hit the limit. After a successful AUTH, another
 131 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
 132 forced TRUE, to allow for the re-authentication that can happen at that point.
 133
 134 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
 135 count of non-mail commands and possibly provoke an error. */
 136
 137 static smtp_cmd_list cmd_list[] = {
 138   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
 139   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
 140   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
 141   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
 142   #ifdef SUPPORT_TLS
 143   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
 144   #endif
 145
 146 /* If you change anything above here, also fix the definitions below. */
 147
 148   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
 149   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
 150   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
 151   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
 152   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
 153   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
 154   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
 155   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
 156   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
 157 };
 158
 159 static smtp_cmd_list *cmd_list_end =
 160   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
 161
 162 #define CMD_LIST_RSET      0
 163 #define CMD_LIST_HELO      1
 164 #define CMD_LIST_EHLO      2
 165 #define CMD_LIST_AUTH      3
 166 #define CMD_LIST_STARTTLS  4
 167
 168 static uschar *protocols[] = {
 169   US"local-smtp",        /* HELO */
 170   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
 171   US"local-esmtp",       /* EHLO */
 172   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
 173   US"local-esmtpa",      /* EHLO->AUTH */
 174   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
 175   };
 176
 177 #define pnormal  0
 178 #define pextend  2
 179 #define pcrpted  1  /* added to pextend or pnormal */
 180 #define pauthed  2  /* added to pextend */
 181 #define pnlocal  6  /* offset to remove "local" */
 182
 183 /* When reading SMTP from a remote host, we have to use our own versions of the
 184 C input-reading functions, in order to be able to flush the SMTP output only
 185 when about to read more data from the socket. This is the only way to get
 186 optimal performance when the client is using pipelining. Flushing for every
 187 command causes a separate packet and reply packet each time; saving all the
 188 responses up (when pipelining) combines them into one packet and one response.
 189
 190 For simplicity, these functions are used for *all* SMTP input, not only when
 191 receiving over a socket. However, after setting up a secure socket (SSL), input
 192 is read via the OpenSSL library, and another set of functions is used instead
 193 (see tls.c).
 194
 195 These functions are set in the receive_getc etc. variables and called with the
 196 same interface as the C functions. However, since there can only ever be
 197 one incoming SMTP call, we just use a single buffer and flags. There is no need
 198 to implement a complicated private FILE-like structure.*/
 199
 200 static uschar *smtp_inbuffer;
 201 static uschar *smtp_inptr;
 202 static uschar *smtp_inend;
 203 static int     smtp_had_eof;
 204 static int     smtp_had_error;
 205
 206
 207 /*************************************************
 208 *          SMTP version of getc()                *
 209 *************************************************/
 210
 211 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
 212 it flushes the output, and refills the buffer, with a timeout. The signal
 213 handler is set appropriately by the calling function. This function is not used
 214 after a connection has negotated itself into an TLS/SSL state.
 215
 216 Arguments:  none
 217 Returns:    the next character or EOF
 218 */
 219
 220 int
 221 smtp_getc(void)
 222 {
 223 if (smtp_inptr >= smtp_inend)
 224   {
 225   int rc, save_errno;
 226   fflush(smtp_out);
 227   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
 228   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
 229   save_errno = errno;
 230   alarm(0);
 231   if (rc <= 0)
 232     {
 233     /* Must put the error text in fixed store, because this might be during
 234     header reading, where it releases unused store above the header. */
 235     if (rc < 0)
 236       {
 237       smtp_had_error = save_errno;
 238       smtp_read_error = string_copy_malloc(
 239         string_sprintf(" (error: %s)", strerror(save_errno)));
 240       }
 241     else smtp_had_eof = 1;
 242     return EOF;
 243     }
 244   smtp_inend = smtp_inbuffer + rc;
 245   smtp_inptr = smtp_inbuffer;
 246   }
 247 return *smtp_inptr++;
 248 }
 249
 250
 251
 252 /*************************************************
 253 *          SMTP version of ungetc()              *
 254 *************************************************/
 255
 256 /* Puts a character back in the input buffer. Only ever
 257 called once.
 258
 259 Arguments:
 260   ch           the character
 261
 262 Returns:       the character
 263 */
 264
 265 int
 266 smtp_ungetc(int ch)
 267 {
 268 *(--smtp_inptr) = ch;
 269 return ch;
 270 }
 271
 272
 273
 274
 275 /*************************************************
 276 *          SMTP version of feof()                *
 277 *************************************************/
 278
 279 /* Tests for a previous EOF
 280
 281 Arguments:     none
 282 Returns:       non-zero if the eof flag is set
 283 */
 284
 285 int
 286 smtp_feof(void)
 287 {
 288 return smtp_had_eof;
 289 }
 290
 291
 292
 293
 294 /*************************************************
 295 *          SMTP version of ferror()              *
 296 *************************************************/
 297
 298 /* Tests for a previous read error, and returns with errno
 299 restored to what it was when the error was detected.
 300
 301 Arguments:     none
 302 Returns:       non-zero if the error flag is set
 303 */
 304
 305 int
 306 smtp_ferror(void)
 307 {
 308 errno = smtp_had_error;
 309 return smtp_had_error;
 310 }
 311
 312
 313
 314
 315 /*************************************************
 316 *     Write formatted string to SMTP channel     *
 317 *************************************************/
 318
 319 /* This is a separate function so that we don't have to repeat everything for
 320 TLS support or debugging. It is global so that the daemon and the
 321 authentication functions can use it. It does not return any error indication,
 322 because major problems such as dropped connections won't show up till an output
 323 flush for non-TLS connections. The smtp_fflush() function is available for
 324 checking that: for convenience, TLS output errors are remembered here so that
 325 they are also picked up later by smtp_fflush().
 326
 327 Arguments:
 328   format      format string
 329   ...         optional arguments
 330
 331 Returns:      nothing
 332 */
 333
 334 void
 335 smtp_printf(char *format, ...)
 336 {
 337 va_list ap;
 338
 339 DEBUG(D_receive)
 340   {
 341   va_start(ap, format);
 342   (void) string_vformat(big_buffer, big_buffer_size, format, ap);
 343   debug_printf("SMTP>> %s", big_buffer);
 344   }
 345
 346 va_start(ap, format);
 347
 348 /* If in a TLS session we have to format the string, and then write it using a
 349 TLS function. */
 350
 351 #ifdef SUPPORT_TLS
 352 if (tls_active >= 0)
 353   {
 354   if (!string_vformat(big_buffer, big_buffer_size, format, ap))
 355     {
 356     log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf");
 357     smtp_closedown(US"Unexpected error");
 358     exim_exit(EXIT_FAILURE);
 359     }
 360   if (tls_write(big_buffer, Ustrlen(big_buffer)) < 0) smtp_write_error = -1;
 361   }
 362 else
 363 #endif
 364
 365 /* Otherwise, just use the standard library function. */
 366
 367 if (vfprintf(smtp_out, format, ap) < 0) smtp_write_error = -1;
 368 va_end(ap);
 369 }
 370
 371
 372
 373 /*************************************************
 374 *        Flush SMTP out and check for error      *
 375 *************************************************/
 376
 377 /* This function isn't currently used within Exim (it detects errors when it
 378 tries to read the next SMTP input), but is available for use in local_scan().
 379 For non-TLS connections, it flushes the output and checks for errors. For
 380 TLS-connections, it checks for a previously-detected TLS write error.
 381
 382 Arguments:  none
 383 Returns:    0 for no error; -1 after an error
 384 */
 385
 386 int
 387 smtp_fflush(void)
 388 {
 389 if (tls_active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
 390 return smtp_write_error;
 391 }
 392
 393
 394
 395 /*************************************************
 396 *          SMTP command read timeout             *
 397 *************************************************/
 398
 399 /* Signal handler for timing out incoming SMTP commands. This attempts to
 400 finish off tidily.
 401
 402 Argument: signal number (SIGALRM)
 403 Returns:  nothing
 404 */
 405
 406 static void
 407 command_timeout_handler(int sig)
 408 {
 409 sig = sig;    /* Keep picky compilers happy */
 410 log_write(L_lost_incoming_connection,
 411           LOG_MAIN, "SMTP command timeout on%s connection from %s",
 412           (tls_active >= 0)? " TLS" : "",
 413           host_and_ident(FALSE));
 414 if (smtp_batched_input)
 415   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
 416 smtp_printf("421 %s: SMTP command timeout - closing connection\r\n",
 417   smtp_active_hostname);
 418 mac_smtp_fflush();
 419 exim_exit(EXIT_FAILURE);
 420 }
 421
 422
 423
 424 /*************************************************
 425 *               SIGTERM received                 *
 426 *************************************************/
 427
 428 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
 429
 430 Argument: signal number (SIGTERM)
 431 Returns:  nothing
 432 */
 433
 434 static void
 435 command_sigterm_handler(int sig)
 436 {
 437 sig = sig;    /* Keep picky compilers happy */
 438 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
 439 if (smtp_batched_input)
 440   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
 441 smtp_printf("421 %s: Service not available - closing connection\r\n",
 442   smtp_active_hostname);
 443 exim_exit(EXIT_FAILURE);
 444 }
 445
 446
 447
 448 /*************************************************
 449 *           Read one command line                *
 450 *************************************************/
 451
 452 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
 453 There are sites that don't do this, and in any case internal SMTP probably
 454 should check only for LF. Consequently, we check here for LF only. The line
 455 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
 456 an unknown command. The command is read into the global smtp_cmd_buffer so that
 457 it is available via $smtp_command.
 458
 459 The character reading routine sets up a timeout for each block actually read
 460 from the input (which may contain more than one command). We set up a special
 461 signal handler that closes down the session on a timeout. Control does not
 462 return when it runs.
 463
 464 Arguments:
 465   check_sync   if TRUE, check synchronization rules if global option is TRUE
 466
 467 Returns:       a code identifying the command (enumerated above)
 468 */
 469
 470 static int
 471 smtp_read_command(BOOL check_sync)
 472 {
 473 int c;
 474 int ptr = 0;
 475 smtp_cmd_list *p;
 476 BOOL hadnull = FALSE;
 477
 478 os_non_restarting_signal(SIGALRM, command_timeout_handler);
 479
 480 while ((c = (receive_getc)()) != '\n' && c != EOF)
 481   {
 482   if (ptr >= smtp_cmd_buffer_size)
 483     {
 484     os_non_restarting_signal(SIGALRM, sigalrm_handler);
 485     return OTHER_CMD;
 486     }
 487   if (c == 0)
 488     {
 489     hadnull = TRUE;
 490     c = '?';
 491     }
 492   smtp_cmd_buffer[ptr++] = c;
 493   }
 494
 495 receive_linecount++;    /* For BSMTP errors */
 496 os_non_restarting_signal(SIGALRM, sigalrm_handler);
 497
 498 /* If hit end of file, return pseudo EOF command. Whether we have a
 499 part-line already read doesn't matter, since this is an error state. */
 500
 501 if (c == EOF) return EOF_CMD;
 502
 503 /* Remove any CR and white space at the end of the line, and terminate the
 504 string. */
 505
 506 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
 507 smtp_cmd_buffer[ptr] = 0;
 508
 509 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
 510
 511 /* NULLs are not allowed in SMTP commands */
 512
 513 if (hadnull) return BADCHAR_CMD;
 514
 515 /* Scan command list and return identity, having set the data pointer
 516 to the start of the actual data characters. Check for SMTP synchronization
 517 if required. */
 518
 519 for (p = cmd_list; p < cmd_list_end; p++)
 520   {
 521   if (strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0)
 522     {
 523     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
 524         p->cmd < sync_cmd_limit &&                     /* Command should sync */
 525         check_sync &&                                  /* Local flag set */
 526         smtp_enforce_sync &&                           /* Global flag set */
 527         sender_host_address != NULL &&                 /* Not local input */
 528         !sender_host_notsocket)                        /* Really is a socket */
 529       return BADSYN_CMD;
 530
 531     /* Point after the command, but don't skip over leading spaces till after
 532     the following test, so that if it fails, the command name can easily be
 533     logged. */
 534
 535     smtp_cmd_argument = smtp_cmd_buffer + p->len;
 536
 537     /* Count non-mail commands from those hosts that are controlled in this
 538     way. The default is all hosts. We don't waste effort checking the list
 539     until we get a non-mail command, but then cache the result to save checking
 540     again. If there's a DEFER while checking the host, assume it's in the list.
 541
 542     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
 543     start of each incoming message by fiddling with the value in the table. */
 544
 545     if (!p->is_mail_cmd)
 546       {
 547       if (count_nonmail == TRUE_UNSET) count_nonmail =
 548         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
 549       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
 550         return TOO_MANY_NONMAIL_CMD;
 551       }
 552
 553     /* Get the data pointer over leading spaces and return; if there is data
 554     for a command that does not expect it, give the error centrally here. */
 555
 556     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
 557     return (p->has_arg || *smtp_cmd_argument == 0)? p->cmd : BADARG_CMD;
 558     }
 559   }
 560
 561 /* Enforce synchronization for unknown commands */
 562
 563 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
 564     check_sync &&                                  /* Local flag set */
 565     smtp_enforce_sync &&                           /* Global flag set */
 566     sender_host_address != NULL &&                 /* Not local input */
 567     !sender_host_notsocket)                        /* Really is a socket */
 568   return BADSYN_CMD;
 569
 570 return OTHER_CMD;
 571 }
 572
 573
 574
 575 /*************************************************
 576 *          Forced closedown of call              *
 577 *************************************************/
 578
 579 /* This function is called from log.c when Exim is dying because of a serious
 580 disaster, and also from some other places. If an incoming non-batched SMTP
 581 channel is open, it swallows the rest of the incoming message if in the DATA
 582 phase, sends the reply string, and gives an error to all subsequent commands
 583 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
 584 smtp_in.
 585
 586 Argument:   SMTP reply string to send, excluding the code
 587 Returns:    nothing
 588 */
 589
 590 void
 591 smtp_closedown(uschar *message)
 592 {
 593 if (smtp_in == NULL || smtp_batched_input) return;
 594 receive_swallow_smtp();
 595 smtp_printf("421 %s\r\n", message);
 596
 597 for (;;)
 598   {
 599   switch(smtp_read_command(FALSE))
 600     {
 601     case EOF_CMD:
 602     return;
 603
 604     case QUIT_CMD:
 605     smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
 606     mac_smtp_fflush();
 607     return;
 608
 609     case RSET_CMD:
 610     smtp_printf("250 Reset OK\r\n");
 611     break;
 612
 613     default:
 614     smtp_printf("421 %s\r\n", message);
 615     break;
 616     }
 617   }
 618 }
 619
 620
 621
 622
 623 /*************************************************
 624 *        Set up connection info for logging      *
 625 *************************************************/
 626
 627 /* This function is called when logging information about an SMTP connection.
 628 It sets up appropriate source information, depending on the type of connection.
 629
 630 Argument:    none
 631 Returns:     a string describing the connection
 632 */
 633
 634 uschar *
 635 smtp_get_connection_info(void)
 636 {
 637 if (host_checking)
 638   return string_sprintf("SMTP connection from %s", sender_fullhost);
 639
 640 if (sender_host_unknown || sender_host_notsocket)
 641   return string_sprintf("SMTP connection from %s", sender_ident);
 642
 643 if (is_inetd)
 644   return string_sprintf("SMTP connection from %s (via inetd)", sender_fullhost);
 645
 646 if ((log_extra_selector & LX_incoming_interface) != 0 &&
 647      interface_address != NULL)
 648   return string_sprintf("SMTP connection from %s I=[%s]:%d", sender_fullhost,
 649     interface_address, interface_port);
 650
 651 return string_sprintf("SMTP connection from %s", sender_fullhost);
 652 }
 653
 654
 655
 656 /*************************************************
 657 *   Check HELO line and set sender_helo_name     *
 658 *************************************************/
 659
 660 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
 661 the domain name of the sending host, or an ip literal in square brackets. The
 662 arrgument is placed in sender_helo_name, which is in malloc store, because it
 663 must persist over multiple incoming messages. If helo_accept_junk is set, this
 664 host is permitted to send any old junk (needed for some broken hosts).
 665 Otherwise, helo_allow_chars can be used for rogue characters in general
 666 (typically people want to let in underscores).
 667
 668 Argument:
 669   s       the data portion of the line (already past any white space)
 670
 671 Returns:  TRUE or FALSE
 672 */
 673
 674 static BOOL
 675 check_helo(uschar *s)
 676 {
 677 uschar *start = s;
 678 uschar *end = s + Ustrlen(s);
 679 BOOL yield = helo_accept_junk;
 680
 681 /* Discard any previous helo name */
 682
 683 if (sender_helo_name != NULL)
 684   {
 685   store_free(sender_helo_name);
 686   sender_helo_name = NULL;
 687   }
 688
 689 /* Skip tests if junk is permitted. */
 690
 691 if (!yield)
 692   {
 693   /* Allow the new standard form for IPv6 address literals, namely,
 694   [IPv6:....], and because someone is bound to use it, allow an equivalent
 695   IPv4 form. Allow plain addresses as well. */
 696
 697   if (*s == '[')
 698     {
 699     if (end[-1] == ']')
 700       {
 701       end[-1] = 0;
 702       if (strncmpic(s, US"[IPv6:", 6) == 0)
 703         yield = (string_is_ip_address(s+6, NULL) == 6);
 704       else if (strncmpic(s, US"[IPv4:", 6) == 0)
 705         yield = (string_is_ip_address(s+6, NULL) == 4);
 706       else
 707         yield = (string_is_ip_address(s+1, NULL) != 0);
 708       end[-1] = ']';
 709       }
 710     }
 711
 712   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
 713   that have been configured (usually underscore - sigh). */
 714
 715   else if (*s != 0)
 716     {
 717     yield = TRUE;
 718     while (*s != 0)
 719       {
 720       if (!isalnum(*s) && *s != '.' && *s != '-' &&
 721           Ustrchr(helo_allow_chars, *s) == NULL)
 722         {
 723         yield = FALSE;
 724         break;
 725         }
 726       s++;
 727       }
 728     }
 729   }
 730
 731 /* Save argument if OK */
 732
 733 if (yield) sender_helo_name = string_copy_malloc(start);
 734 return yield;
 735 }
 736
 737
 738
 739
 740
 741 /*************************************************
 742 *         Extract SMTP command option            *
 743 *************************************************/
 744
 745 /* This function picks the next option setting off the end of smtp_cmd_argument. It
 746 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
 747 things that can appear there.
 748
 749 Arguments:
 750    name           point this at the name
 751    value          point this at the data string
 752
 753 Returns:          TRUE if found an option
 754 */
 755
 756 static BOOL
 757 extract_option(uschar **name, uschar **value)
 758 {
 759 uschar *n;
 760 uschar *v = smtp_cmd_argument + Ustrlen(smtp_cmd_argument) -1;
 761 while (isspace(*v)) v--;
 762 v[1] = 0;
 763
 764 while (v > smtp_cmd_argument && *v != '=' && !isspace(*v)) v--;
 765 if (*v != '=') return FALSE;
 766
 767 n = v;
 768 while(isalpha(n[-1])) n--;
 769
 770 if (n[-1] != ' ') return FALSE;
 771
 772 n[-1] = 0;
 773 *name = n;
 774 *v++ = 0;
 775 *value = v;
 776 return TRUE;
 777 }
 778
 779
 780
 781
 782
 783
 784
 785 /*************************************************
 786 *         Reset for new message                  *
 787 *************************************************/
 788
 789 /* This function is called whenever the SMTP session is reset from
 790 within either of the setup functions.
 791
 792 Argument:   the stacking pool storage reset point
 793 Returns:    nothing
 794 */
 795
 796 static void
 797 smtp_reset(void *reset_point)
 798 {
 799 int i;
 800 store_reset(reset_point);
 801 recipients_list = NULL;
 802 rcpt_count = rcpt_defer_count = rcpt_fail_count =
 803   raw_recipients_count = recipients_count = recipients_list_max = 0;
 804 message_linecount = 0;
 805 message_size = -1;
 806 acl_warn_headers = NULL;
 807 queue_only_policy = FALSE;
 808 deliver_freeze = FALSE;                              /* Can be set by ACL */
 809 freeze_tell = freeze_tell_config;                    /* Can be set by ACL */
 810 fake_response = OK;                                  /* Can be set by ACL */
 811 #ifdef WITH_CONTENT_SCAN
 812 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
 813 #endif
 814 submission_mode = FALSE;                             /* Can be set by ACL */
 815 suppress_local_fixups = FALSE;                       /* Can be set by ACL */
 816 active_local_from_check = local_from_check;          /* Can be set by ACL */
 817 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
 818 sender_address = NULL;
 819 submission_name = NULL;                              /* Can be set by ACL */
 820 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
 821 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
 822 sender_verified_list = NULL;        /* No senders verified */
 823 memset(sender_address_cache, 0, sizeof(sender_address_cache));
 824 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
 825 authenticated_sender = NULL;
 826 #ifdef EXPERIMENTAL_BRIGHTMAIL
 827 bmi_run = 0;
 828 bmi_verdicts = NULL;
 829 #endif
 830 #ifdef EXPERIMENTAL_DOMAINKEYS
 831 dk_do_verify = 0;
 832 #endif
 833 #ifdef EXPERIMENTAL_SPF
 834 spf_header_comment = NULL;
 835 spf_received = NULL;
 836 spf_result = NULL;
 837 spf_smtp_comment = NULL;
 838 #endif
 839 body_linecount = body_zerocount = 0;
 840
 841 sender_rate = sender_rate_limit = sender_rate_period = NULL;
 842 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
 843                    /* Note that ratelimiters_conn persists across resets. */
 844
 845 /* The message variables follow the connection variables. */
 846
 847 for (i = 0; i < ACL_MVARS; i++) acl_var[ACL_CVARS + i] = NULL;
 848
 849 /* The message body variables use malloc store. They may be set if this is
 850 not the first message in an SMTP session and the previous message caused them
 851 to be referenced in an ACL. */
 852
 853 if (message_body != NULL)
 854   {
 855   store_free(message_body);
 856   message_body = NULL;
 857   }
 858
 859 if (message_body_end != NULL)
 860   {
 861   store_free(message_body_end);
 862   message_body_end = NULL;
 863   }
 864
 865 /* Warning log messages are also saved in malloc store. They are saved to avoid
 866 repetition in the same message, but it seems right to repeat them for different
 867 messagess. */
 868
 869 while (acl_warn_logged != NULL)
 870   {
 871   string_item *this = acl_warn_logged;
 872   acl_warn_logged = acl_warn_logged->next;
 873   store_free(this);
 874   }
 875 }
 876
 877
 878
 879
 880
 881 /*************************************************
 882 *  Initialize for incoming batched SMTP message  *
 883 *************************************************/
 884
 885 /* This function is called from smtp_setup_msg() in the case when
 886 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
 887 of messages in one file with SMTP commands between them. All errors must be
 888 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
 889 relevant. After an error on a sender, or an invalid recipient, the remainder
 890 of the message is skipped. The value of received_protocol is already set.
 891
 892 Argument: none
 893 Returns:  > 0 message successfully started (reached DATA)
 894           = 0 QUIT read or end of file reached
 895           < 0 should not occur
 896 */
 897
 898 static int
 899 smtp_setup_batch_msg(void)
 900 {
 901 int done = 0;
 902 void *reset_point = store_get(0);
 903
 904 /* Save the line count at the start of each transaction - single commands
 905 like HELO and RSET count as whole transactions. */
 906
 907 bsmtp_transaction_linecount = receive_linecount;
 908
 909 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
 910
 911 smtp_reset(reset_point);                /* Reset for start of message */
 912
 913 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
 914 value. The values are 2 larger than the required yield of the function. */
 915
 916 while (done <= 0)
 917   {
 918   uschar *errmess;
 919   uschar *recipient = NULL;
 920   int start, end, sender_domain, recipient_domain;
 921
 922   switch(smtp_read_command(FALSE))
 923     {
 924     /* The HELO/EHLO commands set sender_address_helo if they have
 925     valid data; otherwise they are ignored, except that they do
 926     a reset of the state. */
 927
 928     case HELO_CMD:
 929     case EHLO_CMD:
 930
 931     check_helo(smtp_cmd_argument);
 932     /* Fall through */
 933
 934     case RSET_CMD:
 935     smtp_reset(reset_point);
 936     bsmtp_transaction_linecount = receive_linecount;
 937     break;
 938
 939
 940     /* The MAIL FROM command requires an address as an operand. All we
 941     do here is to parse it for syntactic correctness. The form "<>" is
 942     a special case which converts into an empty string. The start/end
 943     pointers in the original are not used further for this address, as
 944     it is the canonical extracted address which is all that is kept. */
 945
 946     case MAIL_CMD:
 947     if (sender_address != NULL)
 948       /* The function moan_smtp_batch() does not return. */
 949       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
 950
 951     if (smtp_cmd_argument[0] == 0)
 952       /* The function moan_smtp_batch() does not return. */
 953       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
 954
 955     /* Reset to start of message */
 956
 957     smtp_reset(reset_point);
 958
 959     /* Apply SMTP rewrite */
 960
 961     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
 962       rewrite_one(smtp_cmd_argument, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
 963         US"", global_rewrite_rules) : smtp_cmd_argument;
 964
 965     /* Extract the address; the TRUE flag allows <> as valid */
 966
 967     raw_sender =
 968       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
 969         TRUE);
 970
 971     if (raw_sender == NULL)
 972       /* The function moan_smtp_batch() does not return. */
 973       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
 974
 975     sender_address = string_copy(raw_sender);
 976
 977     /* Qualify unqualified sender addresses if permitted to do so. */
 978
 979     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
 980       {
 981       if (allow_unqualified_sender)
 982         {
 983         sender_address = rewrite_address_qualify(sender_address, FALSE);
 984         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
 985           "and rewritten\n", raw_sender);
 986         }
 987       /* The function moan_smtp_batch() does not return. */
 988       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
 989         "a domain");
 990       }
 991     break;
 992
 993
 994     /* The RCPT TO command requires an address as an operand. All we do
 995     here is to parse it for syntactic correctness. There may be any number
 996     of RCPT TO commands, specifying multiple senders. We build them all into
 997     a data structure that is in argc/argv format. The start/end values
 998     given by parse_extract_address are not used, as we keep only the
 999     extracted address. */
1000
1001     case RCPT_CMD:
1002     if (sender_address == NULL)
1003       /* The function moan_smtp_batch() does not return. */
1004       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1005
1006     if (smtp_cmd_argument[0] == 0)
1007       /* The function moan_smtp_batch() does not return. */
1008       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1009
1010     /* Check maximum number allowed */
1011
1012     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1013       /* The function moan_smtp_batch() does not return. */
1014       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1015         recipients_max_reject? "552": "452");
1016
1017     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1018     recipient address */
1019
1020     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
1021       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
1022         global_rewrite_rules) : smtp_cmd_argument;
1023
1024     /* rfc821_domains = TRUE; << no longer needed */
1025     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1026       &recipient_domain, FALSE);
1027     /* rfc821_domains = FALSE; << no longer needed */
1028
1029     if (recipient == NULL)
1030       /* The function moan_smtp_batch() does not return. */
1031       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1032
1033     /* If the recipient address is unqualified, qualify it if permitted. Then
1034     add it to the list of recipients. */
1035
1036     if (recipient_domain == 0)
1037       {
1038       if (allow_unqualified_recipient)
1039         {
1040         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1041           recipient);
1042         recipient = rewrite_address_qualify(recipient, TRUE);
1043         }
1044       /* The function moan_smtp_batch() does not return. */
1045       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1046         "a domain");
1047       }
1048     receive_add_recipient(recipient, -1);
1049     break;
1050
1051
1052     /* The DATA command is legal only if it follows successful MAIL FROM
1053     and RCPT TO commands. This function is complete when a valid DATA
1054     command is encountered. */
1055
1056     case DATA_CMD:
1057     if (sender_address == NULL || recipients_count <= 0)
1058       {
1059       /* The function moan_smtp_batch() does not return. */
1060       if (sender_address == NULL)
1061         moan_smtp_batch(smtp_cmd_buffer,
1062           "503 MAIL FROM:<sender> command must precede DATA");
1063       else
1064         moan_smtp_batch(smtp_cmd_buffer,
1065           "503 RCPT TO:<recipient> must precede DATA");
1066       }
1067     else
1068       {
1069       done = 3;                      /* DATA successfully achieved */
1070       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1071       }
1072     break;
1073
1074
1075     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1076
1077     case VRFY_CMD:
1078     case EXPN_CMD:
1079     case HELP_CMD:
1080     case NOOP_CMD:
1081     case ETRN_CMD:
1082     bsmtp_transaction_linecount = receive_linecount;
1083     break;
1084
1085
1086     case EOF_CMD:
1087     case QUIT_CMD:
1088     done = 2;
1089     break;
1090
1091
1092     case BADARG_CMD:
1093     /* The function moan_smtp_batch() does not return. */
1094     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1095     break;
1096
1097
1098     case BADCHAR_CMD:
1099     /* The function moan_smtp_batch() does not return. */
1100     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1101     break;
1102
1103
1104     default:
1105     /* The function moan_smtp_batch() does not return. */
1106     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1107     break;
1108     }
1109   }
1110
1111 return done - 2;  /* Convert yield values */
1112 }
1113
1114
1115
1116
1117 /*************************************************
1118 *          Start an SMTP session                 *
1119 *************************************************/
1120
1121 /* This function is called at the start of an SMTP session. Thereafter,
1122 smtp_setup_msg() is called to initiate each separate message. This
1123 function does host-specific testing, and outputs the banner line.
1124
1125 Arguments:     none
1126 Returns:       FALSE if the session can not continue; something has
1127                gone wrong, or the connection to the host is blocked
1128 */
1129
1130 BOOL
1131 smtp_start_session(void)
1132 {
1133 int size = 256;
1134 int i, ptr;
1135 uschar *p, *s, *ss;
1136
1137 /* Default values for certain variables */
1138
1139 helo_seen = esmtp = helo_accept_junk = FALSE;
1140 count_nonmail = TRUE_UNSET;
1141 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
1142 smtp_delay_mail = smtp_rlm_base;
1143 auth_advertised = FALSE;
1144 pipelining_advertised = FALSE;
1145 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
1146
1147 memset(sender_host_cache, 0, sizeof(sender_host_cache));
1148
1149 sender_host_authenticated = NULL;
1150 authenticated_by = NULL;
1151
1152 #ifdef SUPPORT_TLS
1153 tls_cipher = tls_peerdn = NULL;
1154 tls_advertised = FALSE;
1155 #endif
1156
1157 /* Reset ACL connection variables */
1158
1159 for (i = 0; i < ACL_CVARS; i++) acl_var[i] = NULL;
1160
1161 /* Allow for trailing 0 in the command buffer. */
1162
1163 smtp_cmd_buffer = (uschar *)malloc(smtp_cmd_buffer_size + 1);
1164 if (smtp_cmd_buffer == NULL)
1165   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1166     "malloc() failed for SMTP command buffer");
1167
1168 /* For batched input, the protocol setting can be overridden from the
1169 command line by a trusted caller. */
1170
1171 if (smtp_batched_input)
1172   {
1173   if (received_protocol == NULL) received_protocol = US"local-bsmtp";
1174   }
1175
1176 /* For non-batched SMTP input, the protocol setting is forced here. It will be
1177 reset later if any of EHLO/AUTH/STARTTLS are received. */
1178
1179 else
1180   received_protocol =
1181     protocols[pnormal] + ((sender_host_address != NULL)? pnlocal : 0);
1182
1183 /* Set up the buffer for inputting using direct read() calls, and arrange to
1184 call the local functions instead of the standard C ones. */
1185
1186 smtp_inbuffer = (uschar *)malloc(in_buffer_size);
1187 if (smtp_inbuffer == NULL)
1188   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
1189 receive_getc = smtp_getc;
1190 receive_ungetc = smtp_ungetc;
1191 receive_feof = smtp_feof;
1192 receive_ferror = smtp_ferror;
1193 smtp_inptr = smtp_inend = smtp_inbuffer;
1194 smtp_had_eof = smtp_had_error = 0;
1195
1196 /* Set up the message size limit; this may be host-specific */
1197
1198 thismessage_size_limit = expand_string_integer(message_size_limit);
1199 if (thismessage_size_limit < 0)
1200   {
1201   if (thismessage_size_limit == -1)
1202     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
1203       "%s", expand_string_message);
1204   else
1205     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
1206       "%s", expand_string_message);
1207   smtp_closedown(US"Temporary local problem - please try later");
1208   return FALSE;
1209   }
1210
1211 /* When a message is input locally via the -bs or -bS options, sender_host_
1212 unknown is set unless -oMa was used to force an IP address, in which case it
1213 is checked like a real remote connection. When -bs is used from inetd, this
1214 flag is not set, causing the sending host to be checked. The code that deals
1215 with IP source routing (if configured) is never required for -bs or -bS and
1216 the flag sender_host_notsocket is used to suppress it.
1217
1218 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
1219 reserve for certain hosts and/or networks. */
1220
1221 if (!sender_host_unknown)
1222   {
1223   int rc;
1224   BOOL reserved_host = FALSE;
1225
1226   /* Look up IP options (source routing info) on the socket if this is not an
1227   -oMa "host", and if any are found, log them and drop the connection.
1228
1229   Linux (and others now, see below) is different to everyone else, so there
1230   has to be some conditional compilation here. Versions of Linux before 2.1.15
1231   used a structure whose name was "options". Somebody finally realized that
1232   this name was silly, and it got changed to "ip_options". I use the
1233   newer name here, but there is a fudge in the script that sets up os.h
1234   to define a macro in older Linux systems.
1235
1236   Sigh. Linux is a fast-moving target. Another generation of Linux uses
1237   glibc 2, which has chosen ip_opts for the structure name. This is now
1238   really a glibc thing rather than a Linux thing, so the condition name
1239   has been changed to reflect this. It is relevant also to GNU/Hurd.
1240
1241   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
1242   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
1243   a special macro defined in the os.h file.
1244
1245   Some DGUX versions on older hardware appear not to support IP options at
1246   all, so there is now a general macro which can be set to cut out this
1247   support altogether.
1248
1249   How to do this properly in IPv6 is not yet known. */
1250
1251   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
1252
1253   #ifdef GLIBC_IP_OPTIONS
1254     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
1255     #define OPTSTYLE 1
1256     #else
1257     #define OPTSTYLE 2
1258     #endif
1259   #elif defined DARWIN_IP_OPTIONS
1260     #define OPTSTYLE 2
1261   #else
1262     #define OPTSTYLE 3
1263   #endif
1264
1265   if (!host_checking && !sender_host_notsocket)
1266     {
1267     #if OPTSTYLE == 1
1268     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
1269     struct ip_options *ipopt = store_get(optlen);
1270     #elif OPTSTYLE == 2
1271     struct ip_opts ipoptblock;
1272     struct ip_opts *ipopt = &ipoptblock;
1273     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1274     #else
1275     struct ipoption ipoptblock;
1276     struct ipoption *ipopt = &ipoptblock;
1277     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1278     #endif
1279
1280     /* Occasional genuine failures of getsockopt() have been seen - for
1281     example, "reset by peer". Therefore, just log and give up on this
1282     call, unless the error is ENOPROTOOPT. This error is given by systems
1283     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
1284     of writing. So for that error, carry on - we just can't do an IP options
1285     check. */
1286
1287     DEBUG(D_receive) debug_printf("checking for IP options\n");
1288
1289     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
1290           &optlen) < 0)
1291       {
1292       if (errno != ENOPROTOOPT)
1293         {
1294         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
1295           host_and_ident(FALSE), strerror(errno));
1296         smtp_printf("451 SMTP service not available\r\n");
1297         return FALSE;
1298         }
1299       }
1300
1301     /* Deal with any IP options that are set. On the systems I have looked at,
1302     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
1303     more logging data than will fit in big_buffer. Nevertheless, after somebody
1304     questioned this code, I've added in some paranoid checking. */
1305
1306     else if (optlen > 0)
1307       {
1308       uschar *p = big_buffer;
1309       uschar *pend = big_buffer + big_buffer_size;
1310       uschar *opt, *adptr;
1311       int optcount;
1312       struct in_addr addr;
1313
1314       #if OPTSTYLE == 1
1315       uschar *optstart = (uschar *)(ipopt->__data);
1316       #elif OPTSTYLE == 2
1317       uschar *optstart = (uschar *)(ipopt->ip_opts);
1318       #else
1319       uschar *optstart = (uschar *)(ipopt->ipopt_list);
1320       #endif
1321
1322       DEBUG(D_receive) debug_printf("IP options exist\n");
1323
1324       Ustrcpy(p, "IP options on incoming call:");
1325       p += Ustrlen(p);
1326
1327       for (opt = optstart; opt != NULL &&
1328            opt < (uschar *)(ipopt) + optlen;)
1329         {
1330         switch (*opt)
1331           {
1332           case IPOPT_EOL:
1333           opt = NULL;
1334           break;
1335
1336           case IPOPT_NOP:
1337           opt++;
1338           break;
1339
1340           case IPOPT_SSRR:
1341           case IPOPT_LSRR:
1342           if (!string_format(p, pend-p, " %s [@%s",
1343                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
1344                #if OPTSTYLE == 1
1345                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
1346                #elif OPTSTYLE == 2
1347                inet_ntoa(ipopt->ip_dst)))
1348                #else
1349                inet_ntoa(ipopt->ipopt_dst)))
1350                #endif
1351             {
1352             opt = NULL;
1353             break;
1354             }
1355
1356           p += Ustrlen(p);
1357           optcount = (opt[1] - 3) / sizeof(struct in_addr);
1358           adptr = opt + 3;
1359           while (optcount-- > 0)
1360             {
1361             memcpy(&addr, adptr, sizeof(addr));
1362             if (!string_format(p, pend - p - 1, "%s%s",
1363                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
1364               {
1365               opt = NULL;
1366               break;
1367               }
1368             p += Ustrlen(p);
1369             adptr += sizeof(struct in_addr);
1370             }
1371           *p++ = ']';
1372           opt += opt[1];
1373           break;
1374
1375           default:
1376             {
1377             int i;
1378             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
1379             Ustrcat(p, "[ ");
1380             p += 2;
1381             for (i = 0; i < opt[1]; i++)
1382               {
1383               sprintf(CS p, "%2.2x ", opt[i]);
1384               p += 3;
1385               }
1386             *p++ = ']';
1387             }
1388           opt += opt[1];
1389           break;
1390           }
1391         }
1392
1393       *p = 0;
1394       log_write(0, LOG_MAIN, "%s", big_buffer);
1395
1396       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
1397
1398       log_write(0, LOG_MAIN|LOG_REJECT,
1399         "connection from %s refused (IP options)", host_and_ident(FALSE));
1400
1401       smtp_printf("554 SMTP service not available\r\n");
1402       return FALSE;
1403       }
1404
1405     /* Length of options = 0 => there are no options */
1406
1407     else DEBUG(D_receive) debug_printf("no IP options found\n");
1408     }
1409   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
1410
1411   /* Set keep-alive in socket options. The option is on by default. This
1412   setting is an attempt to get rid of some hanging connections that stick in
1413   read() when the remote end (usually a dialup) goes away. */
1414
1415   if (smtp_accept_keepalive && !sender_host_notsocket)
1416     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
1417
1418   /* If the current host matches host_lookup, set the name by doing a
1419   reverse lookup. On failure, sender_host_name will be NULL and
1420   host_lookup_failed will be TRUE. This may or may not be serious - optional
1421   checks later. */
1422
1423   if (verify_check_host(&host_lookup) == OK)
1424     {
1425     (void)host_name_lookup();
1426     host_build_sender_fullhost();
1427     }
1428
1429   /* Delay this until we have the full name, if it is looked up. */
1430
1431   set_process_info("handling incoming connection from %s",
1432     host_and_ident(FALSE));
1433
1434   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
1435   smtps port for use with older style SSL MTAs. */
1436
1437   #ifdef SUPPORT_TLS
1438   if (tls_on_connect && tls_server_start(tls_require_ciphers) != OK)
1439     return FALSE;
1440   #endif
1441
1442   /* Test for explicit connection rejection */
1443
1444   if (verify_check_host(&host_reject_connection) == OK)
1445     {
1446     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
1447       "from %s (host_reject_connection)", host_and_ident(FALSE));
1448     smtp_printf("554 SMTP service not available\r\n");
1449     return FALSE;
1450     }
1451
1452   /* Test with TCP Wrappers if so configured */
1453
1454   #ifdef USE_TCP_WRAPPERS
1455   if (!hosts_ctl("exim",
1456          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
1457          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
1458          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
1459     {
1460     HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
1461     log_write(L_connection_reject,
1462               LOG_MAIN|LOG_REJECT, "refused connection from %s "
1463               "(tcp wrappers)", host_and_ident(FALSE));
1464     smtp_printf("554 SMTP service not available\r\n");
1465     return FALSE;
1466     }
1467   #endif
1468
1469   /* Check for reserved slots. Note that the count value doesn't include
1470   this process, as it gets upped in the parent process. */
1471
1472   if (smtp_accept_max > 0 &&
1473       smtp_accept_count + 1 > smtp_accept_max - smtp_accept_reserve)
1474     {
1475     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
1476       {
1477       log_write(L_connection_reject,
1478         LOG_MAIN, "temporarily refused connection from %s: not in "
1479         "reserve list: connected=%d max=%d reserve=%d%s",
1480         host_and_ident(FALSE), smtp_accept_count, smtp_accept_max,
1481         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
1482       smtp_printf("421 %s: Too many concurrent SMTP connections; "
1483         "please try again later\r\n", smtp_active_hostname);
1484       return FALSE;
1485       }
1486     reserved_host = TRUE;
1487     }
1488
1489   /* If a load level above which only messages from reserved hosts are
1490   accepted is set, check the load. For incoming calls via the daemon, the
1491   check is done in the superior process if there are no reserved hosts, to
1492   save a fork. In all cases, the load average will already be available
1493   in a global variable at this point. */
1494
1495   if (smtp_load_reserve >= 0 &&
1496        load_average > smtp_load_reserve &&
1497        !reserved_host &&
1498        verify_check_host(&smtp_reserve_hosts) != OK)
1499     {
1500     log_write(L_connection_reject,
1501       LOG_MAIN, "temporarily refused connection from %s: not in "
1502       "reserve list and load average = %.2f", host_and_ident(FALSE),
1503       (double)load_average/1000.0);
1504     smtp_printf("421 %s: Too much load; please try again later\r\n",
1505       smtp_active_hostname);
1506     return FALSE;
1507     }
1508
1509   /* Determine whether unqualified senders or recipients are permitted
1510   for this host. Unfortunately, we have to do this every time, in order to
1511   set the flags so that they can be inspected when considering qualifying
1512   addresses in the headers. For a site that permits no qualification, this
1513   won't take long, however. */
1514
1515   allow_unqualified_sender =
1516     verify_check_host(&sender_unqualified_hosts) == OK;
1517
1518   allow_unqualified_recipient =
1519     verify_check_host(&recipient_unqualified_hosts) == OK;
1520
1521   /* Determine whether HELO/EHLO is required for this host. The requirement
1522   can be hard or soft. */
1523
1524   helo_required = verify_check_host(&helo_verify_hosts) == OK;
1525   if (!helo_required)
1526     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
1527
1528   /* Determine whether this hosts is permitted to send syntactic junk
1529   after a HELO or EHLO command. */
1530
1531   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
1532   }
1533
1534 /* For batch SMTP input we are now done. */
1535
1536 if (smtp_batched_input) return TRUE;
1537
1538 /* Run the ACL if it exists */
1539
1540 if (acl_smtp_connect != NULL)
1541   {
1542   int rc;
1543   uschar *user_msg, *log_msg;
1544   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
1545     &log_msg);
1546   if (rc != OK)
1547     {
1548     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
1549     return FALSE;
1550     }
1551   }
1552
1553 /* Output the initial message for a two-way SMTP connection. It may contain
1554 newlines, which then cause a multi-line response to be given. */
1555
1556 s = expand_string(smtp_banner);
1557 if (s == NULL)
1558   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
1559     "failed: %s", smtp_banner, expand_string_message);
1560
1561 /* Remove any terminating newlines; might as well remove trailing space too */
1562
1563 p = s + Ustrlen(s);
1564 while (p > s && isspace(p[-1])) p--;
1565 *p = 0;
1566
1567 /* It seems that CC:Mail is braindead, and assumes that the greeting message
1568 is all contained in a single IP packet. The original code wrote out the
1569 greeting using several calls to fprint/fputc, and on busy servers this could
1570 cause it to be split over more than one packet - which caused CC:Mail to fall
1571 over when it got the second part of the greeting after sending its first
1572 command. Sigh. To try to avoid this, build the complete greeting message
1573 first, and output it in one fell swoop. This gives a better chance of it
1574 ending up as a single packet. */
1575
1576 ss = store_get(size);
1577 ptr = 0;
1578
1579 p = s;
1580 do       /* At least once, in case we have an empty string */
1581   {
1582   int len;
1583   uschar *linebreak = Ustrchr(p, '\n');
1584   if (linebreak == NULL)
1585     {
1586     len = Ustrlen(p);
1587     ss = string_cat(ss, &size, &ptr, US"220 ", 4);
1588     }
1589   else
1590     {
1591     len = linebreak - p;
1592     ss = string_cat(ss, &size, &ptr, US"220-", 4);
1593     }
1594   ss = string_cat(ss, &size, &ptr, p, len);
1595   ss = string_cat(ss, &size, &ptr, US"\r\n", 2);
1596   p += len;
1597   if (linebreak != NULL) p++;
1598   }
1599 while (*p != 0);
1600
1601 ss[ptr] = 0;  /* string_cat leaves room for this */
1602
1603 /* Before we write the banner, check that there is no input pending, unless
1604 this synchronisation check is disabled. */
1605
1606 if (smtp_enforce_sync && sender_host_address != NULL && !sender_host_notsocket)
1607   {
1608   fd_set fds;
1609   struct timeval tzero;
1610   tzero.tv_sec = 0;
1611   tzero.tv_usec = 0;
1612   FD_ZERO(&fds);
1613   FD_SET(fileno(smtp_in), &fds);
1614   if (select(fileno(smtp_in) + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL,
1615       &tzero) > 0)
1616     {
1617     int rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
1618     if (rc > 0)
1619       {
1620       if (rc > 150) rc = 150;
1621       smtp_inbuffer[rc] = 0;
1622       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
1623         "synchronization error (input sent without waiting for greeting): "
1624         "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
1625         string_printing(smtp_inbuffer));
1626       smtp_printf("554 SMTP synchronization error\r\n");
1627       return FALSE;
1628       }
1629     }
1630   }
1631
1632 /* Now output the banner */
1633
1634 smtp_printf("%s", ss);
1635 return TRUE;
1636 }
1637
1638
1639
1640
1641
1642 /*************************************************
1643 *     Handle SMTP syntax and protocol errors     *
1644 *************************************************/
1645
1646 /* Write to the log for SMTP syntax errors in incoming commands, if configured
1647 to do so. Then transmit the error response. The return value depends on the
1648 number of syntax and protocol errors in this SMTP session.
1649
1650 Arguments:
1651   type      error type, given as a log flag bit
1652   code      response code; <= 0 means don't send a response
1653   data      data to reflect in the response (can be NULL)
1654   errmess   the error message
1655
1656 Returns:    -1   limit of syntax/protocol errors NOT exceeded
1657             +1   limit of syntax/protocol errors IS exceeded
1658
1659 These values fit in with the values of the "done" variable in the main
1660 processing loop in smtp_setup_msg(). */
1661
1662 static int
1663 synprot_error(int type, int code, uschar *data, uschar *errmess)
1664 {
1665 int yield = -1;
1666
1667 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
1668   (type == L_smtp_syntax_error)? "syntax" : "protocol",
1669   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
1670
1671 if (++synprot_error_count > smtp_max_synprot_errors)
1672   {
1673   yield = 1;
1674   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
1675     "syntax or protocol errors (last command was \"%s\")",
1676     host_and_ident(FALSE), smtp_cmd_buffer);
1677   }
1678
1679 if (code > 0)
1680   {
1681   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
1682     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
1683   if (yield == 1)
1684     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
1685   }
1686
1687 return yield;
1688 }
1689
1690
1691
1692
1693 /*************************************************
1694 *          Log incomplete transactions           *
1695 *************************************************/
1696
1697 /* This function is called after a transaction has been aborted by RSET, QUIT,
1698 connection drops or other errors. It logs the envelope information received
1699 so far in order to preserve address verification attempts.
1700
1701 Argument:   string to indicate what aborted the transaction
1702 Returns:    nothing
1703 */
1704
1705 static void
1706 incomplete_transaction_log(uschar *what)
1707 {
1708 if (sender_address == NULL ||                 /* No transaction in progress */
1709     (log_write_selector & L_smtp_incomplete_transaction) == 0  /* Not logging */
1710   ) return;
1711
1712 /* Build list of recipients for logging */
1713
1714 if (recipients_count > 0)
1715   {
1716   int i;
1717   raw_recipients = store_get(recipients_count * sizeof(uschar *));
1718   for (i = 0; i < recipients_count; i++)
1719     raw_recipients[i] = recipients_list[i].address;
1720   raw_recipients_count = recipients_count;
1721   }
1722
1723 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
1724   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
1725 }
1726
1727
1728
1729
1730 /*************************************************
1731 *    Send SMTP response, possibly multiline      *
1732 *************************************************/
1733
1734 /* There are, it seems, broken clients out there that cannot handle multiline
1735 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
1736 output nothing for non-final calls, and only the first line for anything else.
1737
1738 Arguments:
1739   code          SMTP code
1740   final         FALSE if the last line isn't the final line
1741   msg           message text, possibly containing newlines
1742
1743 Returns:        nothing
1744 */
1745
1746 void
1747 smtp_respond(int code, BOOL final, uschar *msg)
1748 {
1749 if (!final && no_multiline_responses) return;
1750
1751 for (;;)
1752   {
1753   uschar *nl = Ustrchr(msg, '\n');
1754   if (nl == NULL)
1755     {
1756     smtp_printf("%d%c%s\r\n", code, final? ' ':'-', msg);
1757     return;
1758     }
1759   else if (nl[1] == 0 || no_multiline_responses)
1760     {
1761     smtp_printf("%d%c%.*s\r\n", code, final? ' ':'-', (int)(nl - msg), msg);
1762     return;
1763     }
1764   else
1765     {
1766     smtp_printf("%d-%.*s\r\n", code, (int)(nl - msg), msg);
1767     msg = nl + 1;
1768     while (isspace(*msg)) msg++;
1769     }
1770   }
1771 }
1772
1773
1774
1775
1776 /*************************************************
1777 *           Handle an ACL failure                *
1778 *************************************************/
1779
1780 /* This function is called when acl_check() fails. As well as calls from within
1781 this module, it is called from receive.c for an ACL after DATA. It sorts out
1782 logging the incident, and sets up the error response. A message containing
1783 newlines is turned into a multiline SMTP response, but for logging, only the
1784 first line is used.
1785
1786 There's a table of the response codes to use in globals.c, along with the table
1787 of names. VFRY is special. Despite RFC1123 it defaults disabled in Exim.
1788 However, discussion in connection with RFC 821bis (aka RFC 2821) has concluded
1789 that the response should be 252 in the disabled state, because there are broken
1790 clients that try VRFY before RCPT. A 5xx response should be given only when the
1791 address is positively known to be undeliverable. Sigh. Also, for ETRN, 458 is
1792 given on refusal, and for AUTH, 503.
1793
1794 Arguments:
1795   where      where the ACL was called from
1796   rc         the failure code
1797   user_msg   a message that can be included in an SMTP response
1798   log_msg    a message for logging
1799
1800 Returns:     0 in most cases
1801              2 if the failure code was FAIL_DROP, in which case the
1802                SMTP connection should be dropped (this value fits with the
1803                "done" variable in smtp_setup_msg() below)
1804 */
1805
1806 int
1807 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
1808 {
1809 int code = acl_wherecodes[where];
1810 BOOL drop = rc == FAIL_DROP;
1811 uschar *lognl;
1812 uschar *sender_info = US"";
1813 uschar *what =
1814 #ifdef WITH_CONTENT_SCAN
1815   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
1816 #endif
1817   (where == ACL_WHERE_PREDATA)? US"DATA" :
1818   (where == ACL_WHERE_DATA)? US"after DATA" :
1819   (smtp_cmd_argument == NULL)?
1820     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
1821     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_argument);
1822
1823 if (drop) rc = FAIL;
1824
1825 /* We used to have sender_address here; however, there was a bug that was not
1826 updating sender_address after a rewrite during a verify. When this bug was
1827 fixed, sender_address at this point became the rewritten address. I'm not sure
1828 this is what should be logged, so I've changed to logging the unrewritten
1829 address to retain backward compatibility. */
1830
1831 #ifndef WITH_CONTENT_SCAN
1832 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
1833 #else
1834 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
1835 #endif
1836   {
1837   sender_info = string_sprintf("F=<%s> ", (sender_address_unrewritten != NULL)?
1838     sender_address_unrewritten : sender_address);
1839   }
1840
1841 /* If there's been a sender verification failure with a specific message, and
1842 we have not sent a response about it yet, do so now, as a preliminary line for
1843 failures, but not defers. However, log it in both cases. */
1844
1845 if (sender_verified_failed != NULL &&
1846     !testflag(sender_verified_failed, af_sverify_told))
1847   {
1848   setflag(sender_verified_failed, af_sverify_told);
1849
1850   log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
1851     host_and_ident(TRUE),
1852     ((sender_verified_failed->special_action & 255) == DEFER)? "defer" : "fail",
1853     sender_verified_failed->address,
1854     (sender_verified_failed->message == NULL)? US"" :
1855     string_sprintf(": %s", sender_verified_failed->message));
1856
1857   if (rc == FAIL && sender_verified_failed->user_message != NULL)
1858     smtp_respond(code, FALSE, string_sprintf(
1859         testflag(sender_verified_failed, af_verify_pmfail)?
1860           "Postmaster verification failed while checking <%s>\n%s\n"
1861           "Several RFCs state that you are required to have a postmaster\n"
1862           "mailbox for each mail domain. This host does not accept mail\n"
1863           "from domains whose servers reject the postmaster address."
1864           :
1865         testflag(sender_verified_failed, af_verify_nsfail)?
1866           "Callback setup failed while verifying <%s>\n%s\n"
1867           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
1868           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
1869           "RFC requirements, and stops you from receiving standard bounce\n"
1870           "messages. This host does not accept mail from domains whose servers\n"
1871           "refuse bounces."
1872           :
1873           "Verification failed for <%s>\n%s",
1874         sender_verified_failed->address,
1875         sender_verified_failed->user_message));
1876   }
1877
1878 /* Sort out text for logging */
1879
1880 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
1881 lognl = Ustrchr(log_msg, '\n');
1882 if (lognl != NULL) *lognl = 0;
1883
1884 /* Send permanent failure response to the command, but the code used isn't
1885 always a 5xx one - see comments at the start of this function. If the original
1886 rc was FAIL_DROP we drop the connection and yield 2. */
1887
1888 if (rc == FAIL) smtp_respond(code, TRUE, (user_msg == NULL)?
1889   US"Administrative prohibition" : user_msg);
1890
1891 /* Send temporary failure response to the command. Don't give any details,
1892 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
1893 verb, and for a header verify when smtp_return_error_details is set.
1894
1895 This conditional logic is all somewhat of a mess because of the odd
1896 interactions between temp_details and return_error_details. One day it should
1897 be re-implemented in a tidier fashion. */
1898
1899 else
1900   {
1901   if (acl_temp_details && user_msg != NULL)
1902     {
1903     if (smtp_return_error_details &&
1904         sender_verified_failed != NULL &&
1905         sender_verified_failed->message != NULL)
1906       {
1907       smtp_respond(451, FALSE, sender_verified_failed->message);
1908       }
1909     smtp_respond(451, TRUE, user_msg);
1910     }
1911   else
1912     smtp_printf("451 Temporary local problem - please try later\r\n");
1913   }
1914
1915 /* Log the incident. If the connection is not forcibly to be dropped, return 0.
1916 Otherwise, log why it is closing if required and return 2.  */
1917
1918 log_write(0, LOG_MAIN|LOG_REJECT, "%s %s%srejected %s%s",
1919   host_and_ident(TRUE),
1920   sender_info, (rc == FAIL)? US"" : US"temporarily ", what, log_msg);
1921
1922 if (!drop) return 0;
1923
1924 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
1925   smtp_get_connection_info());
1926 return 2;
1927 }
1928
1929
1930
1931
1932 /*************************************************
1933 *             Verify HELO argument               *
1934 *************************************************/
1935
1936 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
1937 matched. It is also called from ACL processing if verify = helo is used and
1938 verification was not previously tried (i.e. helo_try_verify_hosts was not
1939 matched). The result of its processing is to set helo_verified and
1940 helo_verify_failed. These variables should both be FALSE for this function to
1941 be called.
1942
1943 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
1944 for IPv6 ::ffff: literals.
1945
1946 Argument:   none
1947 Returns:    TRUE if testing was completed;
1948             FALSE on a temporary failure
1949 */
1950
1951 BOOL
1952 smtp_verify_helo(void)
1953 {
1954 BOOL yield = TRUE;
1955
1956 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
1957   sender_helo_name);
1958
1959 if (sender_helo_name == NULL)
1960   {
1961   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
1962   }
1963
1964 else if (sender_helo_name[0] == '[')
1965   {
1966   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
1967     Ustrlen(sender_host_address)) == 0;
1968
1969   #if HAVE_IPV6
1970   if (!helo_verified)
1971     {
1972     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
1973       helo_verified = Ustrncmp(sender_helo_name + 1,
1974         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
1975     }
1976   #endif
1977
1978   HDEBUG(D_receive)
1979     { if (helo_verified) debug_printf("matched host address\n"); }
1980   }
1981
1982 /* Do a reverse lookup if one hasn't already given a positive or negative
1983 response. If that fails, or the name doesn't match, try checking with a forward
1984 lookup. */
1985
1986 else
1987   {
1988   if (sender_host_name == NULL && !host_lookup_failed)
1989     yield = host_name_lookup() != DEFER;
1990
1991   /* If a host name is known, check it and all its aliases. */
1992
1993   if (sender_host_name != NULL)
1994     {
1995     helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0;
1996
1997     if (helo_verified)
1998       {
1999       HDEBUG(D_receive) debug_printf("matched host name\n");
2000       }
2001     else
2002       {
2003       uschar **aliases = sender_host_aliases;
2004       while (*aliases != NULL)
2005         {
2006         helo_verified = strcmpic(*aliases++, sender_helo_name) == 0;
2007         if (helo_verified) break;
2008         }
2009       HDEBUG(D_receive)
2010         {
2011         if (helo_verified)
2012           debug_printf("matched alias %s\n", *(--aliases));
2013         }
2014       }
2015     }
2016
2017   /* Final attempt: try a forward lookup of the helo name */
2018
2019   if (!helo_verified)
2020     {
2021     int rc;
2022     host_item h;
2023     h.name = sender_helo_name;
2024     h.address = NULL;
2025     h.mx = MX_NONE;
2026     h.next = NULL;
2027     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
2028       sender_helo_name);
2029     rc = host_find_byname(&h, NULL, NULL, TRUE);
2030     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
2031       {
2032       host_item *hh = &h;
2033       while (hh != NULL)
2034         {
2035         if (Ustrcmp(hh->address, sender_host_address) == 0)
2036           {
2037           helo_verified = TRUE;
2038           HDEBUG(D_receive)
2039             debug_printf("IP address for %s matches calling address\n",
2040               sender_helo_name);
2041           break;
2042           }
2043         hh = hh->next;
2044         }
2045       }
2046     }
2047   }
2048
2049 if (!helo_verified) helo_verify_failed = FALSE;  /* We've tried ... */
2050 return yield;
2051 }
2052
2053
2054
2055
2056 /*************************************************
2057 *       Initialize for SMTP incoming message     *
2058 *************************************************/
2059
2060 /* This function conducts the initial dialogue at the start of an incoming SMTP
2061 message, and builds a list of recipients. However, if the incoming message
2062 is part of a batch (-bS option) a separate function is called since it would
2063 be messy having tests splattered about all over this function. This function
2064 therefore handles the case where interaction is occurring. The input and output
2065 files are set up in smtp_in and smtp_out.
2066
2067 The global recipients_list is set to point to a vector of recipient_item
2068 blocks, whose number is given by recipients_count. This is extended by the
2069 receive_add_recipient() function. The global variable sender_address is set to
2070 the sender's address. The yield is +1 if a message has been successfully
2071 started, 0 if a QUIT command was encountered or the connection was refused from
2072 the particular host, or -1 if the connection was lost.
2073
2074 Argument: none
2075
2076 Returns:  > 0 message successfully started (reached DATA)
2077           = 0 QUIT read or end of file reached or call refused
2078           < 0 lost connection
2079 */
2080
2081 int
2082 smtp_setup_msg(void)
2083 {
2084 int done = 0;
2085 BOOL toomany = FALSE;
2086 BOOL discarded = FALSE;
2087 BOOL last_was_rej_mail = FALSE;
2088 BOOL last_was_rcpt = FALSE;
2089 void *reset_point = store_get(0);
2090
2091 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
2092
2093 /* Reset for start of new message. We allow one RSET not to be counted as a
2094 nonmail command, for those MTAs that insist on sending it between every
2095 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
2096 TLS between messages (an Exim client may do this if it has messages queued up
2097 for the host). Note: we do NOT reset AUTH at this point. */
2098
2099 smtp_reset(reset_point);
2100 message_ended = END_NOTSTARTED;
2101
2102 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
2103 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
2104 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
2105 #ifdef SUPPORT_TLS
2106 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
2107 #endif
2108
2109 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
2110
2111 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
2112
2113 /* Batched SMTP is handled in a different function. */
2114
2115 if (smtp_batched_input) return smtp_setup_batch_msg();
2116
2117 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2118 value. The values are 2 larger than the required yield of the function. */
2119
2120 while (done <= 0)
2121   {
2122   uschar **argv;
2123   uschar *etrn_command;
2124   uschar *etrn_serialize_key;
2125   uschar *errmess;
2126   uschar *user_msg, *log_msg;
2127   uschar *recipient = NULL;
2128   uschar *hello = NULL;
2129   uschar *set_id = NULL;
2130   uschar *s, *ss;
2131   BOOL was_rej_mail = FALSE;
2132   BOOL was_rcpt = FALSE;
2133   void (*oldsignal)(int);
2134   pid_t pid;
2135   int start, end, sender_domain, recipient_domain;
2136   int ptr, size, rc;
2137   int c, i;
2138   auth_instance *au;
2139
2140   switch(smtp_read_command(TRUE))
2141     {
2142     /* The AUTH command is not permitted to occur inside a transaction, and may
2143     occur successfully only once per connection, and then only when we've
2144     advertised it. Actually, that isn't quite true. When TLS is started, all
2145     previous information about a connection must be discarded, so a new AUTH is
2146     permitted at that time.
2147
2148     AUTH is initially labelled as a "nonmail command" so that one occurrence
2149     doesn't get counted. We change the label here so that multiple failing
2150     AUTHS will eventually hit the nonmail threshold. */
2151
2152     case AUTH_CMD:
2153     authentication_failed = TRUE;
2154     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
2155
2156     if (!auth_advertised)
2157       {
2158       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2159         US"AUTH command used when not advertised");
2160       break;
2161       }
2162     if (sender_host_authenticated != NULL)
2163       {
2164       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2165         US"already authenticated");
2166       break;
2167       }
2168     if (sender_address != NULL)
2169       {
2170       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2171         US"not permitted in mail transaction");
2172       break;
2173       }
2174
2175     /* Check the ACL */
2176
2177     if (acl_smtp_auth != NULL)
2178       {
2179       rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth, &user_msg, &log_msg);
2180       if (rc != OK)
2181         {
2182         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
2183         break;
2184         }
2185       }
2186
2187     /* Find the name of the requested authentication mechanism. */
2188
2189     s = smtp_cmd_argument;
2190     while ((c = *smtp_cmd_argument) != 0 && !isspace(c))
2191       {
2192       if (!isalnum(c) && c != '-' && c != '_')
2193         {
2194         done = synprot_error(L_smtp_syntax_error, 501, NULL,
2195           US"invalid character in authentication mechanism name");
2196         goto COMMAND_LOOP;
2197         }
2198       smtp_cmd_argument++;
2199       }
2200
2201     /* If not at the end of the line, we must be at white space. Terminate the
2202     name and move the pointer on to any data that may be present. */
2203
2204     if (*smtp_cmd_argument != 0)
2205       {
2206       *smtp_cmd_argument++ = 0;
2207       while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
2208       }
2209
2210     /* Search for an authentication mechanism which is configured for use
2211     as a server and which has been advertised. */
2212
2213     for (au = auths; au != NULL; au = au->next)
2214       {
2215       if (strcmpic(s, au->public_name) == 0 && au->server &&
2216           au->advertised) break;
2217       }
2218
2219     if (au == NULL)
2220       {
2221       done = synprot_error(L_smtp_protocol_error, 504, NULL,
2222         string_sprintf("%s authentication mechanism not supported", s));
2223       break;
2224       }
2225
2226     /* Run the checking code, passing the remainder of the command line as
2227     data. Initials the $auth<n> variables as empty. Initialize $0 empty and set
2228     it as the only set numerical variable. The authenticator may set $auth<n>
2229     and also set other numeric variables. The $auth<n> variables are preferred
2230     nowadays; the numerical variables remain for backwards compatibility.
2231
2232     Afterwards, have a go at expanding the set_id string, even if
2233     authentication failed - for bad passwords it can be useful to log the
2234     userid. On success, require set_id to expand and exist, and put it in
2235     authenticated_id. Save this in permanent store, as the working store gets
2236     reset at HELO, RSET, etc. */
2237
2238     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;
2239     expand_nmax = 0;
2240     expand_nlength[0] = 0;   /* $0 contains nothing */
2241
2242     c = (au->info->servercode)(au, smtp_cmd_argument);
2243     if (au->set_id != NULL) set_id = expand_string(au->set_id);
2244     expand_nmax = -1;        /* Reset numeric variables */
2245     for (i = 0; i < AUTH_VARS; i++) auth_vars[i] = NULL;   /* Reset $auth<n> */
2246
2247     /* The value of authenticated_id is stored in the spool file and printed in
2248     log lines. It must not contain binary zeros or newline characters. In
2249     normal use, it never will, but when playing around or testing, this error
2250     can (did) happen. To guard against this, ensure that the id contains only
2251     printing characters. */
2252
2253     if (set_id != NULL) set_id = string_printing(set_id);
2254
2255     /* For the non-OK cases, set up additional logging data if set_id
2256     is not empty. */
2257
2258     if (c != OK)
2259       {
2260       if (set_id != NULL && *set_id != 0)
2261         set_id = string_sprintf(" (set_id=%s)", set_id);
2262       else set_id = US"";
2263       }
2264
2265     /* Switch on the result */
2266
2267     switch(c)
2268       {
2269       case OK:
2270       if (au->set_id == NULL || set_id != NULL)    /* Complete success */
2271         {
2272         if (set_id != NULL) authenticated_id = string_copy_malloc(set_id);
2273         sender_host_authenticated = au->name;
2274         authentication_failed = FALSE;
2275         received_protocol =
2276           protocols[pextend + pauthed + ((tls_active >= 0)? pcrpted:0)] +
2277             ((sender_host_address != NULL)? pnlocal : 0);
2278         s = ss = US"235 Authentication succeeded";
2279         authenticated_by = au;
2280         break;
2281         }
2282
2283       /* Authentication succeeded, but we failed to expand the set_id string.
2284       Treat this as a temporary error. */
2285
2286       auth_defer_msg = expand_string_message;
2287       /* Fall through */
2288
2289       case DEFER:
2290       s = string_sprintf("435 Unable to authenticate at present%s",
2291         auth_defer_user_msg);
2292       ss = string_sprintf("435 Unable to authenticate at present%s: %s",
2293         set_id, auth_defer_msg);
2294       break;
2295
2296       case BAD64:
2297       s = ss = US"501 Invalid base64 data";
2298       break;
2299
2300       case CANCELLED:
2301       s = ss = US"501 Authentication cancelled";
2302       break;
2303
2304       case UNEXPECTED:
2305       s = ss = US"553 Initial data not expected";
2306       break;
2307
2308       case FAIL:
2309       s = US"535 Incorrect authentication data";
2310       ss = string_sprintf("535 Incorrect authentication data%s", set_id);
2311       break;
2312
2313       default:
2314       s = US"435 Internal error";
2315       ss = string_sprintf("435 Internal error%s: return %d from authentication "
2316         "check", set_id, c);
2317       break;
2318       }
2319
2320     smtp_printf("%s\r\n", s);
2321     if (c != OK)
2322       log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
2323         au->name, host_and_ident(FALSE), ss);
2324
2325     break;  /* AUTH_CMD */
2326
2327     /* The HELO/EHLO commands are permitted to appear in the middle of a
2328     session as well as at the beginning. They have the effect of a reset in
2329     addition to their other functions. Their absence at the start cannot be
2330     taken to be an error.
2331
2332     RFC 2821 says:
2333
2334       If the EHLO command is not acceptable to the SMTP server, 501, 500,
2335       or 502 failure replies MUST be returned as appropriate.  The SMTP
2336       server MUST stay in the same state after transmitting these replies
2337       that it was in before the EHLO was received.
2338
2339     Therefore, we do not do the reset until after checking the command for
2340     acceptability. This change was made for Exim release 4.11. Previously
2341     it did the reset first. */
2342
2343     case HELO_CMD:
2344     hello = US"HELO";
2345     esmtp = FALSE;
2346     goto HELO_EHLO;
2347
2348     case EHLO_CMD:
2349     hello = US"EHLO";
2350     esmtp = TRUE;
2351
2352     HELO_EHLO:      /* Common code for HELO and EHLO */
2353     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
2354     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
2355
2356     /* Reject the HELO if its argument was invalid or non-existent. A
2357     successful check causes the argument to be saved in malloc store. */
2358
2359     if (!check_helo(smtp_cmd_argument))
2360       {
2361       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
2362
2363       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
2364         "invalid argument(s): %s", hello, host_and_ident(FALSE),
2365         (*smtp_cmd_argument == 0)? US"(no argument given)" :
2366                            string_printing(smtp_cmd_argument));
2367
2368       if (++synprot_error_count > smtp_max_synprot_errors)
2369         {
2370         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2371           "syntax or protocol errors (last command was \"%s\")",
2372           host_and_ident(FALSE), smtp_cmd_buffer);
2373         done = 1;
2374         }
2375
2376       break;
2377       }
2378
2379     /* If sender_host_unknown is true, we have got here via the -bs interface,
2380     not called from inetd. Otherwise, we are running an IP connection and the
2381     host address will be set. If the helo name is the primary name of this
2382     host and we haven't done a reverse lookup, force one now. If helo_required
2383     is set, ensure that the HELO name matches the actual host. If helo_verify
2384     is set, do the same check, but softly. */
2385
2386     if (!sender_host_unknown)
2387       {
2388       BOOL old_helo_verified = helo_verified;
2389       uschar *p = smtp_cmd_argument;
2390
2391       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
2392       *p = 0;
2393
2394       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
2395       because otherwise the log can be confusing. */
2396
2397       if (sender_host_name == NULL &&
2398            (deliver_domain = sender_helo_name,  /* set $domain */
2399             match_isinlist(sender_helo_name, &helo_lookup_domains, 0,
2400               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
2401         (void)host_name_lookup();
2402
2403       /* Rebuild the fullhost info to include the HELO name (and the real name
2404       if it was looked up.) */
2405
2406       host_build_sender_fullhost();  /* Rebuild */
2407       set_process_info("handling%s incoming connection from %s",
2408         (tls_active >= 0)? " TLS" : "", host_and_ident(FALSE));
2409
2410       /* Verify if configured. This doesn't give much security, but it does
2411       make some people happy to be able to do it. If helo_required is set,
2412       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
2413       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
2414       now obsolescent, since the verification can now be requested selectively
2415       at ACL time. */
2416
2417       helo_verified = helo_verify_failed = FALSE;
2418       if (helo_required || helo_verify)
2419         {
2420         BOOL tempfail = !smtp_verify_helo();
2421         if (!helo_verified)
2422           {
2423           if (helo_required)
2424             {
2425             smtp_printf("%d %s argument does not match calling host\r\n",
2426               tempfail? 451 : 550, hello);
2427             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
2428               tempfail? "temporarily " : "",
2429               hello, sender_helo_name, host_and_ident(FALSE));
2430             helo_verified = old_helo_verified;
2431             break;                   /* End of HELO/EHLO processing */
2432             }
2433           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
2434             "helo_try_verify_hosts\n", hello);
2435           }
2436         }
2437       }
2438
2439 #ifdef EXPERIMENTAL_SPF
2440     /* set up SPF context */
2441     spf_init(sender_helo_name, sender_host_address);
2442 #endif
2443
2444     /* Apply an ACL check if one is defined */
2445
2446     if (acl_smtp_helo != NULL)
2447       {
2448       rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo, &user_msg, &log_msg);
2449       if (rc != OK)
2450         {
2451         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
2452         sender_helo_name = NULL;
2453         host_build_sender_fullhost();  /* Rebuild */
2454         break;
2455         }
2456       }
2457
2458     /* The EHLO/HELO command is acceptable. Reset the protocol and the state,
2459     abandoning any previous message. */
2460
2461     received_protocol = (esmtp?
2462       protocols[pextend +
2463         ((sender_host_authenticated != NULL)? pauthed : 0) +
2464         ((tls_active >= 0)? pcrpted : 0)]
2465       :
2466       protocols[pnormal + ((tls_active >= 0)? pcrpted : 0)])
2467       +
2468       ((sender_host_address != NULL)? pnlocal : 0);
2469
2470     smtp_reset(reset_point);
2471     toomany = FALSE;
2472
2473     /* Generate an OK reply, including the ident if present, and also
2474     the IP address if present. Reflecting back the ident is intended
2475     as a deterrent to mail forgers. For maximum efficiency, and also
2476     because some broken systems expect each response to be in a single
2477     packet, arrange that it is sent in one write(). */
2478
2479     auth_advertised = FALSE;
2480     pipelining_advertised = FALSE;
2481     #ifdef SUPPORT_TLS
2482     tls_advertised = FALSE;
2483     #endif
2484
2485     s = string_sprintf("250 %s Hello %s%s%s",
2486       smtp_active_hostname,
2487       (sender_ident == NULL)?  US"" : sender_ident,
2488       (sender_ident == NULL)?  US"" : US" at ",
2489       (sender_host_name == NULL)? sender_helo_name : sender_host_name);
2490
2491     ptr = Ustrlen(s);
2492     size = ptr + 1;
2493
2494     if (sender_host_address != NULL)
2495       {
2496       s = string_cat(s, &size, &ptr, US" [", 2);
2497       s = string_cat(s, &size, &ptr, sender_host_address,
2498         Ustrlen(sender_host_address));
2499       s = string_cat(s, &size, &ptr, US"]", 1);
2500       }
2501
2502     s = string_cat(s, &size, &ptr, US"\r\n", 2);
2503
2504     /* If we received EHLO, we must create a multiline response which includes
2505     the functions supported. */
2506
2507     if (esmtp)
2508       {
2509       s[3] = '-';
2510
2511       /* I'm not entirely happy with this, as an MTA is supposed to check
2512       that it has enough room to accept a message of maximum size before
2513       it sends this. However, there seems little point in not sending it.
2514       The actual size check happens later at MAIL FROM time. By postponing it
2515       till then, VRFY and EXPN can be used after EHLO when space is short. */
2516
2517       if (thismessage_size_limit > 0)
2518         {
2519         sprintf(CS big_buffer, "250-SIZE %d\r\n", thismessage_size_limit);
2520         s = string_cat(s, &size, &ptr, big_buffer, Ustrlen(big_buffer));
2521         }
2522       else
2523         {
2524         s = string_cat(s, &size, &ptr, US"250-SIZE\r\n", 10);
2525         }
2526
2527       /* Exim does not do protocol conversion or data conversion. It is 8-bit
2528       clean; if it has an 8-bit character in its hand, it just sends it. It
2529       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
2530       However, some users want this option simply in order to stop MUAs
2531       mangling messages that contain top-bit-set characters. It is therefore
2532       provided as an option. */
2533
2534       if (accept_8bitmime)
2535         s = string_cat(s, &size, &ptr, US"250-8BITMIME\r\n", 14);
2536
2537       /* Advertise ETRN if there's an ACL checking whether a host is
2538       permitted to issue it; a check is made when any host actually tries. */
2539
2540       if (acl_smtp_etrn != NULL)
2541         {
2542         s = string_cat(s, &size, &ptr, US"250-ETRN\r\n", 10);
2543         }
2544
2545       /* Advertise EXPN if there's an ACL checking whether a host is
2546       permitted to issue it; a check is made when any host actually tries. */
2547
2548       if (acl_smtp_expn != NULL)
2549         {
2550         s = string_cat(s, &size, &ptr, US"250-EXPN\r\n", 10);
2551         }
2552
2553       /* Exim is quite happy with pipelining, so let the other end know that
2554       it is safe to use it, unless advertising is disabled. */
2555
2556       if (verify_check_host(&pipelining_advertise_hosts) == OK)
2557         {
2558         s = string_cat(s, &size, &ptr, US"250-PIPELINING\r\n", 16);
2559         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
2560         pipelining_advertised = TRUE;
2561         }
2562
2563       /* If any server authentication mechanisms are configured, advertise
2564       them if the current host is in auth_advertise_hosts. The problem with
2565       advertising always is that some clients then require users to
2566       authenticate (and aren't configurable otherwise) even though it may not
2567       be necessary (e.g. if the host is in host_accept_relay).
2568
2569       RFC 2222 states that SASL mechanism names contain only upper case
2570       letters, so output the names in upper case, though we actually recognize
2571       them in either case in the AUTH command. */
2572
2573       if (auths != NULL)
2574         {
2575         if (verify_check_host(&auth_advertise_hosts) == OK)
2576           {
2577           auth_instance *au;
2578           BOOL first = TRUE;
2579           for (au = auths; au != NULL; au = au->next)
2580             {
2581             if (au->server && (au->advertise_condition == NULL ||
2582                 expand_check_condition(au->advertise_condition, au->name,
2583                 US"authenticator")))
2584               {
2585               int saveptr;
2586               if (first)
2587                 {
2588                 s = string_cat(s, &size, &ptr, US"250-AUTH", 8);
2589                 first = FALSE;
2590                 auth_advertised = TRUE;
2591                 }
2592               saveptr = ptr;
2593               s = string_cat(s, &size, &ptr, US" ", 1);
2594               s = string_cat(s, &size, &ptr, au->public_name,
2595                 Ustrlen(au->public_name));
2596               while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
2597               au->advertised = TRUE;
2598               }
2599             else au->advertised = FALSE;
2600             }
2601           if (!first) s = string_cat(s, &size, &ptr, US"\r\n", 2);
2602           }
2603         }
2604
2605       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
2606       if it has been included in the binary, and the host matches
2607       tls_advertise_hosts. We must *not* advertise if we are already in a
2608       secure connection. */
2609
2610       #ifdef SUPPORT_TLS
2611       if (tls_active < 0 &&
2612           verify_check_host(&tls_advertise_hosts) != FAIL)
2613         {
2614         s = string_cat(s, &size, &ptr, US"250-STARTTLS\r\n", 14);
2615         tls_advertised = TRUE;
2616         }
2617       #endif
2618
2619       /* Finish off the multiline reply with one that is always available. */
2620
2621       s = string_cat(s, &size, &ptr, US"250 HELP\r\n", 10);
2622       }
2623
2624     /* Terminate the string (for debug), write it, and note that HELO/EHLO
2625     has been seen. */
2626
2627     s[ptr] = 0;
2628
2629     #ifdef SUPPORT_TLS
2630     if (tls_active >= 0) (void)tls_write(s, ptr); else
2631     #endif
2632
2633     (void)fwrite(s, 1, ptr, smtp_out);
2634     DEBUG(D_receive) debug_printf("SMTP>> %s", s);
2635     helo_seen = TRUE;
2636     break;   /* HELO/EHLO */
2637
2638
2639     /* The MAIL command requires an address as an operand. All we do
2640     here is to parse it for syntactic correctness. The form "<>" is
2641     a special case which converts into an empty string. The start/end
2642     pointers in the original are not used further for this address, as
2643     it is the canonical extracted address which is all that is kept. */
2644
2645     case MAIL_CMD:
2646     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
2647     was_rej_mail = TRUE;               /* Reset if accepted */
2648
2649     if (helo_required && !helo_seen)
2650       {
2651       smtp_printf("503 HELO or EHLO required\r\n");
2652       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
2653         "HELO/EHLO given", host_and_ident(FALSE));
2654       break;
2655       }
2656
2657     if (sender_address != NULL)
2658       {
2659       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2660         US"sender already given");
2661       break;
2662       }
2663
2664     if (smtp_cmd_argument[0] == 0)
2665       {
2666       done = synprot_error(L_smtp_protocol_error, 501, NULL,
2667         US"MAIL must have an address operand");
2668       break;
2669       }
2670
2671     /* Check to see if the limit for messages per connection would be
2672     exceeded by accepting further messages. */
2673
2674     if (smtp_accept_max_per_connection > 0 &&
2675         smtp_mailcmd_count > smtp_accept_max_per_connection)
2676       {
2677       smtp_printf("421 too many messages in this connection\r\n");
2678       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
2679         "messages in one connection", host_and_ident(TRUE));
2680       break;
2681       }
2682
2683     /* Reset for start of message - even if this is going to fail, we
2684     obviously need to throw away any previous data. */
2685
2686     smtp_reset(reset_point);
2687     toomany = FALSE;
2688     sender_data = recipient_data = NULL;
2689
2690     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
2691
2692     if (esmtp) for(;;)
2693       {
2694       uschar *name, *value, *end;
2695       unsigned long int size;
2696
2697       if (!extract_option(&name, &value)) break;
2698
2699       /* Handle SIZE= by reading the value. We don't do the check till later,
2700       in order to be able to log the sender address on failure. */
2701
2702       if (strcmpic(name, US"SIZE") == 0 &&
2703           ((size = (int)Ustrtoul(value, &end, 10)), *end == 0))
2704         {
2705         if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
2706           size = INT_MAX;
2707         message_size = (int)size;
2708         }
2709
2710       /* If this session was initiated with EHLO and accept_8bitmime is set,
2711       Exim will have indicated that it supports the BODY=8BITMIME option. In
2712       fact, it does not support this according to the RFCs, in that it does not
2713       take any special action for forwarding messages containing 8-bit
2714       characters. That is why accept_8bitmime is not the default setting, but
2715       some sites want the action that is provided. We recognize both "8BITMIME"
2716       and "7BIT" as body types, but take no action. */
2717
2718       else if (accept_8bitmime && strcmpic(name, US"BODY") == 0 &&
2719           (strcmpic(value, US"8BITMIME") == 0 ||
2720            strcmpic(value, US"7BIT") == 0)) {}
2721
2722       /* Handle the AUTH extension. If the value given is not "<>" and either
2723       the ACL says "yes" or there is no ACL but the sending host is
2724       authenticated, we set it up as the authenticated sender. However, if the
2725       authenticator set a condition to be tested, we ignore AUTH on MAIL unless
2726       the condition is met. The value of AUTH is an xtext, which means that +,
2727       = and cntrl chars are coded in hex; however "<>" is unaffected by this
2728       coding. */
2729
2730       else if (strcmpic(name, US"AUTH") == 0)
2731         {
2732         if (Ustrcmp(value, "<>") != 0)
2733           {
2734           int rc;
2735           uschar *ignore_msg;
2736
2737           if (auth_xtextdecode(value, &authenticated_sender) < 0)
2738             {
2739             /* Put back terminator overrides for error message */
2740             name[-1] = ' ';
2741             value[-1] = '=';
2742             done = synprot_error(L_smtp_syntax_error, 501, NULL,
2743               US"invalid data for AUTH");
2744             goto COMMAND_LOOP;
2745             }
2746
2747           if (acl_smtp_mailauth == NULL)
2748             {
2749             ignore_msg = US"client not authenticated";
2750             rc = (sender_host_authenticated != NULL)? OK : FAIL;
2751             }
2752           else
2753             {
2754             ignore_msg = US"rejected by ACL";
2755             rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
2756               &user_msg, &log_msg);
2757             }
2758
2759           switch (rc)
2760             {
2761             case OK:
2762             if (authenticated_by == NULL ||
2763                 authenticated_by->mail_auth_condition == NULL ||
2764                 expand_check_condition(authenticated_by->mail_auth_condition,
2765                     authenticated_by->name, US"authenticator"))
2766               break;     /* Accept the AUTH */
2767
2768             ignore_msg = US"server_mail_auth_condition failed";
2769             if (authenticated_id != NULL)
2770               ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
2771                 ignore_msg, authenticated_id);
2772
2773             /* Fall through */
2774
2775             case FAIL:
2776             authenticated_sender = NULL;
2777             log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
2778               value, host_and_ident(TRUE), ignore_msg);
2779             break;
2780
2781             /* Should only get DEFER or ERROR here. Put back terminator
2782             overrides for error message */
2783
2784             default:
2785             name[-1] = ' ';
2786             value[-1] = '=';
2787             (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
2788               log_msg);
2789             goto COMMAND_LOOP;
2790             }
2791           }
2792         }
2793
2794       /* Unknown option. Stick back the terminator characters and break
2795       the loop. An error for a malformed address will occur. */
2796
2797       else
2798         {
2799         name[-1] = ' ';
2800         value[-1] = '=';
2801         break;
2802         }
2803       }
2804
2805     /* If we have passed the threshold for rate limiting, apply the current
2806     delay, and update it for next time, provided this is a limited host. */
2807
2808     if (smtp_mailcmd_count > smtp_rlm_threshold &&
2809         verify_check_host(&smtp_ratelimit_hosts) == OK)
2810       {
2811       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
2812         smtp_delay_mail/1000.0);
2813       millisleep((int)smtp_delay_mail);
2814       smtp_delay_mail *= smtp_rlm_factor;
2815       if (smtp_delay_mail > (double)smtp_rlm_limit)
2816         smtp_delay_mail = (double)smtp_rlm_limit;
2817       }
2818
2819     /* Now extract the address, first applying any SMTP-time rewriting. The
2820     TRUE flag allows "<>" as a sender address. */
2821
2822     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2823       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
2824         global_rewrite_rules) : smtp_cmd_argument;
2825
2826     /* rfc821_domains = TRUE; << no longer needed */
2827     raw_sender =
2828       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2829         TRUE);
2830     /* rfc821_domains = FALSE; << no longer needed */
2831
2832     if (raw_sender == NULL)
2833       {
2834       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_argument, errmess);
2835       break;
2836       }
2837
2838     sender_address = raw_sender;
2839
2840     /* If there is a configured size limit for mail, check that this message
2841     doesn't exceed it. The check is postponed to this point so that the sender
2842     can be logged. */
2843
2844     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
2845       {
2846       smtp_printf("552 Message size exceeds maximum permitted\r\n");
2847       log_write(L_size_reject,
2848           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
2849           "message too big: size%s=%d max=%d",
2850           sender_address,
2851           host_and_ident(TRUE),
2852           (message_size == INT_MAX)? ">" : "",
2853           message_size,
2854           thismessage_size_limit);
2855       sender_address = NULL;
2856       break;
2857       }
2858
2859     /* Check there is enough space on the disk unless configured not to.
2860     When smtp_check_spool_space is set, the check is for thismessage_size_limit
2861     plus the current message - i.e. we accept the message only if it won't
2862     reduce the space below the threshold. Add 5000 to the size to allow for
2863     overheads such as the Received: line and storing of recipients, etc.
2864     By putting the check here, even when SIZE is not given, it allow VRFY
2865     and EXPN etc. to be used when space is short. */
2866
2867     if (!receive_check_fs(
2868          (smtp_check_spool_space && message_size >= 0)?
2869             message_size + 5000 : 0))
2870       {
2871       smtp_printf("452 Space shortage, please try later\r\n");
2872       sender_address = NULL;
2873       break;
2874       }
2875
2876     /* If sender_address is unqualified, reject it, unless this is a locally
2877     generated message, or the sending host or net is permitted to send
2878     unqualified addresses - typically local machines behaving as MUAs -
2879     in which case just qualify the address. The flag is set above at the start
2880     of the SMTP connection. */
2881
2882     if (sender_domain == 0 && sender_address[0] != 0)
2883       {
2884       if (allow_unqualified_sender)
2885         {
2886         sender_domain = Ustrlen(sender_address) + 1;
2887         sender_address = rewrite_address_qualify(sender_address, FALSE);
2888         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2889           raw_sender);
2890         }
2891       else
2892         {
2893         smtp_printf("501 %s: sender address must contain a domain\r\n",
2894           smtp_cmd_argument);
2895         log_write(L_smtp_syntax_error,
2896           LOG_MAIN|LOG_REJECT,
2897           "unqualified sender rejected: <%s> %s%s",
2898           raw_sender,
2899           host_and_ident(TRUE),
2900           host_lookup_msg);
2901         sender_address = NULL;
2902         break;
2903         }
2904       }
2905
2906     /* Apply an ACL check if one is defined, before responding */
2907
2908     rc = (acl_smtp_mail == NULL)? OK :
2909       acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
2910
2911     if (rc == OK || rc == DISCARD)
2912       {
2913       smtp_printf("250 OK\r\n");
2914       smtp_delay_rcpt = smtp_rlr_base;
2915       recipients_discarded = (rc == DISCARD);
2916       was_rej_mail = FALSE;
2917       }
2918
2919     else
2920       {
2921       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
2922       sender_address = NULL;
2923       }
2924     break;
2925
2926
2927     /* The RCPT command requires an address as an operand. All we do
2928     here is to parse it for syntactic correctness. There may be any number
2929     of RCPT commands, specifying multiple senders. We build them all into
2930     a data structure that is in argc/argv format. The start/end values
2931     given by parse_extract_address are not used, as we keep only the
2932     extracted address. */
2933
2934     case RCPT_CMD:
2935     rcpt_count++;
2936     was_rcpt = TRUE;
2937
2938     /* There must be a sender address; if the sender was rejected and
2939     pipelining was advertised, we assume the client was pipelining, and do not
2940     count this as a protocol error. Reset was_rej_mail so that further RCPTs
2941     get the same treatment. */
2942
2943     if (sender_address == NULL)
2944       {
2945       if (pipelining_advertised && last_was_rej_mail)
2946         {
2947         smtp_printf("503 sender not yet given\r\n");
2948         was_rej_mail = TRUE;
2949         }
2950       else
2951         {
2952         done = synprot_error(L_smtp_protocol_error, 503, NULL,
2953           US"sender not yet given");
2954         was_rcpt = FALSE;             /* Not a valid RCPT */
2955         }
2956       rcpt_fail_count++;
2957       break;
2958       }
2959
2960     /* Check for an operand */
2961
2962     if (smtp_cmd_argument[0] == 0)
2963       {
2964       done = synprot_error(L_smtp_syntax_error, 501, NULL,
2965         US"RCPT must have an address operand");
2966       rcpt_fail_count++;
2967       break;
2968       }
2969
2970     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
2971     as a recipient address */
2972
2973     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
2974       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
2975         global_rewrite_rules) : smtp_cmd_argument;
2976
2977     /* rfc821_domains = TRUE; << no longer needed */
2978     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2979       &recipient_domain, FALSE);
2980     /* rfc821_domains = FALSE; << no longer needed */
2981
2982     if (recipient == NULL)
2983       {
2984       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_argument, errmess);
2985       rcpt_fail_count++;
2986       break;
2987       }
2988
2989     /* If the recipient address is unqualified, reject it, unless this is a
2990     locally generated message. However, unqualified addresses are permitted
2991     from a configured list of hosts and nets - typically when behaving as
2992     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
2993     really. The flag is set at the start of the SMTP connection.
2994
2995     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
2996     assumed this meant "reserved local part", but the revision of RFC 821 and
2997     friends now makes it absolutely clear that it means *mailbox*. Consequently
2998     we must always qualify this address, regardless. */
2999
3000     if (recipient_domain == 0)
3001       {
3002       if (allow_unqualified_recipient ||
3003           strcmpic(recipient, US"postmaster") == 0)
3004         {
3005         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3006           recipient);
3007         recipient_domain = Ustrlen(recipient) + 1;
3008         recipient = rewrite_address_qualify(recipient, TRUE);
3009         }
3010       else
3011         {
3012         rcpt_fail_count++;
3013         smtp_printf("501 %s: recipient address must contain a domain\r\n",
3014           smtp_cmd_argument);
3015         log_write(L_smtp_syntax_error,
3016           LOG_MAIN|LOG_REJECT, "unqualified recipient rejected: "
3017           "<%s> %s%s", recipient, host_and_ident(TRUE),
3018           host_lookup_msg);
3019         break;
3020         }
3021       }
3022
3023     /* Check maximum allowed */
3024
3025     if (rcpt_count > recipients_max && recipients_max > 0)
3026       {
3027       if (recipients_max_reject)
3028         {
3029         rcpt_fail_count++;
3030         smtp_printf("552 too many recipients\r\n");
3031         if (!toomany)
3032           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
3033             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
3034         }
3035       else
3036         {
3037         rcpt_defer_count++;
3038         smtp_printf("452 too many recipients\r\n");
3039         if (!toomany)
3040           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
3041             "temporarily rejected: sender=<%s> %s", sender_address,
3042             host_and_ident(TRUE));
3043         }
3044
3045       toomany = TRUE;
3046       break;
3047       }
3048
3049     /* If we have passed the threshold for rate limiting, apply the current
3050     delay, and update it for next time, provided this is a limited host. */
3051
3052     if (rcpt_count > smtp_rlr_threshold &&
3053         verify_check_host(&smtp_ratelimit_hosts) == OK)
3054       {
3055       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
3056         smtp_delay_rcpt/1000.0);
3057       millisleep((int)smtp_delay_rcpt);
3058       smtp_delay_rcpt *= smtp_rlr_factor;
3059       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
3060         smtp_delay_rcpt = (double)smtp_rlr_limit;
3061       }
3062
3063     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
3064     for them. Otherwise, check the access control list for this recipient. */
3065
3066     rc = recipients_discarded? DISCARD :
3067       acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg, &log_msg);
3068
3069     /* The ACL was happy */
3070
3071     if (rc == OK)
3072       {
3073       smtp_printf("250 Accepted\r\n");
3074       receive_add_recipient(recipient, -1);
3075       }
3076
3077     /* The recipient was discarded */
3078
3079     else if (rc == DISCARD)
3080       {
3081       smtp_printf("250 Accepted\r\n");
3082       rcpt_fail_count++;
3083       discarded = TRUE;
3084       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> rejected RCPT %s: "
3085         "discarded by %s ACL%s%s", host_and_ident(TRUE),
3086         (sender_address_unrewritten != NULL)?
3087         sender_address_unrewritten : sender_address,
3088         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
3089         (log_msg == NULL)? US"" : US": ",
3090         (log_msg == NULL)? US"" : log_msg);
3091       }
3092
3093     /* Either the ACL failed the address, or it was deferred. */
3094
3095     else
3096       {
3097       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
3098       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
3099       }
3100     break;
3101
3102
3103     /* The DATA command is legal only if it follows successful MAIL FROM
3104     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
3105     not counted as a protocol error if it follows RCPT (which must have been
3106     rejected if there are no recipients.) This function is complete when a
3107     valid DATA command is encountered.
3108
3109     Note concerning the code used: RFC 2821 says this:
3110
3111      -  If there was no MAIL, or no RCPT, command, or all such commands
3112         were rejected, the server MAY return a "command out of sequence"
3113         (503) or "no valid recipients" (554) reply in response to the
3114         DATA command.
3115
3116     The example in the pipelining RFC 2920 uses 554, but I use 503 here
3117     because it is the same whether pipelining is in use or not. */
3118
3119     case DATA_CMD:
3120     if (!discarded && recipients_count <= 0)
3121       {
3122       if (pipelining_advertised && last_was_rcpt)
3123         smtp_printf("503 valid RCPT command must precede DATA\r\n");
3124       else
3125         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3126           US"valid RCPT command must precede DATA");
3127       break;
3128       }
3129
3130     if (toomany && recipients_max_reject)
3131       {
3132       sender_address = NULL;  /* This will allow a new MAIL without RSET */
3133       sender_address_unrewritten = NULL;
3134       smtp_printf("554 Too many recipients\r\n");
3135       break;
3136       }
3137
3138     if (acl_smtp_predata == NULL) rc = OK; else
3139       {
3140       enable_dollar_recipients = TRUE;
3141       rc = acl_check(ACL_WHERE_PREDATA, NULL, acl_smtp_predata, &user_msg,
3142         &log_msg);
3143       enable_dollar_recipients = FALSE;
3144       }
3145
3146     if (rc == OK)
3147       {
3148       smtp_printf("354 Enter message, ending with \".\" on a line by itself\r\n");
3149       done = 3;
3150       message_ended = END_NOTENDED;   /* Indicate in middle of data */
3151       }
3152
3153     /* Either the ACL failed the address, or it was deferred. */
3154
3155     else
3156       done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
3157
3158     break;
3159
3160
3161     case VRFY_CMD:
3162     rc = acl_check(ACL_WHERE_VRFY, NULL, acl_smtp_vrfy, &user_msg, &log_msg);
3163     if (rc != OK)
3164       done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
3165     else
3166       {
3167       uschar *address;
3168       uschar *s = NULL;
3169
3170       /* rfc821_domains = TRUE; << no longer needed */
3171       address = parse_extract_address(smtp_cmd_argument, &errmess, &start, &end,
3172         &recipient_domain, FALSE);
3173       /* rfc821_domains = FALSE; << no longer needed */
3174
3175       if (address == NULL)
3176         s = string_sprintf("501 %s", errmess);
3177       else
3178         {
3179         address_item *addr = deliver_make_addr(address, FALSE);
3180         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
3181                -1, -1, NULL, NULL, NULL))
3182           {
3183           case OK:
3184           s = string_sprintf("250 <%s> is deliverable", address);
3185           break;
3186
3187           case DEFER:
3188           s = (addr->message != NULL)?
3189             string_sprintf("451 <%s> %s", address, addr->message) :
3190             string_sprintf("451 Cannot resolve <%s> at this time", address);
3191           break;
3192
3193           case FAIL:
3194           s = (addr->message != NULL)?
3195             string_sprintf("550 <%s> %s", address, addr->message) :
3196             string_sprintf("550 <%s> is not deliverable", address);
3197           log_write(0, LOG_MAIN, "VRFY failed for %s %s",
3198             smtp_cmd_argument, host_and_ident(TRUE));
3199           break;
3200           }
3201         }
3202
3203       smtp_printf("%s\r\n", s);
3204       }
3205     break;
3206
3207
3208     case EXPN_CMD:
3209     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
3210     if (rc != OK)
3211       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
3212     else
3213       {
3214       BOOL save_log_testing_mode = log_testing_mode;
3215       address_test_mode = log_testing_mode = TRUE;
3216       (void) verify_address(deliver_make_addr(smtp_cmd_argument, FALSE),
3217         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
3218         NULL, NULL, NULL);
3219       address_test_mode = FALSE;
3220       log_testing_mode = save_log_testing_mode;    /* true for -bh */
3221       }
3222     break;
3223
3224
3225     #ifdef SUPPORT_TLS
3226
3227     case STARTTLS_CMD:
3228     if (!tls_advertised)
3229       {
3230       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3231         US"STARTTLS command used when not advertised");
3232       break;
3233       }
3234
3235     /* Apply an ACL check if one is defined */
3236
3237     if (acl_smtp_starttls != NULL)
3238       {
3239       rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls, &user_msg,
3240         &log_msg);
3241       if (rc != OK)
3242         {
3243         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
3244         break;
3245         }
3246       }
3247
3248     /* RFC 2487 is not clear on when this command may be sent, though it
3249     does state that all information previously obtained from the client
3250     must be discarded if a TLS session is started. It seems reasonble to
3251     do an implied RSET when STARTTLS is received. */
3252
3253     incomplete_transaction_log(US"STARTTLS");
3254     smtp_reset(reset_point);
3255     toomany = FALSE;
3256     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
3257
3258     /* Attempt to start up a TLS session, and if successful, discard all
3259     knowledge that was obtained previously. At least, that's what the RFC says,
3260     and that's what happens by default. However, in order to work round YAEB,
3261     there is an option to remember the esmtp state. Sigh.
3262
3263     We must allow for an extra EHLO command and an extra AUTH command after
3264     STARTTLS that don't add to the nonmail command count. */
3265
3266     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
3267       {
3268       if (!tls_remember_esmtp)
3269         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
3270       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3271       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
3272       if (sender_helo_name != NULL)
3273         {
3274         store_free(sender_helo_name);
3275         sender_helo_name = NULL;
3276         host_build_sender_fullhost();  /* Rebuild */
3277         set_process_info("handling incoming TLS connection from %s",
3278           host_and_ident(FALSE));
3279         }
3280       received_protocol = (esmtp?
3281         protocols[pextend + pcrpted +
3282           ((sender_host_authenticated != NULL)? pauthed : 0)]
3283         :
3284         protocols[pnormal + pcrpted])
3285         +
3286         ((sender_host_address != NULL)? pnlocal : 0);
3287
3288       sender_host_authenticated = NULL;
3289       authenticated_id = NULL;
3290       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
3291       DEBUG(D_tls) debug_printf("TLS active\n");
3292       break;     /* Successful STARTTLS */
3293       }
3294
3295     /* Some local configuration problem was discovered before actually trying
3296     to do a TLS handshake; give a temporary error. */
3297
3298     else if (rc == DEFER)
3299       {
3300       smtp_printf("454 TLS currently unavailable\r\n");
3301       break;
3302       }
3303
3304     /* Hard failure. Reject everything except QUIT or closed connection. One
3305     cause for failure is a nested STARTTLS, in which case tls_active remains
3306     set, but we must still reject all incoming commands. */
3307
3308     DEBUG(D_tls) debug_printf("TLS failed to start\n");
3309     while (done <= 0)
3310       {
3311       switch(smtp_read_command(FALSE))
3312         {
3313         case EOF_CMD:
3314         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
3315           smtp_get_connection_info());
3316         done = 2;
3317         break;
3318
3319         case QUIT_CMD:
3320         smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3321         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3322           smtp_get_connection_info());
3323         done = 2;
3324         break;
3325
3326         default:
3327         smtp_printf("554 Security failure\r\n");
3328         break;
3329         }
3330       }
3331     tls_close(TRUE);
3332     break;
3333     #endif
3334
3335
3336     /* The ACL for QUIT is provided for gathering statistical information or
3337     similar; it does not affect the response code, but it can supply a custom
3338     message. */
3339
3340     case QUIT_CMD:
3341     incomplete_transaction_log(US"QUIT");
3342
3343     if (acl_smtp_quit != NULL)
3344       {
3345       rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit,&user_msg,&log_msg);
3346       if (rc == ERROR)
3347         log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3348           log_msg);
3349       }
3350     else user_msg = NULL;
3351
3352     if (user_msg == NULL)
3353       smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3354     else
3355       smtp_printf("221 %s\r\n", user_msg);
3356
3357     #ifdef SUPPORT_TLS
3358     tls_close(TRUE);
3359     #endif
3360
3361     done = 2;
3362     log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3363       smtp_get_connection_info());
3364     break;
3365
3366
3367     case RSET_CMD:
3368     incomplete_transaction_log(US"RSET");
3369     smtp_reset(reset_point);
3370     toomany = FALSE;
3371     smtp_printf("250 Reset OK\r\n");
3372     cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3373     break;
3374
3375
3376     case NOOP_CMD:
3377     smtp_printf("250 OK\r\n");
3378     break;
3379
3380
3381     /* Show ETRN/EXPN/VRFY if there's
3382     an ACL for checking hosts; if actually used, a check will be done for
3383     permitted hosts. */
3384
3385     case HELP_CMD:
3386     smtp_printf("214-Commands supported:\r\n");
3387       {
3388       uschar buffer[256];
3389       buffer[0] = 0;
3390       Ustrcat(buffer, " AUTH");
3391       #ifdef SUPPORT_TLS
3392       Ustrcat(buffer, " STARTTLS");
3393       #endif
3394       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA");
3395       Ustrcat(buffer, " NOOP QUIT RSET HELP");
3396       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
3397       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
3398       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
3399       smtp_printf("214%s\r\n", buffer);
3400       }
3401     break;
3402
3403
3404     case EOF_CMD:
3405     incomplete_transaction_log(US"connection lost");
3406     smtp_printf("421 %s lost input connection\r\n", smtp_active_hostname);
3407
3408     /* Don't log by default unless in the middle of a message, as some mailers
3409     just drop the call rather than sending QUIT, and it clutters up the logs.
3410     */
3411
3412     if (sender_address != NULL || recipients_count > 0)
3413       log_write(L_lost_incoming_connection,
3414           LOG_MAIN,
3415           "unexpected %s while reading SMTP command from %s%s",
3416           sender_host_unknown? "EOF" : "disconnection",
3417           host_and_ident(FALSE), smtp_read_error);
3418
3419     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
3420       smtp_get_connection_info(), smtp_read_error);
3421
3422     done = 1;
3423     break;
3424
3425
3426     case ETRN_CMD:
3427     if (sender_address != NULL)
3428       {
3429       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3430         US"ETRN is not permitted inside a transaction");
3431       break;
3432       }
3433
3434     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
3435       host_and_ident(FALSE));
3436
3437     rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn, &user_msg, &log_msg);
3438     if (rc != OK)
3439       {
3440       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
3441       break;
3442       }
3443
3444     /* Compute the serialization key for this command. */
3445
3446     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_argument);
3447
3448     /* If a command has been specified for running as a result of ETRN, we
3449     permit any argument to ETRN. If not, only the # standard form is permitted,
3450     since that is strictly the only kind of ETRN that can be implemented
3451     according to the RFC. */
3452
3453     if (smtp_etrn_command != NULL)
3454       {
3455       uschar *error;
3456       BOOL rc;
3457       etrn_command = smtp_etrn_command;
3458       deliver_domain = smtp_cmd_argument;
3459       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
3460         US"ETRN processing", &error);
3461       deliver_domain = NULL;
3462       if (!rc)
3463         {
3464         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
3465           error);
3466         smtp_printf("458 Internal failure\r\n");
3467         break;
3468         }
3469       }
3470
3471     /* Else set up to call Exim with the -R option. */
3472
3473     else
3474       {
3475       if (*smtp_cmd_argument++ != '#')
3476         {
3477         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3478           US"argument must begin with #");
3479         break;
3480         }
3481       etrn_command = US"exim -R";
3482       argv = child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE, 2, US"-R",
3483         smtp_cmd_argument);
3484       }
3485
3486     /* If we are host-testing, don't actually do anything. */
3487
3488     if (host_checking)
3489       {
3490       HDEBUG(D_any)
3491         {
3492         debug_printf("ETRN command is: %s\n", etrn_command);
3493         debug_printf("ETRN command execution skipped\n");
3494         }
3495       smtp_printf("250 OK\r\n");
3496       break;
3497       }
3498
3499
3500     /* If ETRN queue runs are to be serialized, check the database to
3501     ensure one isn't already running. */
3502
3503     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key))
3504       {
3505       smtp_printf("458 Already processing %s\r\n", smtp_cmd_argument);
3506       break;
3507       }
3508
3509     /* Fork a child process and run the command. We don't want to have to
3510     wait for the process at any point, so set SIGCHLD to SIG_IGN before
3511     forking. It should be set that way anyway for external incoming SMTP,
3512     but we save and restore to be tidy. If serialization is required, we
3513     actually run the command in yet another process, so we can wait for it
3514     to complete and then remove the serialization lock. */
3515
3516     oldsignal = signal(SIGCHLD, SIG_IGN);
3517
3518     if ((pid = fork()) == 0)
3519       {
3520       smtp_input = FALSE;       /* This process is not associated with the */
3521       (void)fclose(smtp_in);    /* SMTP call any more. */
3522       (void)fclose(smtp_out);
3523
3524       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
3525
3526       /* If not serializing, do the exec right away. Otherwise, fork down
3527       into another process. */
3528
3529       if (!smtp_etrn_serialize || (pid = fork()) == 0)
3530         {
3531         DEBUG(D_exec) debug_print_argv(argv);
3532         exim_nullstd();                   /* Ensure std{in,out,err} exist */
3533         execv(CS argv[0], (char *const *)argv);
3534         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
3535           etrn_command, strerror(errno));
3536         _exit(EXIT_FAILURE);         /* paranoia */
3537         }
3538
3539       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
3540       is, we are in the first subprocess, after forking again. All we can do
3541       for a failing fork is to log it. Otherwise, wait for the 2nd process to
3542       complete, before removing the serialization. */
3543
3544       if (pid < 0)
3545         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
3546           "failed: %s", strerror(errno));
3547       else
3548         {
3549         int status;
3550         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
3551           (int)pid);
3552         (void)wait(&status);
3553         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
3554           (int)pid);
3555         }
3556
3557       enq_end(etrn_serialize_key);
3558       _exit(EXIT_SUCCESS);
3559       }
3560
3561     /* Back in the top level SMTP process. Check that we started a subprocess
3562     and restore the signal state. */
3563
3564     if (pid < 0)
3565       {
3566       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
3567         strerror(errno));
3568       smtp_printf("458 Unable to fork process\r\n");
3569       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
3570       }
3571     else smtp_printf("250 OK\r\n");
3572
3573     signal(SIGCHLD, oldsignal);
3574     break;
3575
3576
3577     case BADARG_CMD:
3578     done = synprot_error(L_smtp_syntax_error, 501, NULL,
3579       US"unexpected argument data");
3580     break;
3581
3582
3583     /* This currently happens only for NULLs, but could be extended. */
3584
3585     case BADCHAR_CMD:
3586     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
3587       US"NULL character(s) present (shown as '?')");
3588     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
3589     break;
3590
3591
3592     case BADSYN_CMD:
3593     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
3594       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
3595     c = smtp_inend - smtp_inptr;
3596     if (c > 150) c = 150;
3597     smtp_inptr[c] = 0;
3598     incomplete_transaction_log(US"sync failure");
3599     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
3600       "(next input sent too soon: pipelining was%s advertised): "
3601       "rejected \"%s\" %s next input=\"%s\"",
3602       pipelining_advertised? "" : " not",
3603       smtp_cmd_buffer, host_and_ident(TRUE),
3604       string_printing(smtp_inptr));
3605     smtp_printf("554 SMTP synchronization error\r\n");
3606     done = 1;   /* Pretend eof - drops connection */
3607     break;
3608
3609
3610     case TOO_MANY_NONMAIL_CMD:
3611     incomplete_transaction_log(US"too many non-mail commands");
3612     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3613       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
3614       smtp_cmd_argument - smtp_cmd_buffer, smtp_cmd_buffer);
3615     smtp_printf("554 Too many nonmail commands\r\n");
3616     done = 1;   /* Pretend eof - drops connection */
3617     break;
3618
3619
3620     default:
3621     if (unknown_command_count++ >= smtp_max_unknown_commands)
3622       {
3623       log_write(L_smtp_syntax_error, LOG_MAIN,
3624         "SMTP syntax error in \"%s\" %s %s",
3625         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
3626         US"unrecognized command");
3627       incomplete_transaction_log(US"unrecognized command");
3628       smtp_printf("500 Too many unrecognized commands\r\n");
3629       done = 2;
3630       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3631         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
3632         smtp_cmd_buffer);
3633       }
3634     else
3635       done = synprot_error(L_smtp_syntax_error, 500, NULL,
3636         US"unrecognized command");
3637     break;
3638     }
3639
3640   /* This label is used by goto's inside loops that want to break out to
3641   the end of the command-processing loop. */
3642
3643   COMMAND_LOOP:
3644   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
3645   last_was_rcpt = was_rcpt;             /* protocol error handling */
3646   continue;
3647   }
3648
3649 return done - 2;  /* Convert yield values */
3650 }
3651
3652 /* End of smtp_in.c */