src/src/smtp_in.c

   1 /* $Cambridge: exim/src/src/smtp_in.c,v 1.27 2005/12/12 15:58:53 ph10 Exp $ */
   2
   3 /*************************************************
   4 *     Exim - an Internet mail transport agent    *
   5 *************************************************/
   6
   7 /* Copyright (c) University of Cambridge 1995 - 2005 */
   8 /* See the file NOTICE for conditions of use and distribution. */
   9
  10 /* Functions for handling an incoming SMTP call. */
  11
  12
  13 #include "exim.h"
  14
  15
  16 /* Initialize for TCP wrappers if so configured. It appears that the macro
  17 HAVE_IPV6 is used in some versions of the tcpd.h header, so we unset it before
  18 including that header, and restore its value afterwards. */
  19
  20 #ifdef USE_TCP_WRAPPERS
  21
  22   #if HAVE_IPV6
  23   #define EXIM_HAVE_IPV6
  24   #endif
  25   #undef HAVE_IPV6
  26   #include <tcpd.h>
  27   #undef HAVE_IPV6
  28   #ifdef EXIM_HAVE_IPV6
  29   #define HAVE_IPV6 TRUE
  30   #endif
  31
  32 int allow_severity = LOG_INFO;
  33 int deny_severity  = LOG_NOTICE;
  34 #endif
  35
  36
  37 /* Size of buffer for reading SMTP commands. We used to use 512, as defined
  38 by RFC 821. However, RFC 1869 specifies that this must be increased for SMTP
  39 commands that accept arguments, and this in particular applies to AUTH, where
  40 the data can be quite long. */
  41
  42 #define smtp_cmd_buffer_size  2048
  43
  44 /* Size of buffer for reading SMTP incoming packets */
  45
  46 #define in_buffer_size  8192
  47
  48 /* Structure for SMTP command list */
  49
  50 typedef struct {
  51   char *name;
  52   int len;
  53   short int cmd;
  54   short int has_arg;
  55   short int is_mail_cmd;
  56 } smtp_cmd_list;
  57
  58 /* Codes for identifying commands. We order them so that those that come first
  59 are those for which synchronization is always required. Checking this can help
  60 block some spam.  */
  61
  62 enum {
  63   /* These commands are required to be synchronized, i.e. to be the last in a
  64   block of commands when pipelining. */
  65
  66   HELO_CMD, EHLO_CMD, DATA_CMD, /* These are listed in the pipelining */
  67   VRFY_CMD, EXPN_CMD, NOOP_CMD, /* RFC as requiring synchronization */
  68   ETRN_CMD,                     /* This by analogy with TURN from the RFC */
  69   STARTTLS_CMD,                 /* Required by the STARTTLS RFC */
  70
  71   /* This is a dummy to identify the non-sync commands when pipelining */
  72
  73   NON_SYNC_CMD_PIPELINING,
  74
  75   /* These commands need not be synchronized when pipelining */
  76
  77   MAIL_CMD, RCPT_CMD, RSET_CMD,
  78
  79   /* This is a dummy to identify the non-sync commands when not pipelining */
  80
  81   NON_SYNC_CMD_NON_PIPELINING,
  82
  83   /* I have been unable to find a statement about the use of pipelining
  84   with AUTH, so to be on the safe side it is here, though I kind of feel
  85   it should be up there with the synchronized commands. */
  86
  87   AUTH_CMD,
  88
  89   /* I'm not sure about these, but I don't think they matter. */
  90
  91   QUIT_CMD, HELP_CMD,
  92
  93   /* These are specials that don't correspond to actual commands */
  94
  95   EOF_CMD, OTHER_CMD, BADARG_CMD, BADCHAR_CMD, BADSYN_CMD,
  96   TOO_MANY_NONMAIL_CMD };
  97
  98
  99
 100 /*************************************************
 101 *                Local static variables          *
 102 *************************************************/
 103
 104 static auth_instance *authenticated_by;
 105 static BOOL auth_advertised;
 106 #ifdef SUPPORT_TLS
 107 static BOOL tls_advertised;
 108 #endif
 109 static BOOL esmtp;
 110 static BOOL helo_required = FALSE;
 111 static BOOL helo_verify = FALSE;
 112 static BOOL helo_seen;
 113 static BOOL helo_accept_junk;
 114 static BOOL count_nonmail;
 115 static BOOL pipelining_advertised;
 116 static int  nonmail_command_count;
 117 static int  synprot_error_count;
 118 static int  unknown_command_count;
 119 static int  sync_cmd_limit;
 120 static int  smtp_write_error = 0;
 121
 122 /* We need to know the position of RSET, HELO, EHLO, AUTH, and STARTTLS. Their
 123 final fields of all except AUTH are forced TRUE at the start of a new message
 124 setup, to allow one of each between messages that is not counted as a nonmail
 125 command. (In fact, only one of HELO/EHLO is not counted.) Also, we have to
 126 allow a new EHLO after starting up TLS.
 127
 128 AUTH is "falsely" labelled as a mail command initially, so that it doesn't get
 129 counted. However, the flag is changed when AUTH is received, so that multiple
 130 failing AUTHs will eventually hit the limit. After a successful AUTH, another
 131 AUTH is already forbidden. After a TLS session is started, AUTH's flag is again
 132 forced TRUE, to allow for the re-authentication that can happen at that point.
 133
 134 QUIT is also "falsely" labelled as a mail command so that it doesn't up the
 135 count of non-mail commands and possibly provoke an error. */
 136
 137 static smtp_cmd_list cmd_list[] = {
 138   { "rset",       sizeof("rset")-1,       RSET_CMD, FALSE, FALSE },  /* First */
 139   { "helo",       sizeof("helo")-1,       HELO_CMD, TRUE,  FALSE },
 140   { "ehlo",       sizeof("ehlo")-1,       EHLO_CMD, TRUE,  FALSE },
 141   { "auth",       sizeof("auth")-1,       AUTH_CMD, TRUE,  TRUE  },
 142   #ifdef SUPPORT_TLS
 143   { "starttls",   sizeof("starttls")-1,   STARTTLS_CMD, FALSE, FALSE },
 144   #endif
 145
 146 /* If you change anything above here, also fix the definitions below. */
 147
 148   { "mail from:", sizeof("mail from:")-1, MAIL_CMD, TRUE,  TRUE  },
 149   { "rcpt to:",   sizeof("rcpt to:")-1,   RCPT_CMD, TRUE,  TRUE  },
 150   { "data",       sizeof("data")-1,       DATA_CMD, FALSE, TRUE  },
 151   { "quit",       sizeof("quit")-1,       QUIT_CMD, FALSE, TRUE  },
 152   { "noop",       sizeof("noop")-1,       NOOP_CMD, TRUE,  FALSE },
 153   { "etrn",       sizeof("etrn")-1,       ETRN_CMD, TRUE,  FALSE },
 154   { "vrfy",       sizeof("vrfy")-1,       VRFY_CMD, TRUE,  FALSE },
 155   { "expn",       sizeof("expn")-1,       EXPN_CMD, TRUE,  FALSE },
 156   { "help",       sizeof("help")-1,       HELP_CMD, TRUE,  FALSE }
 157 };
 158
 159 static smtp_cmd_list *cmd_list_end =
 160   cmd_list + sizeof(cmd_list)/sizeof(smtp_cmd_list);
 161
 162 #define CMD_LIST_RSET      0
 163 #define CMD_LIST_HELO      1
 164 #define CMD_LIST_EHLO      2
 165 #define CMD_LIST_AUTH      3
 166 #define CMD_LIST_STARTTLS  4
 167
 168 static uschar *protocols[] = {
 169   US"local-smtp",        /* HELO */
 170   US"local-smtps",       /* The rare case EHLO->STARTTLS->HELO */
 171   US"local-esmtp",       /* EHLO */
 172   US"local-esmtps",      /* EHLO->STARTTLS->EHLO */
 173   US"local-esmtpa",      /* EHLO->AUTH */
 174   US"local-esmtpsa"      /* EHLO->STARTTLS->EHLO->AUTH */
 175   };
 176
 177 #define pnormal  0
 178 #define pextend  2
 179 #define pcrpted  1  /* added to pextend or pnormal */
 180 #define pauthed  2  /* added to pextend */
 181 #define pnlocal  6  /* offset to remove "local" */
 182
 183 /* When reading SMTP from a remote host, we have to use our own versions of the
 184 C input-reading functions, in order to be able to flush the SMTP output only
 185 when about to read more data from the socket. This is the only way to get
 186 optimal performance when the client is using pipelining. Flushing for every
 187 command causes a separate packet and reply packet each time; saving all the
 188 responses up (when pipelining) combines them into one packet and one response.
 189
 190 For simplicity, these functions are used for *all* SMTP input, not only when
 191 receiving over a socket. However, after setting up a secure socket (SSL), input
 192 is read via the OpenSSL library, and another set of functions is used instead
 193 (see tls.c).
 194
 195 These functions are set in the receive_getc etc. variables and called with the
 196 same interface as the C functions. However, since there can only ever be
 197 one incoming SMTP call, we just use a single buffer and flags. There is no need
 198 to implement a complicated private FILE-like structure.*/
 199
 200 static uschar *smtp_inbuffer;
 201 static uschar *smtp_inptr;
 202 static uschar *smtp_inend;
 203 static int     smtp_had_eof;
 204 static int     smtp_had_error;
 205
 206
 207 /*************************************************
 208 *          SMTP version of getc()                *
 209 *************************************************/
 210
 211 /* This gets the next byte from the SMTP input buffer. If the buffer is empty,
 212 it flushes the output, and refills the buffer, with a timeout. The signal
 213 handler is set appropriately by the calling function. This function is not used
 214 after a connection has negotated itself into an TLS/SSL state.
 215
 216 Arguments:  none
 217 Returns:    the next character or EOF
 218 */
 219
 220 int
 221 smtp_getc(void)
 222 {
 223 if (smtp_inptr >= smtp_inend)
 224   {
 225   int rc, save_errno;
 226   fflush(smtp_out);
 227   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
 228   rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
 229   save_errno = errno;
 230   alarm(0);
 231   if (rc <= 0)
 232     {
 233     /* Must put the error text in fixed store, because this might be during
 234     header reading, where it releases unused store above the header. */
 235     if (rc < 0)
 236       {
 237       smtp_had_error = save_errno;
 238       smtp_read_error = string_copy_malloc(
 239         string_sprintf(" (error: %s)", strerror(save_errno)));
 240       }
 241     else smtp_had_eof = 1;
 242     return EOF;
 243     }
 244   smtp_inend = smtp_inbuffer + rc;
 245   smtp_inptr = smtp_inbuffer;
 246   }
 247 return *smtp_inptr++;
 248 }
 249
 250
 251
 252 /*************************************************
 253 *          SMTP version of ungetc()              *
 254 *************************************************/
 255
 256 /* Puts a character back in the input buffer. Only ever
 257 called once.
 258
 259 Arguments:
 260   ch           the character
 261
 262 Returns:       the character
 263 */
 264
 265 int
 266 smtp_ungetc(int ch)
 267 {
 268 *(--smtp_inptr) = ch;
 269 return ch;
 270 }
 271
 272
 273
 274
 275 /*************************************************
 276 *          SMTP version of feof()                *
 277 *************************************************/
 278
 279 /* Tests for a previous EOF
 280
 281 Arguments:     none
 282 Returns:       non-zero if the eof flag is set
 283 */
 284
 285 int
 286 smtp_feof(void)
 287 {
 288 return smtp_had_eof;
 289 }
 290
 291
 292
 293
 294 /*************************************************
 295 *          SMTP version of ferror()              *
 296 *************************************************/
 297
 298 /* Tests for a previous read error, and returns with errno
 299 restored to what it was when the error was detected.
 300
 301 Arguments:     none
 302 Returns:       non-zero if the error flag is set
 303 */
 304
 305 int
 306 smtp_ferror(void)
 307 {
 308 errno = smtp_had_error;
 309 return smtp_had_error;
 310 }
 311
 312
 313
 314
 315 /*************************************************
 316 *     Write formatted string to SMTP channel     *
 317 *************************************************/
 318
 319 /* This is a separate function so that we don't have to repeat everything for
 320 TLS support or debugging. It is global so that the daemon and the
 321 authentication functions can use it. It does not return any error indication,
 322 because major problems such as dropped connections won't show up till an output
 323 flush for non-TLS connections. The smtp_fflush() function is available for
 324 checking that: for convenience, TLS output errors are remembered here so that
 325 they are also picked up later by smtp_fflush().
 326
 327 Arguments:
 328   format      format string
 329   ...         optional arguments
 330
 331 Returns:      nothing
 332 */
 333
 334 void
 335 smtp_printf(char *format, ...)
 336 {
 337 va_list ap;
 338
 339 DEBUG(D_receive)
 340   {
 341   va_start(ap, format);
 342   (void) string_vformat(big_buffer, big_buffer_size, format, ap);
 343   debug_printf("SMTP>> %s", big_buffer);
 344   }
 345
 346 va_start(ap, format);
 347
 348 /* If in a TLS session we have to format the string, and then write it using a
 349 TLS function. */
 350
 351 #ifdef SUPPORT_TLS
 352 if (tls_active >= 0)
 353   {
 354   if (!string_vformat(big_buffer, big_buffer_size, format, ap))
 355     {
 356     log_write(0, LOG_MAIN|LOG_PANIC, "string too large in smtp_printf");
 357     smtp_closedown(US"Unexpected error");
 358     exim_exit(EXIT_FAILURE);
 359     }
 360   if (tls_write(big_buffer, Ustrlen(big_buffer)) < 0) smtp_write_error = -1;
 361   }
 362 else
 363 #endif
 364
 365 /* Otherwise, just use the standard library function. */
 366
 367 if (vfprintf(smtp_out, format, ap) < 0) smtp_write_error = -1;
 368 va_end(ap);
 369 }
 370
 371
 372
 373 /*************************************************
 374 *        Flush SMTP out and check for error      *
 375 *************************************************/
 376
 377 /* This function isn't currently used within Exim (it detects errors when it
 378 tries to read the next SMTP input), but is available for use in local_scan().
 379 For non-TLS connections, it flushes the output and checks for errors. For
 380 TLS-connections, it checks for a previously-detected TLS write error.
 381
 382 Arguments:  none
 383 Returns:    0 for no error; -1 after an error
 384 */
 385
 386 int
 387 smtp_fflush(void)
 388 {
 389 if (tls_active < 0 && fflush(smtp_out) != 0) smtp_write_error = -1;
 390 return smtp_write_error;
 391 }
 392
 393
 394
 395 /*************************************************
 396 *          SMTP command read timeout             *
 397 *************************************************/
 398
 399 /* Signal handler for timing out incoming SMTP commands. This attempts to
 400 finish off tidily.
 401
 402 Argument: signal number (SIGALRM)
 403 Returns:  nothing
 404 */
 405
 406 static void
 407 command_timeout_handler(int sig)
 408 {
 409 sig = sig;    /* Keep picky compilers happy */
 410 log_write(L_lost_incoming_connection,
 411           LOG_MAIN, "SMTP command timeout on%s connection from %s",
 412           (tls_active >= 0)? " TLS" : "",
 413           host_and_ident(FALSE));
 414 if (smtp_batched_input)
 415   moan_smtp_batch(NULL, "421 SMTP command timeout");  /* Does not return */
 416 smtp_printf("421 %s: SMTP command timeout - closing connection\r\n",
 417   smtp_active_hostname);
 418 mac_smtp_fflush();
 419 exim_exit(EXIT_FAILURE);
 420 }
 421
 422
 423
 424 /*************************************************
 425 *               SIGTERM received                 *
 426 *************************************************/
 427
 428 /* Signal handler for handling SIGTERM. Again, try to finish tidily.
 429
 430 Argument: signal number (SIGTERM)
 431 Returns:  nothing
 432 */
 433
 434 static void
 435 command_sigterm_handler(int sig)
 436 {
 437 sig = sig;    /* Keep picky compilers happy */
 438 log_write(0, LOG_MAIN, "%s closed after SIGTERM", smtp_get_connection_info());
 439 if (smtp_batched_input)
 440   moan_smtp_batch(NULL, "421 SIGTERM received");  /* Does not return */
 441 smtp_printf("421 %s: Service not available - closing connection\r\n",
 442   smtp_active_hostname);
 443 exim_exit(EXIT_FAILURE);
 444 }
 445
 446
 447
 448 /*************************************************
 449 *           Read one command line                *
 450 *************************************************/
 451
 452 /* Strictly, SMTP commands coming over the net are supposed to end with CRLF.
 453 There are sites that don't do this, and in any case internal SMTP probably
 454 should check only for LF. Consequently, we check here for LF only. The line
 455 ends up with [CR]LF removed from its end. If we get an overlong line, treat as
 456 an unknown command. The command is read into the global smtp_cmd_buffer so that
 457 it is available via $smtp_command.
 458
 459 The character reading routine sets up a timeout for each block actually read
 460 from the input (which may contain more than one command). We set up a special
 461 signal handler that closes down the session on a timeout. Control does not
 462 return when it runs.
 463
 464 Arguments:
 465   check_sync   if TRUE, check synchronization rules if global option is TRUE
 466
 467 Returns:       a code identifying the command (enumerated above)
 468 */
 469
 470 static int
 471 smtp_read_command(BOOL check_sync)
 472 {
 473 int c;
 474 int ptr = 0;
 475 smtp_cmd_list *p;
 476 BOOL hadnull = FALSE;
 477
 478 os_non_restarting_signal(SIGALRM, command_timeout_handler);
 479
 480 while ((c = (receive_getc)()) != '\n' && c != EOF)
 481   {
 482   if (ptr >= smtp_cmd_buffer_size)
 483     {
 484     os_non_restarting_signal(SIGALRM, sigalrm_handler);
 485     return OTHER_CMD;
 486     }
 487   if (c == 0)
 488     {
 489     hadnull = TRUE;
 490     c = '?';
 491     }
 492   smtp_cmd_buffer[ptr++] = c;
 493   }
 494
 495 receive_linecount++;    /* For BSMTP errors */
 496 os_non_restarting_signal(SIGALRM, sigalrm_handler);
 497
 498 /* If hit end of file, return pseudo EOF command. Whether we have a
 499 part-line already read doesn't matter, since this is an error state. */
 500
 501 if (c == EOF) return EOF_CMD;
 502
 503 /* Remove any CR and white space at the end of the line, and terminate the
 504 string. */
 505
 506 while (ptr > 0 && isspace(smtp_cmd_buffer[ptr-1])) ptr--;
 507 smtp_cmd_buffer[ptr] = 0;
 508
 509 DEBUG(D_receive) debug_printf("SMTP<< %s\n", smtp_cmd_buffer);
 510
 511 /* NULLs are not allowed in SMTP commands */
 512
 513 if (hadnull) return BADCHAR_CMD;
 514
 515 /* Scan command list and return identity, having set the data pointer
 516 to the start of the actual data characters. Check for SMTP synchronization
 517 if required. */
 518
 519 for (p = cmd_list; p < cmd_list_end; p++)
 520   {
 521   if (strncmpic(smtp_cmd_buffer, US p->name, p->len) == 0)
 522     {
 523     if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
 524         p->cmd < sync_cmd_limit &&                     /* Command should sync */
 525         check_sync &&                                  /* Local flag set */
 526         smtp_enforce_sync &&                           /* Global flag set */
 527         sender_host_address != NULL &&                 /* Not local input */
 528         !sender_host_notsocket)                        /* Really is a socket */
 529       return BADSYN_CMD;
 530
 531     /* Point after the command, but don't skip over leading spaces till after
 532     the following test, so that if it fails, the command name can easily be
 533     logged. */
 534
 535     smtp_cmd_argument = smtp_cmd_buffer + p->len;
 536
 537     /* Count non-mail commands from those hosts that are controlled in this
 538     way. The default is all hosts. We don't waste effort checking the list
 539     until we get a non-mail command, but then cache the result to save checking
 540     again. If there's a DEFER while checking the host, assume it's in the list.
 541
 542     Note that one instance of RSET, EHLO/HELO, and STARTTLS is allowed at the
 543     start of each incoming message by fiddling with the value in the table. */
 544
 545     if (!p->is_mail_cmd)
 546       {
 547       if (count_nonmail == TRUE_UNSET) count_nonmail =
 548         verify_check_host(&smtp_accept_max_nonmail_hosts) != FAIL;
 549       if (count_nonmail && ++nonmail_command_count > smtp_accept_max_nonmail)
 550         return TOO_MANY_NONMAIL_CMD;
 551       }
 552
 553     /* Get the data pointer over leading spaces and return; if there is data
 554     for a command that does not expect it, give the error centrally here. */
 555
 556     while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
 557     return (p->has_arg || *smtp_cmd_argument == 0)? p->cmd : BADARG_CMD;
 558     }
 559   }
 560
 561 /* Enforce synchronization for unknown commands */
 562
 563 if (smtp_inptr < smtp_inend &&                     /* Outstanding input */
 564     check_sync &&                                  /* Local flag set */
 565     smtp_enforce_sync &&                           /* Global flag set */
 566     sender_host_address != NULL &&                 /* Not local input */
 567     !sender_host_notsocket)                        /* Really is a socket */
 568   return BADSYN_CMD;
 569
 570 return OTHER_CMD;
 571 }
 572
 573
 574
 575 /*************************************************
 576 *          Forced closedown of call              *
 577 *************************************************/
 578
 579 /* This function is called from log.c when Exim is dying because of a serious
 580 disaster, and also from some other places. If an incoming non-batched SMTP
 581 channel is open, it swallows the rest of the incoming message if in the DATA
 582 phase, sends the reply string, and gives an error to all subsequent commands
 583 except QUIT. The existence of an SMTP call is detected by the non-NULLness of
 584 smtp_in.
 585
 586 Argument:   SMTP reply string to send, excluding the code
 587 Returns:    nothing
 588 */
 589
 590 void
 591 smtp_closedown(uschar *message)
 592 {
 593 if (smtp_in == NULL || smtp_batched_input) return;
 594 receive_swallow_smtp();
 595 smtp_printf("421 %s\r\n", message);
 596
 597 for (;;)
 598   {
 599   switch(smtp_read_command(FALSE))
 600     {
 601     case EOF_CMD:
 602     return;
 603
 604     case QUIT_CMD:
 605     smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
 606     mac_smtp_fflush();
 607     return;
 608
 609     case RSET_CMD:
 610     smtp_printf("250 Reset OK\r\n");
 611     break;
 612
 613     default:
 614     smtp_printf("421 %s\r\n", message);
 615     break;
 616     }
 617   }
 618 }
 619
 620
 621
 622
 623 /*************************************************
 624 *        Set up connection info for logging      *
 625 *************************************************/
 626
 627 /* This function is called when logging information about an SMTP connection.
 628 It sets up appropriate source information, depending on the type of connection.
 629
 630 Argument:    none
 631 Returns:     a string describing the connection
 632 */
 633
 634 uschar *
 635 smtp_get_connection_info(void)
 636 {
 637 if (host_checking)
 638   return string_sprintf("SMTP connection from %s", sender_fullhost);
 639
 640 if (sender_host_unknown || sender_host_notsocket)
 641   return string_sprintf("SMTP connection from %s", sender_ident);
 642
 643 if (is_inetd)
 644   return string_sprintf("SMTP connection from %s (via inetd)", sender_fullhost);
 645
 646 if ((log_extra_selector & LX_incoming_interface) != 0 &&
 647      interface_address != NULL)
 648   return string_sprintf("SMTP connection from %s I=[%s]:%d", sender_fullhost,
 649     interface_address, interface_port);
 650
 651 return string_sprintf("SMTP connection from %s", sender_fullhost);
 652 }
 653
 654
 655
 656 /*************************************************
 657 *   Check HELO line and set sender_helo_name     *
 658 *************************************************/
 659
 660 /* Check the format of a HELO line. The data for HELO/EHLO is supposed to be
 661 the domain name of the sending host, or an ip literal in square brackets. The
 662 arrgument is placed in sender_helo_name, which is in malloc store, because it
 663 must persist over multiple incoming messages. If helo_accept_junk is set, this
 664 host is permitted to send any old junk (needed for some broken hosts).
 665 Otherwise, helo_allow_chars can be used for rogue characters in general
 666 (typically people want to let in underscores).
 667
 668 Argument:
 669   s       the data portion of the line (already past any white space)
 670
 671 Returns:  TRUE or FALSE
 672 */
 673
 674 static BOOL
 675 check_helo(uschar *s)
 676 {
 677 uschar *start = s;
 678 uschar *end = s + Ustrlen(s);
 679 BOOL yield = helo_accept_junk;
 680
 681 /* Discard any previous helo name */
 682
 683 if (sender_helo_name != NULL)
 684   {
 685   store_free(sender_helo_name);
 686   sender_helo_name = NULL;
 687   }
 688
 689 /* Skip tests if junk is permitted. */
 690
 691 if (!yield)
 692   {
 693   /* Allow the new standard form for IPv6 address literals, namely,
 694   [IPv6:....], and because someone is bound to use it, allow an equivalent
 695   IPv4 form. Allow plain addresses as well. */
 696
 697   if (*s == '[')
 698     {
 699     if (end[-1] == ']')
 700       {
 701       end[-1] = 0;
 702       if (strncmpic(s, US"[IPv6:", 6) == 0)
 703         yield = (string_is_ip_address(s+6, NULL) == 6);
 704       else if (strncmpic(s, US"[IPv4:", 6) == 0)
 705         yield = (string_is_ip_address(s+6, NULL) == 4);
 706       else
 707         yield = (string_is_ip_address(s+1, NULL) != 0);
 708       end[-1] = ']';
 709       }
 710     }
 711
 712   /* Non-literals must be alpha, dot, hyphen, plus any non-valid chars
 713   that have been configured (usually underscore - sigh). */
 714
 715   else if (*s != 0)
 716     {
 717     yield = TRUE;
 718     while (*s != 0)
 719       {
 720       if (!isalnum(*s) && *s != '.' && *s != '-' &&
 721           Ustrchr(helo_allow_chars, *s) == NULL)
 722         {
 723         yield = FALSE;
 724         break;
 725         }
 726       s++;
 727       }
 728     }
 729   }
 730
 731 /* Save argument if OK */
 732
 733 if (yield) sender_helo_name = string_copy_malloc(start);
 734 return yield;
 735 }
 736
 737
 738
 739
 740
 741 /*************************************************
 742 *         Extract SMTP command option            *
 743 *************************************************/
 744
 745 /* This function picks the next option setting off the end of smtp_cmd_argument. It
 746 is called for MAIL FROM and RCPT TO commands, to pick off the optional ESMTP
 747 things that can appear there.
 748
 749 Arguments:
 750    name           point this at the name
 751    value          point this at the data string
 752
 753 Returns:          TRUE if found an option
 754 */
 755
 756 static BOOL
 757 extract_option(uschar **name, uschar **value)
 758 {
 759 uschar *n;
 760 uschar *v = smtp_cmd_argument + Ustrlen(smtp_cmd_argument) -1;
 761 while (isspace(*v)) v--;
 762 v[1] = 0;
 763
 764 while (v > smtp_cmd_argument && *v != '=' && !isspace(*v)) v--;
 765 if (*v != '=') return FALSE;
 766
 767 n = v;
 768 while(isalpha(n[-1])) n--;
 769
 770 if (n[-1] != ' ') return FALSE;
 771
 772 n[-1] = 0;
 773 *name = n;
 774 *v++ = 0;
 775 *value = v;
 776 return TRUE;
 777 }
 778
 779
 780
 781
 782
 783
 784
 785 /*************************************************
 786 *         Reset for new message                  *
 787 *************************************************/
 788
 789 /* This function is called whenever the SMTP session is reset from
 790 within either of the setup functions.
 791
 792 Argument:   the stacking pool storage reset point
 793 Returns:    nothing
 794 */
 795
 796 static void
 797 smtp_reset(void *reset_point)
 798 {
 799 int i;
 800 store_reset(reset_point);
 801 recipients_list = NULL;
 802 rcpt_count = rcpt_defer_count = rcpt_fail_count =
 803   raw_recipients_count = recipients_count = recipients_list_max = 0;
 804 message_linecount = 0;
 805 message_size = -1;
 806 acl_warn_headers = NULL;
 807 queue_only_policy = FALSE;
 808 deliver_freeze = FALSE;                              /* Can be set by ACL */
 809 fake_response = OK;                                  /* Can be set by ACL */
 810 #ifdef WITH_CONTENT_SCAN
 811 no_mbox_unspool = FALSE;                             /* Can be set by ACL */
 812 #endif
 813 submission_mode = FALSE;                             /* Can be set by ACL */
 814 suppress_local_fixups = FALSE;                       /* Can be set by ACL */
 815 active_local_from_check = local_from_check;          /* Can be set by ACL */
 816 active_local_sender_retain = local_sender_retain;    /* Can be set by ACL */
 817 sender_address = NULL;
 818 submission_name = NULL;                              /* Can be set by ACL */
 819 raw_sender = NULL;                  /* After SMTP rewrite, before qualifying */
 820 sender_address_unrewritten = NULL;  /* Set only after verify rewrite */
 821 sender_verified_list = NULL;        /* No senders verified */
 822 memset(sender_address_cache, 0, sizeof(sender_address_cache));
 823 memset(sender_domain_cache, 0, sizeof(sender_domain_cache));
 824 authenticated_sender = NULL;
 825 #ifdef EXPERIMENTAL_BRIGHTMAIL
 826 bmi_run = 0;
 827 bmi_verdicts = NULL;
 828 #endif
 829 #ifdef EXPERIMENTAL_DOMAINKEYS
 830 dk_do_verify = 0;
 831 #endif
 832 #ifdef EXPERIMENTAL_SPF
 833 spf_header_comment = NULL;
 834 spf_received = NULL;
 835 spf_result = NULL;
 836 spf_smtp_comment = NULL;
 837 #endif
 838 body_linecount = body_zerocount = 0;
 839
 840 sender_rate = sender_rate_limit = sender_rate_period = NULL;
 841 ratelimiters_mail = NULL;           /* Updated by ratelimit ACL condition */
 842                    /* Note that ratelimiters_conn persists across resets. */
 843
 844 /* The message variables follow the connection variables. */
 845
 846 for (i = 0; i < ACL_MVARS; i++) acl_var[ACL_CVARS + i] = NULL;
 847
 848 /* The message body variables use malloc store. They may be set if this is
 849 not the first message in an SMTP session and the previous message caused them
 850 to be referenced in an ACL. */
 851
 852 if (message_body != NULL)
 853   {
 854   store_free(message_body);
 855   message_body = NULL;
 856   }
 857
 858 if (message_body_end != NULL)
 859   {
 860   store_free(message_body_end);
 861   message_body_end = NULL;
 862   }
 863
 864 /* Warning log messages are also saved in malloc store. They are saved to avoid
 865 repetition in the same message, but it seems right to repeat them for different
 866 messagess. */
 867
 868 while (acl_warn_logged != NULL)
 869   {
 870   string_item *this = acl_warn_logged;
 871   acl_warn_logged = acl_warn_logged->next;
 872   store_free(this);
 873   }
 874 }
 875
 876
 877
 878
 879
 880 /*************************************************
 881 *  Initialize for incoming batched SMTP message  *
 882 *************************************************/
 883
 884 /* This function is called from smtp_setup_msg() in the case when
 885 smtp_batched_input is true. This happens when -bS is used to pass a whole batch
 886 of messages in one file with SMTP commands between them. All errors must be
 887 reported by sending a message, and only MAIL FROM, RCPT TO, and DATA are
 888 relevant. After an error on a sender, or an invalid recipient, the remainder
 889 of the message is skipped. The value of received_protocol is already set.
 890
 891 Argument: none
 892 Returns:  > 0 message successfully started (reached DATA)
 893           = 0 QUIT read or end of file reached
 894           < 0 should not occur
 895 */
 896
 897 static int
 898 smtp_setup_batch_msg(void)
 899 {
 900 int done = 0;
 901 void *reset_point = store_get(0);
 902
 903 /* Save the line count at the start of each transaction - single commands
 904 like HELO and RSET count as whole transactions. */
 905
 906 bsmtp_transaction_linecount = receive_linecount;
 907
 908 if ((receive_feof)()) return 0;   /* Treat EOF as QUIT */
 909
 910 smtp_reset(reset_point);                /* Reset for start of message */
 911
 912 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
 913 value. The values are 2 larger than the required yield of the function. */
 914
 915 while (done <= 0)
 916   {
 917   uschar *errmess;
 918   uschar *recipient = NULL;
 919   int start, end, sender_domain, recipient_domain;
 920
 921   switch(smtp_read_command(FALSE))
 922     {
 923     /* The HELO/EHLO commands set sender_address_helo if they have
 924     valid data; otherwise they are ignored, except that they do
 925     a reset of the state. */
 926
 927     case HELO_CMD:
 928     case EHLO_CMD:
 929
 930     check_helo(smtp_cmd_argument);
 931     /* Fall through */
 932
 933     case RSET_CMD:
 934     smtp_reset(reset_point);
 935     bsmtp_transaction_linecount = receive_linecount;
 936     break;
 937
 938
 939     /* The MAIL FROM command requires an address as an operand. All we
 940     do here is to parse it for syntactic correctness. The form "<>" is
 941     a special case which converts into an empty string. The start/end
 942     pointers in the original are not used further for this address, as
 943     it is the canonical extracted address which is all that is kept. */
 944
 945     case MAIL_CMD:
 946     if (sender_address != NULL)
 947       /* The function moan_smtp_batch() does not return. */
 948       moan_smtp_batch(smtp_cmd_buffer, "503 Sender already given");
 949
 950     if (smtp_cmd_argument[0] == 0)
 951       /* The function moan_smtp_batch() does not return. */
 952       moan_smtp_batch(smtp_cmd_buffer, "501 MAIL FROM must have an address operand");
 953
 954     /* Reset to start of message */
 955
 956     smtp_reset(reset_point);
 957
 958     /* Apply SMTP rewrite */
 959
 960     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
 961       rewrite_one(smtp_cmd_argument, rewrite_smtp|rewrite_smtp_sender, NULL, FALSE,
 962         US"", global_rewrite_rules) : smtp_cmd_argument;
 963
 964     /* Extract the address; the TRUE flag allows <> as valid */
 965
 966     raw_sender =
 967       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
 968         TRUE);
 969
 970     if (raw_sender == NULL)
 971       /* The function moan_smtp_batch() does not return. */
 972       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
 973
 974     sender_address = string_copy(raw_sender);
 975
 976     /* Qualify unqualified sender addresses if permitted to do so. */
 977
 978     if (sender_domain == 0 && sender_address[0] != 0 && sender_address[0] != '@')
 979       {
 980       if (allow_unqualified_sender)
 981         {
 982         sender_address = rewrite_address_qualify(sender_address, FALSE);
 983         DEBUG(D_receive) debug_printf("unqualified address %s accepted "
 984           "and rewritten\n", raw_sender);
 985         }
 986       /* The function moan_smtp_batch() does not return. */
 987       else moan_smtp_batch(smtp_cmd_buffer, "501 sender address must contain "
 988         "a domain");
 989       }
 990     break;
 991
 992
 993     /* The RCPT TO command requires an address as an operand. All we do
 994     here is to parse it for syntactic correctness. There may be any number
 995     of RCPT TO commands, specifying multiple senders. We build them all into
 996     a data structure that is in argc/argv format. The start/end values
 997     given by parse_extract_address are not used, as we keep only the
 998     extracted address. */
 999
1000     case RCPT_CMD:
1001     if (sender_address == NULL)
1002       /* The function moan_smtp_batch() does not return. */
1003       moan_smtp_batch(smtp_cmd_buffer, "503 No sender yet given");
1004
1005     if (smtp_cmd_argument[0] == 0)
1006       /* The function moan_smtp_batch() does not return. */
1007       moan_smtp_batch(smtp_cmd_buffer, "501 RCPT TO must have an address operand");
1008
1009     /* Check maximum number allowed */
1010
1011     if (recipients_max > 0 && recipients_count + 1 > recipients_max)
1012       /* The function moan_smtp_batch() does not return. */
1013       moan_smtp_batch(smtp_cmd_buffer, "%s too many recipients",
1014         recipients_max_reject? "552": "452");
1015
1016     /* Apply SMTP rewrite, then extract address. Don't allow "<>" as a
1017     recipient address */
1018
1019     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
1020       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
1021         global_rewrite_rules) : smtp_cmd_argument;
1022
1023     /* rfc821_domains = TRUE; << no longer needed */
1024     recipient = parse_extract_address(recipient, &errmess, &start, &end,
1025       &recipient_domain, FALSE);
1026     /* rfc821_domains = FALSE; << no longer needed */
1027
1028     if (recipient == NULL)
1029       /* The function moan_smtp_batch() does not return. */
1030       moan_smtp_batch(smtp_cmd_buffer, "501 %s", errmess);
1031
1032     /* If the recipient address is unqualified, qualify it if permitted. Then
1033     add it to the list of recipients. */
1034
1035     if (recipient_domain == 0)
1036       {
1037       if (allow_unqualified_recipient)
1038         {
1039         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
1040           recipient);
1041         recipient = rewrite_address_qualify(recipient, TRUE);
1042         }
1043       /* The function moan_smtp_batch() does not return. */
1044       else moan_smtp_batch(smtp_cmd_buffer, "501 recipient address must contain "
1045         "a domain");
1046       }
1047     receive_add_recipient(recipient, -1);
1048     break;
1049
1050
1051     /* The DATA command is legal only if it follows successful MAIL FROM
1052     and RCPT TO commands. This function is complete when a valid DATA
1053     command is encountered. */
1054
1055     case DATA_CMD:
1056     if (sender_address == NULL || recipients_count <= 0)
1057       {
1058       /* The function moan_smtp_batch() does not return. */
1059       if (sender_address == NULL)
1060         moan_smtp_batch(smtp_cmd_buffer,
1061           "503 MAIL FROM:<sender> command must precede DATA");
1062       else
1063         moan_smtp_batch(smtp_cmd_buffer,
1064           "503 RCPT TO:<recipient> must precede DATA");
1065       }
1066     else
1067       {
1068       done = 3;                      /* DATA successfully achieved */
1069       message_ended = END_NOTENDED;  /* Indicate in middle of message */
1070       }
1071     break;
1072
1073
1074     /* The VRFY, EXPN, HELP, ETRN, and NOOP commands are ignored. */
1075
1076     case VRFY_CMD:
1077     case EXPN_CMD:
1078     case HELP_CMD:
1079     case NOOP_CMD:
1080     case ETRN_CMD:
1081     bsmtp_transaction_linecount = receive_linecount;
1082     break;
1083
1084
1085     case EOF_CMD:
1086     case QUIT_CMD:
1087     done = 2;
1088     break;
1089
1090
1091     case BADARG_CMD:
1092     /* The function moan_smtp_batch() does not return. */
1093     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected argument data");
1094     break;
1095
1096
1097     case BADCHAR_CMD:
1098     /* The function moan_smtp_batch() does not return. */
1099     moan_smtp_batch(smtp_cmd_buffer, "501 Unexpected NULL in SMTP command");
1100     break;
1101
1102
1103     default:
1104     /* The function moan_smtp_batch() does not return. */
1105     moan_smtp_batch(smtp_cmd_buffer, "500 Command unrecognized");
1106     break;
1107     }
1108   }
1109
1110 return done - 2;  /* Convert yield values */
1111 }
1112
1113
1114
1115
1116 /*************************************************
1117 *          Start an SMTP session                 *
1118 *************************************************/
1119
1120 /* This function is called at the start of an SMTP session. Thereafter,
1121 smtp_setup_msg() is called to initiate each separate message. This
1122 function does host-specific testing, and outputs the banner line.
1123
1124 Arguments:     none
1125 Returns:       FALSE if the session can not continue; something has
1126                gone wrong, or the connection to the host is blocked
1127 */
1128
1129 BOOL
1130 smtp_start_session(void)
1131 {
1132 int size = 256;
1133 int i, ptr;
1134 uschar *p, *s, *ss;
1135
1136 /* If we are running in the test harness, and the incoming call is from
1137 127.0.0.2 (sic), have a short delay. This makes it possible to test handling of
1138 input sent too soon (before the banner is output). */
1139
1140 if (running_in_test_harness &&
1141     sender_host_address != NULL &&
1142     Ustrcmp(sender_host_address, "127.0.0.2") == 0)
1143   sleep(1);
1144
1145 /* Default values for certain variables */
1146
1147 helo_seen = esmtp = helo_accept_junk = FALSE;
1148 count_nonmail = TRUE_UNSET;
1149 synprot_error_count = unknown_command_count = nonmail_command_count = 0;
1150 smtp_delay_mail = smtp_rlm_base;
1151 auth_advertised = FALSE;
1152 pipelining_advertised = FALSE;
1153 sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
1154
1155 memset(sender_host_cache, 0, sizeof(sender_host_cache));
1156
1157 sender_host_authenticated = NULL;
1158 authenticated_by = NULL;
1159
1160 #ifdef SUPPORT_TLS
1161 tls_cipher = tls_peerdn = NULL;
1162 tls_advertised = FALSE;
1163 #endif
1164
1165 /* Reset ACL connection variables */
1166
1167 for (i = 0; i < ACL_CVARS; i++) acl_var[i] = NULL;
1168
1169 /* Allow for trailing 0 in the command buffer. */
1170
1171 smtp_cmd_buffer = (uschar *)malloc(smtp_cmd_buffer_size + 1);
1172 if (smtp_cmd_buffer == NULL)
1173   log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1174     "malloc() failed for SMTP command buffer");
1175
1176 /* For batched input, the protocol setting can be overridden from the
1177 command line by a trusted caller. */
1178
1179 if (smtp_batched_input)
1180   {
1181   if (received_protocol == NULL) received_protocol = US"local-bsmtp";
1182   }
1183
1184 /* For non-batched SMTP input, the protocol setting is forced here. It will be
1185 reset later if any of EHLO/AUTH/STARTTLS are received. */
1186
1187 else
1188   received_protocol =
1189     protocols[pnormal] + ((sender_host_address != NULL)? pnlocal : 0);
1190
1191 /* Set up the buffer for inputting using direct read() calls, and arrange to
1192 call the local functions instead of the standard C ones. */
1193
1194 smtp_inbuffer = (uschar *)malloc(in_buffer_size);
1195 if (smtp_inbuffer == NULL)
1196   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "malloc() failed for SMTP input buffer");
1197 receive_getc = smtp_getc;
1198 receive_ungetc = smtp_ungetc;
1199 receive_feof = smtp_feof;
1200 receive_ferror = smtp_ferror;
1201 smtp_inptr = smtp_inend = smtp_inbuffer;
1202 smtp_had_eof = smtp_had_error = 0;
1203
1204 /* Set up the message size limit; this may be host-specific */
1205
1206 thismessage_size_limit = expand_string_integer(message_size_limit);
1207 if (thismessage_size_limit < 0)
1208   {
1209   if (thismessage_size_limit == -1)
1210     log_write(0, LOG_MAIN|LOG_PANIC, "unable to expand message_size_limit: "
1211       "%s", expand_string_message);
1212   else
1213     log_write(0, LOG_MAIN|LOG_PANIC, "invalid message_size_limit: "
1214       "%s", expand_string_message);
1215   smtp_closedown(US"Temporary local problem - please try later");
1216   return FALSE;
1217   }
1218
1219 /* When a message is input locally via the -bs or -bS options, sender_host_
1220 unknown is set unless -oMa was used to force an IP address, in which case it
1221 is checked like a real remote connection. When -bs is used from inetd, this
1222 flag is not set, causing the sending host to be checked. The code that deals
1223 with IP source routing (if configured) is never required for -bs or -bS and
1224 the flag sender_host_notsocket is used to suppress it.
1225
1226 If smtp_accept_max and smtp_accept_reserve are set, keep some connections in
1227 reserve for certain hosts and/or networks. */
1228
1229 if (!sender_host_unknown)
1230   {
1231   int rc;
1232   BOOL reserved_host = FALSE;
1233
1234   /* Look up IP options (source routing info) on the socket if this is not an
1235   -oMa "host", and if any are found, log them and drop the connection.
1236
1237   Linux (and others now, see below) is different to everyone else, so there
1238   has to be some conditional compilation here. Versions of Linux before 2.1.15
1239   used a structure whose name was "options". Somebody finally realized that
1240   this name was silly, and it got changed to "ip_options". I use the
1241   newer name here, but there is a fudge in the script that sets up os.h
1242   to define a macro in older Linux systems.
1243
1244   Sigh. Linux is a fast-moving target. Another generation of Linux uses
1245   glibc 2, which has chosen ip_opts for the structure name. This is now
1246   really a glibc thing rather than a Linux thing, so the condition name
1247   has been changed to reflect this. It is relevant also to GNU/Hurd.
1248
1249   Mac OS 10.x (Darwin) is like the later glibc versions, but without the
1250   setting of the __GLIBC__ macro, so we can't detect it automatically. There's
1251   a special macro defined in the os.h file.
1252
1253   Some DGUX versions on older hardware appear not to support IP options at
1254   all, so there is now a general macro which can be set to cut out this
1255   support altogether.
1256
1257   How to do this properly in IPv6 is not yet known. */
1258
1259   #if !HAVE_IPV6 && !defined(NO_IP_OPTIONS)
1260
1261   #ifdef GLIBC_IP_OPTIONS
1262     #if (!defined __GLIBC__) || (__GLIBC__ < 2)
1263     #define OPTSTYLE 1
1264     #else
1265     #define OPTSTYLE 2
1266     #endif
1267   #elif defined DARWIN_IP_OPTIONS
1268     #define OPTSTYLE 2
1269   #else
1270     #define OPTSTYLE 3
1271   #endif
1272
1273   if (!host_checking && !sender_host_notsocket)
1274     {
1275     #if OPTSTYLE == 1
1276     EXIM_SOCKLEN_T optlen = sizeof(struct ip_options) + MAX_IPOPTLEN;
1277     struct ip_options *ipopt = store_get(optlen);
1278     #elif OPTSTYLE == 2
1279     struct ip_opts ipoptblock;
1280     struct ip_opts *ipopt = &ipoptblock;
1281     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1282     #else
1283     struct ipoption ipoptblock;
1284     struct ipoption *ipopt = &ipoptblock;
1285     EXIM_SOCKLEN_T optlen = sizeof(ipoptblock);
1286     #endif
1287
1288     /* Occasional genuine failures of getsockopt() have been seen - for
1289     example, "reset by peer". Therefore, just log and give up on this
1290     call, unless the error is ENOPROTOOPT. This error is given by systems
1291     that have the interfaces but not the mechanism - e.g. GNU/Hurd at the time
1292     of writing. So for that error, carry on - we just can't do an IP options
1293     check. */
1294
1295     DEBUG(D_receive) debug_printf("checking for IP options\n");
1296
1297     if (getsockopt(fileno(smtp_out), IPPROTO_IP, IP_OPTIONS, (uschar *)(ipopt),
1298           &optlen) < 0)
1299       {
1300       if (errno != ENOPROTOOPT)
1301         {
1302         log_write(0, LOG_MAIN, "getsockopt() failed from %s: %s",
1303           host_and_ident(FALSE), strerror(errno));
1304         smtp_printf("451 SMTP service not available\r\n");
1305         return FALSE;
1306         }
1307       }
1308
1309     /* Deal with any IP options that are set. On the systems I have looked at,
1310     the value of MAX_IPOPTLEN has been 40, meaning that there should never be
1311     more logging data than will fit in big_buffer. Nevertheless, after somebody
1312     questioned this code, I've added in some paranoid checking. */
1313
1314     else if (optlen > 0)
1315       {
1316       uschar *p = big_buffer;
1317       uschar *pend = big_buffer + big_buffer_size;
1318       uschar *opt, *adptr;
1319       int optcount;
1320       struct in_addr addr;
1321
1322       #if OPTSTYLE == 1
1323       uschar *optstart = (uschar *)(ipopt->__data);
1324       #elif OPTSTYLE == 2
1325       uschar *optstart = (uschar *)(ipopt->ip_opts);
1326       #else
1327       uschar *optstart = (uschar *)(ipopt->ipopt_list);
1328       #endif
1329
1330       DEBUG(D_receive) debug_printf("IP options exist\n");
1331
1332       Ustrcpy(p, "IP options on incoming call:");
1333       p += Ustrlen(p);
1334
1335       for (opt = optstart; opt != NULL &&
1336            opt < (uschar *)(ipopt) + optlen;)
1337         {
1338         switch (*opt)
1339           {
1340           case IPOPT_EOL:
1341           opt = NULL;
1342           break;
1343
1344           case IPOPT_NOP:
1345           opt++;
1346           break;
1347
1348           case IPOPT_SSRR:
1349           case IPOPT_LSRR:
1350           if (!string_format(p, pend-p, " %s [@%s",
1351                (*opt == IPOPT_SSRR)? "SSRR" : "LSRR",
1352                #if OPTSTYLE == 1
1353                inet_ntoa(*((struct in_addr *)(&(ipopt->faddr))))))
1354                #elif OPTSTYLE == 2
1355                inet_ntoa(ipopt->ip_dst)))
1356                #else
1357                inet_ntoa(ipopt->ipopt_dst)))
1358                #endif
1359             {
1360             opt = NULL;
1361             break;
1362             }
1363
1364           p += Ustrlen(p);
1365           optcount = (opt[1] - 3) / sizeof(struct in_addr);
1366           adptr = opt + 3;
1367           while (optcount-- > 0)
1368             {
1369             memcpy(&addr, adptr, sizeof(addr));
1370             if (!string_format(p, pend - p - 1, "%s%s",
1371                   (optcount == 0)? ":" : "@", inet_ntoa(addr)))
1372               {
1373               opt = NULL;
1374               break;
1375               }
1376             p += Ustrlen(p);
1377             adptr += sizeof(struct in_addr);
1378             }
1379           *p++ = ']';
1380           opt += opt[1];
1381           break;
1382
1383           default:
1384             {
1385             int i;
1386             if (pend - p < 4 + 3*opt[1]) { opt = NULL; break; }
1387             Ustrcat(p, "[ ");
1388             p += 2;
1389             for (i = 0; i < opt[1]; i++)
1390               {
1391               sprintf(CS p, "%2.2x ", opt[i]);
1392               p += 3;
1393               }
1394             *p++ = ']';
1395             }
1396           opt += opt[1];
1397           break;
1398           }
1399         }
1400
1401       *p = 0;
1402       log_write(0, LOG_MAIN, "%s", big_buffer);
1403
1404       /* Refuse any call with IP options. This is what tcpwrappers 7.5 does. */
1405
1406       log_write(0, LOG_MAIN|LOG_REJECT,
1407         "connection from %s refused (IP options)", host_and_ident(FALSE));
1408
1409       smtp_printf("554 SMTP service not available\r\n");
1410       return FALSE;
1411       }
1412
1413     /* Length of options = 0 => there are no options */
1414
1415     else DEBUG(D_receive) debug_printf("no IP options found\n");
1416     }
1417   #endif  /* HAVE_IPV6 && !defined(NO_IP_OPTIONS) */
1418
1419   /* Set keep-alive in socket options. The option is on by default. This
1420   setting is an attempt to get rid of some hanging connections that stick in
1421   read() when the remote end (usually a dialup) goes away. */
1422
1423   if (smtp_accept_keepalive && !sender_host_notsocket)
1424     ip_keepalive(fileno(smtp_out), sender_host_address, FALSE);
1425
1426   /* If the current host matches host_lookup, set the name by doing a
1427   reverse lookup. On failure, sender_host_name will be NULL and
1428   host_lookup_failed will be TRUE. This may or may not be serious - optional
1429   checks later. */
1430
1431   if (verify_check_host(&host_lookup) == OK)
1432     {
1433     (void)host_name_lookup();
1434     host_build_sender_fullhost();
1435     }
1436
1437   /* Delay this until we have the full name, if it is looked up. */
1438
1439   set_process_info("handling incoming connection from %s",
1440     host_and_ident(FALSE));
1441
1442   /* Start up TLS if tls_on_connect is set. This is for supporting the legacy
1443   smtps port for use with older style SSL MTAs. */
1444
1445   #ifdef SUPPORT_TLS
1446   if (tls_on_connect && tls_server_start(tls_require_ciphers) != OK)
1447     return FALSE;
1448   #endif
1449
1450   /* Test for explicit connection rejection */
1451
1452   if (verify_check_host(&host_reject_connection) == OK)
1453     {
1454     log_write(L_connection_reject, LOG_MAIN|LOG_REJECT, "refused connection "
1455       "from %s (host_reject_connection)", host_and_ident(FALSE));
1456     smtp_printf("554 SMTP service not available\r\n");
1457     return FALSE;
1458     }
1459
1460   /* Test with TCP Wrappers if so configured */
1461
1462   #ifdef USE_TCP_WRAPPERS
1463   if (!hosts_ctl("exim",
1464          (sender_host_name == NULL)? STRING_UNKNOWN : CS sender_host_name,
1465          (sender_host_address == NULL)? STRING_UNKNOWN : CS sender_host_address,
1466          (sender_ident == NULL)? STRING_UNKNOWN : CS sender_ident))
1467     {
1468     HDEBUG(D_receive) debug_printf("tcp wrappers rejection\n");
1469     log_write(L_connection_reject,
1470               LOG_MAIN|LOG_REJECT, "refused connection from %s "
1471               "(tcp wrappers)", host_and_ident(FALSE));
1472     smtp_printf("554 SMTP service not available\r\n");
1473     return FALSE;
1474     }
1475   #endif
1476
1477   /* Check for reserved slots. Note that the count value doesn't include
1478   this process, as it gets upped in the parent process. */
1479
1480   if (smtp_accept_max > 0 &&
1481       smtp_accept_count + 1 > smtp_accept_max - smtp_accept_reserve)
1482     {
1483     if ((rc = verify_check_host(&smtp_reserve_hosts)) != OK)
1484       {
1485       log_write(L_connection_reject,
1486         LOG_MAIN, "temporarily refused connection from %s: not in "
1487         "reserve list: connected=%d max=%d reserve=%d%s",
1488         host_and_ident(FALSE), smtp_accept_count, smtp_accept_max,
1489         smtp_accept_reserve, (rc == DEFER)? " (lookup deferred)" : "");
1490       smtp_printf("421 %s: Too many concurrent SMTP connections; "
1491         "please try again later\r\n", smtp_active_hostname);
1492       return FALSE;
1493       }
1494     reserved_host = TRUE;
1495     }
1496
1497   /* If a load level above which only messages from reserved hosts are
1498   accepted is set, check the load. For incoming calls via the daemon, the
1499   check is done in the superior process if there are no reserved hosts, to
1500   save a fork. In all cases, the load average will already be available
1501   in a global variable at this point. */
1502
1503   if (smtp_load_reserve >= 0 &&
1504        load_average > smtp_load_reserve &&
1505        !reserved_host &&
1506        verify_check_host(&smtp_reserve_hosts) != OK)
1507     {
1508     log_write(L_connection_reject,
1509       LOG_MAIN, "temporarily refused connection from %s: not in "
1510       "reserve list and load average = %.2f", host_and_ident(FALSE),
1511       (double)load_average/1000.0);
1512     smtp_printf("421 %s: Too much load; please try again later\r\n",
1513       smtp_active_hostname);
1514     return FALSE;
1515     }
1516
1517   /* Determine whether unqualified senders or recipients are permitted
1518   for this host. Unfortunately, we have to do this every time, in order to
1519   set the flags so that they can be inspected when considering qualifying
1520   addresses in the headers. For a site that permits no qualification, this
1521   won't take long, however. */
1522
1523   allow_unqualified_sender =
1524     verify_check_host(&sender_unqualified_hosts) == OK;
1525
1526   allow_unqualified_recipient =
1527     verify_check_host(&recipient_unqualified_hosts) == OK;
1528
1529   /* Determine whether HELO/EHLO is required for this host. The requirement
1530   can be hard or soft. */
1531
1532   helo_required = verify_check_host(&helo_verify_hosts) == OK;
1533   if (!helo_required)
1534     helo_verify = verify_check_host(&helo_try_verify_hosts) == OK;
1535
1536   /* Determine whether this hosts is permitted to send syntactic junk
1537   after a HELO or EHLO command. */
1538
1539   helo_accept_junk = verify_check_host(&helo_accept_junk_hosts) == OK;
1540   }
1541
1542 /* For batch SMTP input we are now done. */
1543
1544 if (smtp_batched_input) return TRUE;
1545
1546 /* Run the ACL if it exists */
1547
1548 if (acl_smtp_connect != NULL)
1549   {
1550   int rc;
1551   uschar *user_msg, *log_msg;
1552   rc = acl_check(ACL_WHERE_CONNECT, NULL, acl_smtp_connect, &user_msg,
1553     &log_msg);
1554   if (rc != OK)
1555     {
1556     (void)smtp_handle_acl_fail(ACL_WHERE_CONNECT, rc, user_msg, log_msg);
1557     return FALSE;
1558     }
1559   }
1560
1561 /* Output the initial message for a two-way SMTP connection. It may contain
1562 newlines, which then cause a multi-line response to be given. */
1563
1564 s = expand_string(smtp_banner);
1565 if (s == NULL)
1566   log_write(0, LOG_MAIN|LOG_PANIC_DIE, "Expansion of \"%s\" (smtp_banner) "
1567     "failed: %s", smtp_banner, expand_string_message);
1568
1569 /* Remove any terminating newlines; might as well remove trailing space too */
1570
1571 p = s + Ustrlen(s);
1572 while (p > s && isspace(p[-1])) p--;
1573 *p = 0;
1574
1575 /* It seems that CC:Mail is braindead, and assumes that the greeting message
1576 is all contained in a single IP packet. The original code wrote out the
1577 greeting using several calls to fprint/fputc, and on busy servers this could
1578 cause it to be split over more than one packet - which caused CC:Mail to fall
1579 over when it got the second part of the greeting after sending its first
1580 command. Sigh. To try to avoid this, build the complete greeting message
1581 first, and output it in one fell swoop. This gives a better chance of it
1582 ending up as a single packet. */
1583
1584 ss = store_get(size);
1585 ptr = 0;
1586
1587 p = s;
1588 do       /* At least once, in case we have an empty string */
1589   {
1590   int len;
1591   uschar *linebreak = Ustrchr(p, '\n');
1592   if (linebreak == NULL)
1593     {
1594     len = Ustrlen(p);
1595     ss = string_cat(ss, &size, &ptr, US"220 ", 4);
1596     }
1597   else
1598     {
1599     len = linebreak - p;
1600     ss = string_cat(ss, &size, &ptr, US"220-", 4);
1601     }
1602   ss = string_cat(ss, &size, &ptr, p, len);
1603   ss = string_cat(ss, &size, &ptr, US"\r\n", 2);
1604   p += len;
1605   if (linebreak != NULL) p++;
1606   }
1607 while (*p != 0);
1608
1609 ss[ptr] = 0;  /* string_cat leaves room for this */
1610
1611 /* Before we write the banner, check that there is no input pending, unless
1612 this synchronisation check is disabled. */
1613
1614 if (smtp_enforce_sync && sender_host_address != NULL && !sender_host_notsocket)
1615   {
1616   fd_set fds;
1617   struct timeval tzero;
1618   tzero.tv_sec = 0;
1619   tzero.tv_usec = 0;
1620   FD_ZERO(&fds);
1621   FD_SET(fileno(smtp_in), &fds);
1622   if (select(fileno(smtp_in) + 1, (SELECT_ARG2_TYPE *)&fds, NULL, NULL,
1623       &tzero) > 0)
1624     {
1625     int rc = read(fileno(smtp_in), smtp_inbuffer, in_buffer_size);
1626     if (rc > 0)
1627       {
1628       if (rc > 150) rc = 150;
1629       smtp_inbuffer[rc] = 0;
1630       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol "
1631         "synchronization error (input sent without waiting for greeting): "
1632         "rejected connection from %s input=\"%s\"", host_and_ident(TRUE),
1633         string_printing(smtp_inbuffer));
1634       smtp_printf("554 SMTP synchronization error\r\n");
1635       return FALSE;
1636       }
1637     }
1638   }
1639
1640 /* Now output the banner */
1641
1642 smtp_printf("%s", ss);
1643 return TRUE;
1644 }
1645
1646
1647
1648
1649
1650 /*************************************************
1651 *     Handle SMTP syntax and protocol errors     *
1652 *************************************************/
1653
1654 /* Write to the log for SMTP syntax errors in incoming commands, if configured
1655 to do so. Then transmit the error response. The return value depends on the
1656 number of syntax and protocol errors in this SMTP session.
1657
1658 Arguments:
1659   type      error type, given as a log flag bit
1660   code      response code; <= 0 means don't send a response
1661   data      data to reflect in the response (can be NULL)
1662   errmess   the error message
1663
1664 Returns:    -1   limit of syntax/protocol errors NOT exceeded
1665             +1   limit of syntax/protocol errors IS exceeded
1666
1667 These values fit in with the values of the "done" variable in the main
1668 processing loop in smtp_setup_msg(). */
1669
1670 static int
1671 synprot_error(int type, int code, uschar *data, uschar *errmess)
1672 {
1673 int yield = -1;
1674
1675 log_write(type, LOG_MAIN, "SMTP %s error in \"%s\" %s %s",
1676   (type == L_smtp_syntax_error)? "syntax" : "protocol",
1677   string_printing(smtp_cmd_buffer), host_and_ident(TRUE), errmess);
1678
1679 if (++synprot_error_count > smtp_max_synprot_errors)
1680   {
1681   yield = 1;
1682   log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
1683     "syntax or protocol errors (last command was \"%s\")",
1684     host_and_ident(FALSE), smtp_cmd_buffer);
1685   }
1686
1687 if (code > 0)
1688   {
1689   smtp_printf("%d%c%s%s%s\r\n", code, (yield == 1)? '-' : ' ',
1690     (data == NULL)? US"" : data, (data == NULL)? US"" : US": ", errmess);
1691   if (yield == 1)
1692     smtp_printf("%d Too many syntax or protocol errors\r\n", code);
1693   }
1694
1695 return yield;
1696 }
1697
1698
1699
1700
1701 /*************************************************
1702 *          Log incomplete transactions           *
1703 *************************************************/
1704
1705 /* This function is called after a transaction has been aborted by RSET, QUIT,
1706 connection drops or other errors. It logs the envelope information received
1707 so far in order to preserve address verification attempts.
1708
1709 Argument:   string to indicate what aborted the transaction
1710 Returns:    nothing
1711 */
1712
1713 static void
1714 incomplete_transaction_log(uschar *what)
1715 {
1716 if (sender_address == NULL ||                 /* No transaction in progress */
1717     (log_write_selector & L_smtp_incomplete_transaction) == 0  /* Not logging */
1718   ) return;
1719
1720 /* Build list of recipients for logging */
1721
1722 if (recipients_count > 0)
1723   {
1724   int i;
1725   raw_recipients = store_get(recipients_count * sizeof(uschar *));
1726   for (i = 0; i < recipients_count; i++)
1727     raw_recipients[i] = recipients_list[i].address;
1728   raw_recipients_count = recipients_count;
1729   }
1730
1731 log_write(L_smtp_incomplete_transaction, LOG_MAIN|LOG_SENDER|LOG_RECIPIENTS,
1732   "%s incomplete transaction (%s)", host_and_ident(TRUE), what);
1733 }
1734
1735
1736
1737
1738 /*************************************************
1739 *    Send SMTP response, possibly multiline      *
1740 *************************************************/
1741
1742 /* There are, it seems, broken clients out there that cannot handle multiline
1743 responses. If no_multiline_responses is TRUE (it can be set from an ACL), we
1744 output nothing for non-final calls, and only the first line for anything else.
1745
1746 Arguments:
1747   code          SMTP code
1748   final         FALSE if the last line isn't the final line
1749   msg           message text, possibly containing newlines
1750
1751 Returns:        nothing
1752 */
1753
1754 void
1755 smtp_respond(int code, BOOL final, uschar *msg)
1756 {
1757 if (!final && no_multiline_responses) return;
1758
1759 for (;;)
1760   {
1761   uschar *nl = Ustrchr(msg, '\n');
1762   if (nl == NULL)
1763     {
1764     smtp_printf("%d%c%s\r\n", code, final? ' ':'-', msg);
1765     return;
1766     }
1767   else if (nl[1] == 0 || no_multiline_responses)
1768     {
1769     smtp_printf("%d%c%.*s\r\n", code, final? ' ':'-', (int)(nl - msg), msg);
1770     return;
1771     }
1772   else
1773     {
1774     smtp_printf("%d-%.*s\r\n", code, (int)(nl - msg), msg);
1775     msg = nl + 1;
1776     while (isspace(*msg)) msg++;
1777     }
1778   }
1779 }
1780
1781
1782
1783
1784 /*************************************************
1785 *           Handle an ACL failure                *
1786 *************************************************/
1787
1788 /* This function is called when acl_check() fails. As well as calls from within
1789 this module, it is called from receive.c for an ACL after DATA. It sorts out
1790 logging the incident, and sets up the error response. A message containing
1791 newlines is turned into a multiline SMTP response, but for logging, only the
1792 first line is used.
1793
1794 There's a table of the response codes to use in globals.c, along with the table
1795 of names. VFRY is special. Despite RFC1123 it defaults disabled in Exim.
1796 However, discussion in connection with RFC 821bis (aka RFC 2821) has concluded
1797 that the response should be 252 in the disabled state, because there are broken
1798 clients that try VRFY before RCPT. A 5xx response should be given only when the
1799 address is positively known to be undeliverable. Sigh. Also, for ETRN, 458 is
1800 given on refusal, and for AUTH, 503.
1801
1802 Arguments:
1803   where      where the ACL was called from
1804   rc         the failure code
1805   user_msg   a message that can be included in an SMTP response
1806   log_msg    a message for logging
1807
1808 Returns:     0 in most cases
1809              2 if the failure code was FAIL_DROP, in which case the
1810                SMTP connection should be dropped (this value fits with the
1811                "done" variable in smtp_setup_msg() below)
1812 */
1813
1814 int
1815 smtp_handle_acl_fail(int where, int rc, uschar *user_msg, uschar *log_msg)
1816 {
1817 int code = acl_wherecodes[where];
1818 BOOL drop = rc == FAIL_DROP;
1819 uschar *lognl;
1820 uschar *sender_info = US"";
1821 uschar *what =
1822 #ifdef WITH_CONTENT_SCAN
1823   (where == ACL_WHERE_MIME)? US"during MIME ACL checks" :
1824 #endif
1825   (where == ACL_WHERE_PREDATA)? US"DATA" :
1826   (where == ACL_WHERE_DATA)? US"after DATA" :
1827   (smtp_cmd_argument == NULL)?
1828     string_sprintf("%s in \"connect\" ACL", acl_wherenames[where]) :
1829     string_sprintf("%s %s", acl_wherenames[where], smtp_cmd_argument);
1830
1831 if (drop) rc = FAIL;
1832
1833 /* We used to have sender_address here; however, there was a bug that was not
1834 updating sender_address after a rewrite during a verify. When this bug was
1835 fixed, sender_address at this point became the rewritten address. I'm not sure
1836 this is what should be logged, so I've changed to logging the unrewritten
1837 address to retain backward compatibility. */
1838
1839 #ifndef WITH_CONTENT_SCAN
1840 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA)
1841 #else
1842 if (where == ACL_WHERE_RCPT || where == ACL_WHERE_DATA || where == ACL_WHERE_MIME)
1843 #endif
1844   {
1845   sender_info = string_sprintf("F=<%s> ", (sender_address_unrewritten != NULL)?
1846     sender_address_unrewritten : sender_address);
1847   }
1848
1849 /* If there's been a sender verification failure with a specific message, and
1850 we have not sent a response about it yet, do so now, as a preliminary line for
1851 failures, but not defers. However, log it in both cases. */
1852
1853 if (sender_verified_failed != NULL &&
1854     !testflag(sender_verified_failed, af_sverify_told))
1855   {
1856   setflag(sender_verified_failed, af_sverify_told);
1857
1858   log_write(0, LOG_MAIN|LOG_REJECT, "%s sender verify %s for <%s>%s",
1859     host_and_ident(TRUE),
1860     ((sender_verified_failed->special_action & 255) == DEFER)? "defer" : "fail",
1861     sender_verified_failed->address,
1862     (sender_verified_failed->message == NULL)? US"" :
1863     string_sprintf(": %s", sender_verified_failed->message));
1864
1865   if (rc == FAIL && sender_verified_failed->user_message != NULL)
1866     smtp_respond(code, FALSE, string_sprintf(
1867         testflag(sender_verified_failed, af_verify_pmfail)?
1868           "Postmaster verification failed while checking <%s>\n%s\n"
1869           "Several RFCs state that you are required to have a postmaster\n"
1870           "mailbox for each mail domain. This host does not accept mail\n"
1871           "from domains whose servers reject the postmaster address."
1872           :
1873         testflag(sender_verified_failed, af_verify_nsfail)?
1874           "Callback setup failed while verifying <%s>\n%s\n"
1875           "The initial connection, or a HELO or MAIL FROM:<> command was\n"
1876           "rejected. Refusing MAIL FROM:<> does not help fight spam, disregards\n"
1877           "RFC requirements, and stops you from receiving standard bounce\n"
1878           "messages. This host does not accept mail from domains whose servers\n"
1879           "refuse bounces."
1880           :
1881           "Verification failed for <%s>\n%s",
1882         sender_verified_failed->address,
1883         sender_verified_failed->user_message));
1884   }
1885
1886 /* Sort out text for logging */
1887
1888 log_msg = (log_msg == NULL)? US"" : string_sprintf(": %s", log_msg);
1889 lognl = Ustrchr(log_msg, '\n');
1890 if (lognl != NULL) *lognl = 0;
1891
1892 /* Send permanent failure response to the command, but the code used isn't
1893 always a 5xx one - see comments at the start of this function. If the original
1894 rc was FAIL_DROP we drop the connection and yield 2. */
1895
1896 if (rc == FAIL) smtp_respond(code, TRUE, (user_msg == NULL)?
1897   US"Administrative prohibition" : user_msg);
1898
1899 /* Send temporary failure response to the command. Don't give any details,
1900 unless acl_temp_details is set. This is TRUE for a callout defer, a "defer"
1901 verb, and for a header verify when smtp_return_error_details is set.
1902
1903 This conditional logic is all somewhat of a mess because of the odd
1904 interactions between temp_details and return_error_details. One day it should
1905 be re-implemented in a tidier fashion. */
1906
1907 else
1908   {
1909   if (acl_temp_details && user_msg != NULL)
1910     {
1911     if (smtp_return_error_details &&
1912         sender_verified_failed != NULL &&
1913         sender_verified_failed->message != NULL)
1914       {
1915       smtp_respond(451, FALSE, sender_verified_failed->message);
1916       }
1917     smtp_respond(451, TRUE, user_msg);
1918     }
1919   else
1920     smtp_printf("451 Temporary local problem - please try later\r\n");
1921   }
1922
1923 /* Log the incident. If the connection is not forcibly to be dropped, return 0.
1924 Otherwise, log why it is closing if required and return 2.  */
1925
1926 log_write(0, LOG_MAIN|LOG_REJECT, "%s %s%srejected %s%s",
1927   host_and_ident(TRUE),
1928   sender_info, (rc == FAIL)? US"" : US"temporarily ", what, log_msg);
1929
1930 if (!drop) return 0;
1931
1932 log_write(L_smtp_connection, LOG_MAIN, "%s closed by DROP in ACL",
1933   smtp_get_connection_info());
1934 return 2;
1935 }
1936
1937
1938
1939
1940 /*************************************************
1941 *             Verify HELO argument               *
1942 *************************************************/
1943
1944 /* This function is called if helo_verify_hosts or helo_try_verify_hosts is
1945 matched. It is also called from ACL processing if verify = helo is used and
1946 verification was not previously tried (i.e. helo_try_verify_hosts was not
1947 matched). The result of its processing is to set helo_verified and
1948 helo_verify_failed. These variables should both be FALSE for this function to
1949 be called.
1950
1951 Note that EHLO/HELO is legitimately allowed to quote an address literal. Allow
1952 for IPv6 ::ffff: literals.
1953
1954 Argument:   none
1955 Returns:    TRUE if testing was completed;
1956             FALSE on a temporary failure
1957 */
1958
1959 BOOL
1960 smtp_verify_helo(void)
1961 {
1962 BOOL yield = TRUE;
1963
1964 HDEBUG(D_receive) debug_printf("verifying EHLO/HELO argument \"%s\"\n",
1965   sender_helo_name);
1966
1967 if (sender_helo_name == NULL)
1968   {
1969   HDEBUG(D_receive) debug_printf("no EHLO/HELO command was issued\n");
1970   }
1971
1972 else if (sender_helo_name[0] == '[')
1973   {
1974   helo_verified = Ustrncmp(sender_helo_name+1, sender_host_address,
1975     Ustrlen(sender_host_address)) == 0;
1976
1977   #if HAVE_IPV6
1978   if (!helo_verified)
1979     {
1980     if (strncmpic(sender_host_address, US"::ffff:", 7) == 0)
1981       helo_verified = Ustrncmp(sender_helo_name + 1,
1982         sender_host_address + 7, Ustrlen(sender_host_address) - 7) == 0;
1983     }
1984   #endif
1985
1986   HDEBUG(D_receive)
1987     { if (helo_verified) debug_printf("matched host address\n"); }
1988   }
1989
1990 /* Do a reverse lookup if one hasn't already given a positive or negative
1991 response. If that fails, or the name doesn't match, try checking with a forward
1992 lookup. */
1993
1994 else
1995   {
1996   if (sender_host_name == NULL && !host_lookup_failed)
1997     yield = host_name_lookup() != DEFER;
1998
1999   /* If a host name is known, check it and all its aliases. */
2000
2001   if (sender_host_name != NULL)
2002     {
2003     helo_verified = strcmpic(sender_host_name, sender_helo_name) == 0;
2004
2005     if (helo_verified)
2006       {
2007       HDEBUG(D_receive) debug_printf("matched host name\n");
2008       }
2009     else
2010       {
2011       uschar **aliases = sender_host_aliases;
2012       while (*aliases != NULL)
2013         {
2014         helo_verified = strcmpic(*aliases++, sender_helo_name) == 0;
2015         if (helo_verified) break;
2016         }
2017       HDEBUG(D_receive)
2018         {
2019         if (helo_verified)
2020           debug_printf("matched alias %s\n", *(--aliases));
2021         }
2022       }
2023     }
2024
2025   /* Final attempt: try a forward lookup of the helo name */
2026
2027   if (!helo_verified)
2028     {
2029     int rc;
2030     host_item h;
2031     h.name = sender_helo_name;
2032     h.address = NULL;
2033     h.mx = MX_NONE;
2034     h.next = NULL;
2035     HDEBUG(D_receive) debug_printf("getting IP address for %s\n",
2036       sender_helo_name);
2037     rc = host_find_byname(&h, NULL, NULL, TRUE);
2038     if (rc == HOST_FOUND || rc == HOST_FOUND_LOCAL)
2039       {
2040       host_item *hh = &h;
2041       while (hh != NULL)
2042         {
2043         if (Ustrcmp(hh->address, sender_host_address) == 0)
2044           {
2045           helo_verified = TRUE;
2046           HDEBUG(D_receive)
2047             debug_printf("IP address for %s matches calling address\n",
2048               sender_helo_name);
2049           break;
2050           }
2051         hh = hh->next;
2052         }
2053       }
2054     }
2055   }
2056
2057 if (!helo_verified) helo_verify_failed = FALSE;  /* We've tried ... */
2058 return yield;
2059 }
2060
2061
2062
2063
2064 /*************************************************
2065 *       Initialize for SMTP incoming message     *
2066 *************************************************/
2067
2068 /* This function conducts the initial dialogue at the start of an incoming SMTP
2069 message, and builds a list of recipients. However, if the incoming message
2070 is part of a batch (-bS option) a separate function is called since it would
2071 be messy having tests splattered about all over this function. This function
2072 therefore handles the case where interaction is occurring. The input and output
2073 files are set up in smtp_in and smtp_out.
2074
2075 The global recipients_list is set to point to a vector of recipient_item
2076 blocks, whose number is given by recipients_count. This is extended by the
2077 receive_add_recipient() function. The global variable sender_address is set to
2078 the sender's address. The yield is +1 if a message has been successfully
2079 started, 0 if a QUIT command was encountered or the connection was refused from
2080 the particular host, or -1 if the connection was lost.
2081
2082 Argument: none
2083
2084 Returns:  > 0 message successfully started (reached DATA)
2085           = 0 QUIT read or end of file reached or call refused
2086           < 0 lost connection
2087 */
2088
2089 int
2090 smtp_setup_msg(void)
2091 {
2092 int done = 0;
2093 BOOL toomany = FALSE;
2094 BOOL discarded = FALSE;
2095 BOOL last_was_rej_mail = FALSE;
2096 BOOL last_was_rcpt = FALSE;
2097 void *reset_point = store_get(0);
2098
2099 DEBUG(D_receive) debug_printf("smtp_setup_msg entered\n");
2100
2101 /* Reset for start of new message. We allow one RSET not to be counted as a
2102 nonmail command, for those MTAs that insist on sending it between every
2103 message. Ditto for EHLO/HELO and for STARTTLS, to allow for going in and out of
2104 TLS between messages (an Exim client may do this if it has messages queued up
2105 for the host). Note: we do NOT reset AUTH at this point. */
2106
2107 smtp_reset(reset_point);
2108 message_ended = END_NOTSTARTED;
2109
2110 cmd_list[CMD_LIST_RSET].is_mail_cmd = TRUE;
2111 cmd_list[CMD_LIST_HELO].is_mail_cmd = TRUE;
2112 cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
2113 #ifdef SUPPORT_TLS
2114 cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = TRUE;
2115 #endif
2116
2117 /* Set the local signal handler for SIGTERM - it tries to end off tidily */
2118
2119 os_non_restarting_signal(SIGTERM, command_sigterm_handler);
2120
2121 /* Batched SMTP is handled in a different function. */
2122
2123 if (smtp_batched_input) return smtp_setup_batch_msg();
2124
2125 /* Deal with SMTP commands. This loop is exited by setting done to a POSITIVE
2126 value. The values are 2 larger than the required yield of the function. */
2127
2128 while (done <= 0)
2129   {
2130   uschar **argv;
2131   uschar *etrn_command;
2132   uschar *etrn_serialize_key;
2133   uschar *errmess;
2134   uschar *user_msg, *log_msg;
2135   uschar *recipient = NULL;
2136   uschar *hello = NULL;
2137   uschar *set_id = NULL;
2138   uschar *s, *ss;
2139   BOOL was_rej_mail = FALSE;
2140   BOOL was_rcpt = FALSE;
2141   void (*oldsignal)(int);
2142   pid_t pid;
2143   int start, end, sender_domain, recipient_domain;
2144   int ptr, size, rc;
2145   int c;
2146   auth_instance *au;
2147
2148   switch(smtp_read_command(TRUE))
2149     {
2150     /* The AUTH command is not permitted to occur inside a transaction, and may
2151     occur successfully only once per connection, and then only when we've
2152     advertised it. Actually, that isn't quite true. When TLS is started, all
2153     previous information about a connection must be discarded, so a new AUTH is
2154     permitted at that time.
2155
2156     AUTH is initially labelled as a "nonmail command" so that one occurrence
2157     doesn't get counted. We change the label here so that multiple failing
2158     AUTHS will eventually hit the nonmail threshold. */
2159
2160     case AUTH_CMD:
2161     authentication_failed = TRUE;
2162     cmd_list[CMD_LIST_AUTH].is_mail_cmd = FALSE;
2163
2164     if (!auth_advertised)
2165       {
2166       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2167         US"AUTH command used when not advertised");
2168       break;
2169       }
2170     if (sender_host_authenticated != NULL)
2171       {
2172       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2173         US"already authenticated");
2174       break;
2175       }
2176     if (sender_address != NULL)
2177       {
2178       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2179         US"not permitted in mail transaction");
2180       break;
2181       }
2182
2183     /* Check the ACL */
2184
2185     if (acl_smtp_auth != NULL)
2186       {
2187       rc = acl_check(ACL_WHERE_AUTH, NULL, acl_smtp_auth, &user_msg, &log_msg);
2188       if (rc != OK)
2189         {
2190         done = smtp_handle_acl_fail(ACL_WHERE_AUTH, rc, user_msg, log_msg);
2191         break;
2192         }
2193       }
2194
2195     /* Find the name of the requested authentication mechanism. */
2196
2197     s = smtp_cmd_argument;
2198     while ((c = *smtp_cmd_argument) != 0 && !isspace(c))
2199       {
2200       if (!isalnum(c) && c != '-' && c != '_')
2201         {
2202         done = synprot_error(L_smtp_syntax_error, 501, NULL,
2203           US"invalid character in authentication mechanism name");
2204         goto COMMAND_LOOP;
2205         }
2206       smtp_cmd_argument++;
2207       }
2208
2209     /* If not at the end of the line, we must be at white space. Terminate the
2210     name and move the pointer on to any data that may be present. */
2211
2212     if (*smtp_cmd_argument != 0)
2213       {
2214       *smtp_cmd_argument++ = 0;
2215       while (isspace(*smtp_cmd_argument)) smtp_cmd_argument++;
2216       }
2217
2218     /* Search for an authentication mechanism which is configured for use
2219     as a server and which has been advertised. */
2220
2221     for (au = auths; au != NULL; au = au->next)
2222       {
2223       if (strcmpic(s, au->public_name) == 0 && au->server &&
2224           au->advertised) break;
2225       }
2226
2227     if (au == NULL)
2228       {
2229       done = synprot_error(L_smtp_protocol_error, 504, NULL,
2230         string_sprintf("%s authentication mechanism not supported", s));
2231       break;
2232       }
2233
2234     /* Run the checking code, passing the remainder of the command
2235     line as data. Initialize $0 empty. The authenticator may set up
2236     other numeric variables. Afterwards, have a go at expanding the set_id
2237     string, even if authentication failed - for bad passwords it can be useful
2238     to log the userid. On success, require set_id to expand and exist, and
2239     put it in authenticated_id. Save this in permanent store, as the working
2240     store gets reset at HELO, RSET, etc. */
2241
2242     expand_nmax = 0;
2243     expand_nlength[0] = 0;   /* $0 contains nothing */
2244
2245     c = (au->info->servercode)(au, smtp_cmd_argument);
2246     if (au->set_id != NULL) set_id = expand_string(au->set_id);
2247     expand_nmax = -1;        /* Reset numeric variables */
2248
2249     /* The value of authenticated_id is stored in the spool file and printed in
2250     log lines. It must not contain binary zeros or newline characters. In
2251     normal use, it never will, but when playing around or testing, this error
2252     can (did) happen. To guard against this, ensure that the id contains only
2253     printing characters. */
2254
2255     if (set_id != NULL) set_id = string_printing(set_id);
2256
2257     /* For the non-OK cases, set up additional logging data if set_id
2258     is not empty. */
2259
2260     if (c != OK)
2261       {
2262       if (set_id != NULL && *set_id != 0)
2263         set_id = string_sprintf(" (set_id=%s)", set_id);
2264       else set_id = US"";
2265       }
2266
2267     /* Switch on the result */
2268
2269     switch(c)
2270       {
2271       case OK:
2272       if (au->set_id == NULL || set_id != NULL)    /* Complete success */
2273         {
2274         if (set_id != NULL) authenticated_id = string_copy_malloc(set_id);
2275         sender_host_authenticated = au->name;
2276         authentication_failed = FALSE;
2277         received_protocol =
2278           protocols[pextend + pauthed + ((tls_active >= 0)? pcrpted:0)] +
2279             ((sender_host_address != NULL)? pnlocal : 0);
2280         s = ss = US"235 Authentication succeeded";
2281         authenticated_by = au;
2282         break;
2283         }
2284
2285       /* Authentication succeeded, but we failed to expand the set_id string.
2286       Treat this as a temporary error. */
2287
2288       auth_defer_msg = expand_string_message;
2289       /* Fall through */
2290
2291       case DEFER:
2292       s = string_sprintf("435 Unable to authenticate at present%s",
2293         auth_defer_user_msg);
2294       ss = string_sprintf("435 Unable to authenticate at present%s: %s",
2295         set_id, auth_defer_msg);
2296       break;
2297
2298       case BAD64:
2299       s = ss = US"501 Invalid base64 data";
2300       break;
2301
2302       case CANCELLED:
2303       s = ss = US"501 Authentication cancelled";
2304       break;
2305
2306       case UNEXPECTED:
2307       s = ss = US"553 Initial data not expected";
2308       break;
2309
2310       case FAIL:
2311       s = US"535 Incorrect authentication data";
2312       ss = string_sprintf("535 Incorrect authentication data%s", set_id);
2313       break;
2314
2315       default:
2316       s = US"435 Internal error";
2317       ss = string_sprintf("435 Internal error%s: return %d from authentication "
2318         "check", set_id, c);
2319       break;
2320       }
2321
2322     smtp_printf("%s\r\n", s);
2323     if (c != OK)
2324       log_write(0, LOG_MAIN|LOG_REJECT, "%s authenticator failed for %s: %s",
2325         au->name, host_and_ident(FALSE), ss);
2326
2327     break;  /* AUTH_CMD */
2328
2329     /* The HELO/EHLO commands are permitted to appear in the middle of a
2330     session as well as at the beginning. They have the effect of a reset in
2331     addition to their other functions. Their absence at the start cannot be
2332     taken to be an error.
2333
2334     RFC 2821 says:
2335
2336       If the EHLO command is not acceptable to the SMTP server, 501, 500,
2337       or 502 failure replies MUST be returned as appropriate.  The SMTP
2338       server MUST stay in the same state after transmitting these replies
2339       that it was in before the EHLO was received.
2340
2341     Therefore, we do not do the reset until after checking the command for
2342     acceptability. This change was made for Exim release 4.11. Previously
2343     it did the reset first. */
2344
2345     case HELO_CMD:
2346     hello = US"HELO";
2347     esmtp = FALSE;
2348     goto HELO_EHLO;
2349
2350     case EHLO_CMD:
2351     hello = US"EHLO";
2352     esmtp = TRUE;
2353
2354     HELO_EHLO:      /* Common code for HELO and EHLO */
2355     cmd_list[CMD_LIST_HELO].is_mail_cmd = FALSE;
2356     cmd_list[CMD_LIST_EHLO].is_mail_cmd = FALSE;
2357
2358     /* Reject the HELO if its argument was invalid or non-existent. A
2359     successful check causes the argument to be saved in malloc store. */
2360
2361     if (!check_helo(smtp_cmd_argument))
2362       {
2363       smtp_printf("501 Syntactically invalid %s argument(s)\r\n", hello);
2364
2365       log_write(0, LOG_MAIN|LOG_REJECT, "rejected %s from %s: syntactically "
2366         "invalid argument(s): %s", hello, host_and_ident(FALSE),
2367         (*smtp_cmd_argument == 0)? US"(no argument given)" :
2368                            string_printing(smtp_cmd_argument));
2369
2370       if (++synprot_error_count > smtp_max_synprot_errors)
2371         {
2372         log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
2373           "syntax or protocol errors (last command was \"%s\")",
2374           host_and_ident(FALSE), smtp_cmd_buffer);
2375         done = 1;
2376         }
2377
2378       break;
2379       }
2380
2381     /* If sender_host_unknown is true, we have got here via the -bs interface,
2382     not called from inetd. Otherwise, we are running an IP connection and the
2383     host address will be set. If the helo name is the primary name of this
2384     host and we haven't done a reverse lookup, force one now. If helo_required
2385     is set, ensure that the HELO name matches the actual host. If helo_verify
2386     is set, do the same check, but softly. */
2387
2388     if (!sender_host_unknown)
2389       {
2390       BOOL old_helo_verified = helo_verified;
2391       uschar *p = smtp_cmd_argument;
2392
2393       while (*p != 0 && !isspace(*p)) { *p = tolower(*p); p++; }
2394       *p = 0;
2395
2396       /* Force a reverse lookup if HELO quoted something in helo_lookup_domains
2397       because otherwise the log can be confusing. */
2398
2399       if (sender_host_name == NULL &&
2400            (deliver_domain = sender_helo_name,  /* set $domain */
2401             match_isinlist(sender_helo_name, &helo_lookup_domains, 0,
2402               &domainlist_anchor, NULL, MCL_DOMAIN, TRUE, NULL)) == OK)
2403         (void)host_name_lookup();
2404
2405       /* Rebuild the fullhost info to include the HELO name (and the real name
2406       if it was looked up.) */
2407
2408       host_build_sender_fullhost();  /* Rebuild */
2409       set_process_info("handling%s incoming connection from %s",
2410         (tls_active >= 0)? " TLS" : "", host_and_ident(FALSE));
2411
2412       /* Verify if configured. This doesn't give much security, but it does
2413       make some people happy to be able to do it. If helo_required is set,
2414       (host matches helo_verify_hosts) failure forces rejection. If helo_verify
2415       is set (host matches helo_try_verify_hosts), it does not. This is perhaps
2416       now obsolescent, since the verification can now be requested selectively
2417       at ACL time. */
2418
2419       helo_verified = helo_verify_failed = FALSE;
2420       if (helo_required || helo_verify)
2421         {
2422         BOOL tempfail = !smtp_verify_helo();
2423         if (!helo_verified)
2424           {
2425           if (helo_required)
2426             {
2427             smtp_printf("%d %s argument does not match calling host\r\n",
2428               tempfail? 451 : 550, hello);
2429             log_write(0, LOG_MAIN|LOG_REJECT, "%srejected \"%s %s\" from %s",
2430               tempfail? "temporarily " : "",
2431               hello, sender_helo_name, host_and_ident(FALSE));
2432             helo_verified = old_helo_verified;
2433             break;                   /* End of HELO/EHLO processing */
2434             }
2435           HDEBUG(D_all) debug_printf("%s verification failed but host is in "
2436             "helo_try_verify_hosts\n", hello);
2437           }
2438         }
2439       }
2440
2441 #ifdef EXPERIMENTAL_SPF
2442     /* set up SPF context */
2443     spf_init(sender_helo_name, sender_host_address);
2444 #endif
2445
2446     /* Apply an ACL check if one is defined */
2447
2448     if (acl_smtp_helo != NULL)
2449       {
2450       rc = acl_check(ACL_WHERE_HELO, NULL, acl_smtp_helo, &user_msg, &log_msg);
2451       if (rc != OK)
2452         {
2453         done = smtp_handle_acl_fail(ACL_WHERE_HELO, rc, user_msg, log_msg);
2454         sender_helo_name = NULL;
2455         host_build_sender_fullhost();  /* Rebuild */
2456         break;
2457         }
2458       }
2459
2460     /* The EHLO/HELO command is acceptable. Reset the protocol and the state,
2461     abandoning any previous message. */
2462
2463     received_protocol = (esmtp?
2464       protocols[pextend +
2465         ((sender_host_authenticated != NULL)? pauthed : 0) +
2466         ((tls_active >= 0)? pcrpted : 0)]
2467       :
2468       protocols[pnormal + ((tls_active >= 0)? pcrpted : 0)])
2469       +
2470       ((sender_host_address != NULL)? pnlocal : 0);
2471
2472     smtp_reset(reset_point);
2473     toomany = FALSE;
2474
2475     /* Generate an OK reply, including the ident if present, and also
2476     the IP address if present. Reflecting back the ident is intended
2477     as a deterrent to mail forgers. For maximum efficiency, and also
2478     because some broken systems expect each response to be in a single
2479     packet, arrange that it is sent in one write(). */
2480
2481     auth_advertised = FALSE;
2482     pipelining_advertised = FALSE;
2483     #ifdef SUPPORT_TLS
2484     tls_advertised = FALSE;
2485     #endif
2486
2487     s = string_sprintf("250 %s Hello %s%s%s",
2488       smtp_active_hostname,
2489       (sender_ident == NULL)?  US"" : sender_ident,
2490       (sender_ident == NULL)?  US"" : US" at ",
2491       (sender_host_name == NULL)? sender_helo_name : sender_host_name);
2492
2493     ptr = Ustrlen(s);
2494     size = ptr + 1;
2495
2496     if (sender_host_address != NULL)
2497       {
2498       s = string_cat(s, &size, &ptr, US" [", 2);
2499       s = string_cat(s, &size, &ptr, sender_host_address,
2500         Ustrlen(sender_host_address));
2501       s = string_cat(s, &size, &ptr, US"]", 1);
2502       }
2503
2504     s = string_cat(s, &size, &ptr, US"\r\n", 2);
2505
2506     /* If we received EHLO, we must create a multiline response which includes
2507     the functions supported. */
2508
2509     if (esmtp)
2510       {
2511       s[3] = '-';
2512
2513       /* I'm not entirely happy with this, as an MTA is supposed to check
2514       that it has enough room to accept a message of maximum size before
2515       it sends this. However, there seems little point in not sending it.
2516       The actual size check happens later at MAIL FROM time. By postponing it
2517       till then, VRFY and EXPN can be used after EHLO when space is short. */
2518
2519       if (thismessage_size_limit > 0)
2520         {
2521         sprintf(CS big_buffer, "250-SIZE %d\r\n", thismessage_size_limit);
2522         s = string_cat(s, &size, &ptr, big_buffer, Ustrlen(big_buffer));
2523         }
2524       else
2525         {
2526         s = string_cat(s, &size, &ptr, US"250-SIZE\r\n", 10);
2527         }
2528
2529       /* Exim does not do protocol conversion or data conversion. It is 8-bit
2530       clean; if it has an 8-bit character in its hand, it just sends it. It
2531       cannot therefore specify 8BITMIME and remain consistent with the RFCs.
2532       However, some users want this option simply in order to stop MUAs
2533       mangling messages that contain top-bit-set characters. It is therefore
2534       provided as an option. */
2535
2536       if (accept_8bitmime)
2537         s = string_cat(s, &size, &ptr, US"250-8BITMIME\r\n", 14);
2538
2539       /* Advertise ETRN if there's an ACL checking whether a host is
2540       permitted to issue it; a check is made when any host actually tries. */
2541
2542       if (acl_smtp_etrn != NULL)
2543         {
2544         s = string_cat(s, &size, &ptr, US"250-ETRN\r\n", 10);
2545         }
2546
2547       /* Advertise EXPN if there's an ACL checking whether a host is
2548       permitted to issue it; a check is made when any host actually tries. */
2549
2550       if (acl_smtp_expn != NULL)
2551         {
2552         s = string_cat(s, &size, &ptr, US"250-EXPN\r\n", 10);
2553         }
2554
2555       /* Exim is quite happy with pipelining, so let the other end know that
2556       it is safe to use it, unless advertising is disabled. */
2557
2558       if (verify_check_host(&pipelining_advertise_hosts) == OK)
2559         {
2560         s = string_cat(s, &size, &ptr, US"250-PIPELINING\r\n", 16);
2561         sync_cmd_limit = NON_SYNC_CMD_PIPELINING;
2562         pipelining_advertised = TRUE;
2563         }
2564
2565       /* If any server authentication mechanisms are configured, advertise
2566       them if the current host is in auth_advertise_hosts. The problem with
2567       advertising always is that some clients then require users to
2568       authenticate (and aren't configurable otherwise) even though it may not
2569       be necessary (e.g. if the host is in host_accept_relay).
2570
2571       RFC 2222 states that SASL mechanism names contain only upper case
2572       letters, so output the names in upper case, though we actually recognize
2573       them in either case in the AUTH command. */
2574
2575       if (auths != NULL)
2576         {
2577         if (verify_check_host(&auth_advertise_hosts) == OK)
2578           {
2579           auth_instance *au;
2580           BOOL first = TRUE;
2581           for (au = auths; au != NULL; au = au->next)
2582             {
2583             if (au->server && (au->advertise_condition == NULL ||
2584                 expand_check_condition(au->advertise_condition, au->name,
2585                 US"authenticator")))
2586               {
2587               int saveptr;
2588               if (first)
2589                 {
2590                 s = string_cat(s, &size, &ptr, US"250-AUTH", 8);
2591                 first = FALSE;
2592                 auth_advertised = TRUE;
2593                 }
2594               saveptr = ptr;
2595               s = string_cat(s, &size, &ptr, US" ", 1);
2596               s = string_cat(s, &size, &ptr, au->public_name,
2597                 Ustrlen(au->public_name));
2598               while (++saveptr < ptr) s[saveptr] = toupper(s[saveptr]);
2599               au->advertised = TRUE;
2600               }
2601             else au->advertised = FALSE;
2602             }
2603           if (!first) s = string_cat(s, &size, &ptr, US"\r\n", 2);
2604           }
2605         }
2606
2607       /* Advertise TLS (Transport Level Security) aka SSL (Secure Socket Layer)
2608       if it has been included in the binary, and the host matches
2609       tls_advertise_hosts. We must *not* advertise if we are already in a
2610       secure connection. */
2611
2612       #ifdef SUPPORT_TLS
2613       if (tls_active < 0 &&
2614           verify_check_host(&tls_advertise_hosts) != FAIL)
2615         {
2616         s = string_cat(s, &size, &ptr, US"250-STARTTLS\r\n", 14);
2617         tls_advertised = TRUE;
2618         }
2619       #endif
2620
2621       /* Finish off the multiline reply with one that is always available. */
2622
2623       s = string_cat(s, &size, &ptr, US"250 HELP\r\n", 10);
2624       }
2625
2626     /* Terminate the string (for debug), write it, and note that HELO/EHLO
2627     has been seen. */
2628
2629     s[ptr] = 0;
2630
2631     #ifdef SUPPORT_TLS
2632     if (tls_active >= 0) (void)tls_write(s, ptr); else
2633     #endif
2634
2635     (void)fwrite(s, 1, ptr, smtp_out);
2636     DEBUG(D_receive) debug_printf("SMTP>> %s", s);
2637     helo_seen = TRUE;
2638     break;   /* HELO/EHLO */
2639
2640
2641     /* The MAIL command requires an address as an operand. All we do
2642     here is to parse it for syntactic correctness. The form "<>" is
2643     a special case which converts into an empty string. The start/end
2644     pointers in the original are not used further for this address, as
2645     it is the canonical extracted address which is all that is kept. */
2646
2647     case MAIL_CMD:
2648     smtp_mailcmd_count++;              /* Count for limit and ratelimit */
2649     was_rej_mail = TRUE;               /* Reset if accepted */
2650
2651     if (helo_required && !helo_seen)
2652       {
2653       smtp_printf("503 HELO or EHLO required\r\n");
2654       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL from %s: no "
2655         "HELO/EHLO given", host_and_ident(FALSE));
2656       break;
2657       }
2658
2659     if (sender_address != NULL)
2660       {
2661       done = synprot_error(L_smtp_protocol_error, 503, NULL,
2662         US"sender already given");
2663       break;
2664       }
2665
2666     if (smtp_cmd_argument[0] == 0)
2667       {
2668       done = synprot_error(L_smtp_protocol_error, 501, NULL,
2669         US"MAIL must have an address operand");
2670       break;
2671       }
2672
2673     /* Check to see if the limit for messages per connection would be
2674     exceeded by accepting further messages. */
2675
2676     if (smtp_accept_max_per_connection > 0 &&
2677         smtp_mailcmd_count > smtp_accept_max_per_connection)
2678       {
2679       smtp_printf("421 too many messages in this connection\r\n");
2680       log_write(0, LOG_MAIN|LOG_REJECT, "rejected MAIL command %s: too many "
2681         "messages in one connection", host_and_ident(TRUE));
2682       break;
2683       }
2684
2685     /* Reset for start of message - even if this is going to fail, we
2686     obviously need to throw away any previous data. */
2687
2688     smtp_reset(reset_point);
2689     toomany = FALSE;
2690     sender_data = recipient_data = NULL;
2691
2692     /* Loop, checking for ESMTP additions to the MAIL FROM command. */
2693
2694     if (esmtp) for(;;)
2695       {
2696       uschar *name, *value, *end;
2697       unsigned long int size;
2698
2699       if (!extract_option(&name, &value)) break;
2700
2701       /* Handle SIZE= by reading the value. We don't do the check till later,
2702       in order to be able to log the sender address on failure. */
2703
2704       if (strcmpic(name, US"SIZE") == 0 &&
2705           ((size = (int)Ustrtoul(value, &end, 10)), *end == 0))
2706         {
2707         if ((size == ULONG_MAX && errno == ERANGE) || size > INT_MAX)
2708           size = INT_MAX;
2709         message_size = (int)size;
2710         }
2711
2712       /* If this session was initiated with EHLO and accept_8bitmime is set,
2713       Exim will have indicated that it supports the BODY=8BITMIME option. In
2714       fact, it does not support this according to the RFCs, in that it does not
2715       take any special action for forwarding messages containing 8-bit
2716       characters. That is why accept_8bitmime is not the default setting, but
2717       some sites want the action that is provided. We recognize both "8BITMIME"
2718       and "7BIT" as body types, but take no action. */
2719
2720       else if (accept_8bitmime && strcmpic(name, US"BODY") == 0 &&
2721           (strcmpic(value, US"8BITMIME") == 0 ||
2722            strcmpic(value, US"7BIT") == 0)) {}
2723
2724       /* Handle the AUTH extension. If the value given is not "<>" and either
2725       the ACL says "yes" or there is no ACL but the sending host is
2726       authenticated, we set it up as the authenticated sender. However, if the
2727       authenticator set a condition to be tested, we ignore AUTH on MAIL unless
2728       the condition is met. The value of AUTH is an xtext, which means that +,
2729       = and cntrl chars are coded in hex; however "<>" is unaffected by this
2730       coding. */
2731
2732       else if (strcmpic(name, US"AUTH") == 0)
2733         {
2734         if (Ustrcmp(value, "<>") != 0)
2735           {
2736           int rc;
2737           uschar *ignore_msg;
2738
2739           if (auth_xtextdecode(value, &authenticated_sender) < 0)
2740             {
2741             /* Put back terminator overrides for error message */
2742             name[-1] = ' ';
2743             value[-1] = '=';
2744             done = synprot_error(L_smtp_syntax_error, 501, NULL,
2745               US"invalid data for AUTH");
2746             goto COMMAND_LOOP;
2747             }
2748
2749           if (acl_smtp_mailauth == NULL)
2750             {
2751             ignore_msg = US"client not authenticated";
2752             rc = (sender_host_authenticated != NULL)? OK : FAIL;
2753             }
2754           else
2755             {
2756             ignore_msg = US"rejected by ACL";
2757             rc = acl_check(ACL_WHERE_MAILAUTH, NULL, acl_smtp_mailauth,
2758               &user_msg, &log_msg);
2759             }
2760
2761           switch (rc)
2762             {
2763             case OK:
2764             if (authenticated_by == NULL ||
2765                 authenticated_by->mail_auth_condition == NULL ||
2766                 expand_check_condition(authenticated_by->mail_auth_condition,
2767                     authenticated_by->name, US"authenticator"))
2768               break;     /* Accept the AUTH */
2769
2770             ignore_msg = US"server_mail_auth_condition failed";
2771             if (authenticated_id != NULL)
2772               ignore_msg = string_sprintf("%s: authenticated ID=\"%s\"",
2773                 ignore_msg, authenticated_id);
2774
2775             /* Fall through */
2776
2777             case FAIL:
2778             authenticated_sender = NULL;
2779             log_write(0, LOG_MAIN, "ignoring AUTH=%s from %s (%s)",
2780               value, host_and_ident(TRUE), ignore_msg);
2781             break;
2782
2783             /* Should only get DEFER or ERROR here. Put back terminator
2784             overrides for error message */
2785
2786             default:
2787             name[-1] = ' ';
2788             value[-1] = '=';
2789             (void)smtp_handle_acl_fail(ACL_WHERE_MAILAUTH, rc, user_msg,
2790               log_msg);
2791             goto COMMAND_LOOP;
2792             }
2793           }
2794         }
2795
2796       /* Unknown option. Stick back the terminator characters and break
2797       the loop. An error for a malformed address will occur. */
2798
2799       else
2800         {
2801         name[-1] = ' ';
2802         value[-1] = '=';
2803         break;
2804         }
2805       }
2806
2807     /* If we have passed the threshold for rate limiting, apply the current
2808     delay, and update it for next time, provided this is a limited host. */
2809
2810     if (smtp_mailcmd_count > smtp_rlm_threshold &&
2811         verify_check_host(&smtp_ratelimit_hosts) == OK)
2812       {
2813       DEBUG(D_receive) debug_printf("rate limit MAIL: delay %.3g sec\n",
2814         smtp_delay_mail/1000.0);
2815       millisleep((int)smtp_delay_mail);
2816       smtp_delay_mail *= smtp_rlm_factor;
2817       if (smtp_delay_mail > (double)smtp_rlm_limit)
2818         smtp_delay_mail = (double)smtp_rlm_limit;
2819       }
2820
2821     /* Now extract the address, first applying any SMTP-time rewriting. The
2822     TRUE flag allows "<>" as a sender address. */
2823
2824     raw_sender = ((rewrite_existflags & rewrite_smtp) != 0)?
2825       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
2826         global_rewrite_rules) : smtp_cmd_argument;
2827
2828     /* rfc821_domains = TRUE; << no longer needed */
2829     raw_sender =
2830       parse_extract_address(raw_sender, &errmess, &start, &end, &sender_domain,
2831         TRUE);
2832     /* rfc821_domains = FALSE; << no longer needed */
2833
2834     if (raw_sender == NULL)
2835       {
2836       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_argument, errmess);
2837       break;
2838       }
2839
2840     sender_address = raw_sender;
2841
2842     /* If there is a configured size limit for mail, check that this message
2843     doesn't exceed it. The check is postponed to this point so that the sender
2844     can be logged. */
2845
2846     if (thismessage_size_limit > 0 && message_size > thismessage_size_limit)
2847       {
2848       smtp_printf("552 Message size exceeds maximum permitted\r\n");
2849       log_write(L_size_reject,
2850           LOG_MAIN|LOG_REJECT, "rejected MAIL FROM:<%s> %s: "
2851           "message too big: size%s=%d max=%d",
2852           sender_address,
2853           host_and_ident(TRUE),
2854           (message_size == INT_MAX)? ">" : "",
2855           message_size,
2856           thismessage_size_limit);
2857       sender_address = NULL;
2858       break;
2859       }
2860
2861     /* Check there is enough space on the disk unless configured not to.
2862     When smtp_check_spool_space is set, the check is for thismessage_size_limit
2863     plus the current message - i.e. we accept the message only if it won't
2864     reduce the space below the threshold. Add 5000 to the size to allow for
2865     overheads such as the Received: line and storing of recipients, etc.
2866     By putting the check here, even when SIZE is not given, it allow VRFY
2867     and EXPN etc. to be used when space is short. */
2868
2869     if (!receive_check_fs(
2870          (smtp_check_spool_space && message_size >= 0)?
2871             message_size + 5000 : 0))
2872       {
2873       smtp_printf("452 Space shortage, please try later\r\n");
2874       sender_address = NULL;
2875       break;
2876       }
2877
2878     /* If sender_address is unqualified, reject it, unless this is a locally
2879     generated message, or the sending host or net is permitted to send
2880     unqualified addresses - typically local machines behaving as MUAs -
2881     in which case just qualify the address. The flag is set above at the start
2882     of the SMTP connection. */
2883
2884     if (sender_domain == 0 && sender_address[0] != 0)
2885       {
2886       if (allow_unqualified_sender)
2887         {
2888         sender_domain = Ustrlen(sender_address) + 1;
2889         sender_address = rewrite_address_qualify(sender_address, FALSE);
2890         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
2891           raw_sender);
2892         }
2893       else
2894         {
2895         smtp_printf("501 %s: sender address must contain a domain\r\n",
2896           smtp_cmd_argument);
2897         log_write(L_smtp_syntax_error,
2898           LOG_MAIN|LOG_REJECT,
2899           "unqualified sender rejected: <%s> %s%s",
2900           raw_sender,
2901           host_and_ident(TRUE),
2902           host_lookup_msg);
2903         sender_address = NULL;
2904         break;
2905         }
2906       }
2907
2908     /* Apply an ACL check if one is defined, before responding */
2909
2910     rc = (acl_smtp_mail == NULL)? OK :
2911       acl_check(ACL_WHERE_MAIL, NULL, acl_smtp_mail, &user_msg, &log_msg);
2912
2913     if (rc == OK || rc == DISCARD)
2914       {
2915       smtp_printf("250 OK\r\n");
2916       smtp_delay_rcpt = smtp_rlr_base;
2917       recipients_discarded = (rc == DISCARD);
2918       was_rej_mail = FALSE;
2919       }
2920
2921     else
2922       {
2923       done = smtp_handle_acl_fail(ACL_WHERE_MAIL, rc, user_msg, log_msg);
2924       sender_address = NULL;
2925       }
2926     break;
2927
2928
2929     /* The RCPT command requires an address as an operand. All we do
2930     here is to parse it for syntactic correctness. There may be any number
2931     of RCPT commands, specifying multiple senders. We build them all into
2932     a data structure that is in argc/argv format. The start/end values
2933     given by parse_extract_address are not used, as we keep only the
2934     extracted address. */
2935
2936     case RCPT_CMD:
2937     rcpt_count++;
2938     was_rcpt = TRUE;
2939
2940     /* There must be a sender address; if the sender was rejected and
2941     pipelining was advertised, we assume the client was pipelining, and do not
2942     count this as a protocol error. Reset was_rej_mail so that further RCPTs
2943     get the same treatment. */
2944
2945     if (sender_address == NULL)
2946       {
2947       if (pipelining_advertised && last_was_rej_mail)
2948         {
2949         smtp_printf("503 sender not yet given\r\n");
2950         was_rej_mail = TRUE;
2951         }
2952       else
2953         {
2954         done = synprot_error(L_smtp_protocol_error, 503, NULL,
2955           US"sender not yet given");
2956         was_rcpt = FALSE;             /* Not a valid RCPT */
2957         }
2958       rcpt_fail_count++;
2959       break;
2960       }
2961
2962     /* Check for an operand */
2963
2964     if (smtp_cmd_argument[0] == 0)
2965       {
2966       done = synprot_error(L_smtp_syntax_error, 501, NULL,
2967         US"RCPT must have an address operand");
2968       rcpt_fail_count++;
2969       break;
2970       }
2971
2972     /* Apply SMTP rewriting then extract the working address. Don't allow "<>"
2973     as a recipient address */
2974
2975     recipient = ((rewrite_existflags & rewrite_smtp) != 0)?
2976       rewrite_one(smtp_cmd_argument, rewrite_smtp, NULL, FALSE, US"",
2977         global_rewrite_rules) : smtp_cmd_argument;
2978
2979     /* rfc821_domains = TRUE; << no longer needed */
2980     recipient = parse_extract_address(recipient, &errmess, &start, &end,
2981       &recipient_domain, FALSE);
2982     /* rfc821_domains = FALSE; << no longer needed */
2983
2984     if (recipient == NULL)
2985       {
2986       done = synprot_error(L_smtp_syntax_error, 501, smtp_cmd_argument, errmess);
2987       rcpt_fail_count++;
2988       break;
2989       }
2990
2991     /* If the recipient address is unqualified, reject it, unless this is a
2992     locally generated message. However, unqualified addresses are permitted
2993     from a configured list of hosts and nets - typically when behaving as
2994     MUAs rather than MTAs. Sad that SMTP is used for both types of traffic,
2995     really. The flag is set at the start of the SMTP connection.
2996
2997     RFC 1123 talks about supporting "the reserved mailbox postmaster"; I always
2998     assumed this meant "reserved local part", but the revision of RFC 821 and
2999     friends now makes it absolutely clear that it means *mailbox*. Consequently
3000     we must always qualify this address, regardless. */
3001
3002     if (recipient_domain == 0)
3003       {
3004       if (allow_unqualified_recipient ||
3005           strcmpic(recipient, US"postmaster") == 0)
3006         {
3007         DEBUG(D_receive) debug_printf("unqualified address %s accepted\n",
3008           recipient);
3009         recipient_domain = Ustrlen(recipient) + 1;
3010         recipient = rewrite_address_qualify(recipient, TRUE);
3011         }
3012       else
3013         {
3014         rcpt_fail_count++;
3015         smtp_printf("501 %s: recipient address must contain a domain\r\n",
3016           smtp_cmd_argument);
3017         log_write(L_smtp_syntax_error,
3018           LOG_MAIN|LOG_REJECT, "unqualified recipient rejected: "
3019           "<%s> %s%s", recipient, host_and_ident(TRUE),
3020           host_lookup_msg);
3021         break;
3022         }
3023       }
3024
3025     /* Check maximum allowed */
3026
3027     if (rcpt_count > recipients_max && recipients_max > 0)
3028       {
3029       if (recipients_max_reject)
3030         {
3031         rcpt_fail_count++;
3032         smtp_printf("552 too many recipients\r\n");
3033         if (!toomany)
3034           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: message "
3035             "rejected: sender=<%s> %s", sender_address, host_and_ident(TRUE));
3036         }
3037       else
3038         {
3039         rcpt_defer_count++;
3040         smtp_printf("452 too many recipients\r\n");
3041         if (!toomany)
3042           log_write(0, LOG_MAIN|LOG_REJECT, "too many recipients: excess "
3043             "temporarily rejected: sender=<%s> %s", sender_address,
3044             host_and_ident(TRUE));
3045         }
3046
3047       toomany = TRUE;
3048       break;
3049       }
3050
3051     /* If we have passed the threshold for rate limiting, apply the current
3052     delay, and update it for next time, provided this is a limited host. */
3053
3054     if (rcpt_count > smtp_rlr_threshold &&
3055         verify_check_host(&smtp_ratelimit_hosts) == OK)
3056       {
3057       DEBUG(D_receive) debug_printf("rate limit RCPT: delay %.3g sec\n",
3058         smtp_delay_rcpt/1000.0);
3059       millisleep((int)smtp_delay_rcpt);
3060       smtp_delay_rcpt *= smtp_rlr_factor;
3061       if (smtp_delay_rcpt > (double)smtp_rlr_limit)
3062         smtp_delay_rcpt = (double)smtp_rlr_limit;
3063       }
3064
3065     /* If the MAIL ACL discarded all the recipients, we bypass ACL checking
3066     for them. Otherwise, check the access control list for this recipient. */
3067
3068     rc = recipients_discarded? DISCARD :
3069       acl_check(ACL_WHERE_RCPT, recipient, acl_smtp_rcpt, &user_msg, &log_msg);
3070
3071     /* The ACL was happy */
3072
3073     if (rc == OK)
3074       {
3075       smtp_printf("250 Accepted\r\n");
3076       receive_add_recipient(recipient, -1);
3077       }
3078
3079     /* The recipient was discarded */
3080
3081     else if (rc == DISCARD)
3082       {
3083       smtp_printf("250 Accepted\r\n");
3084       rcpt_fail_count++;
3085       discarded = TRUE;
3086       log_write(0, LOG_MAIN|LOG_REJECT, "%s F=<%s> rejected RCPT %s: "
3087         "discarded by %s ACL%s%s", host_and_ident(TRUE),
3088         (sender_address_unrewritten != NULL)?
3089         sender_address_unrewritten : sender_address,
3090         smtp_cmd_argument, recipients_discarded? "MAIL" : "RCPT",
3091         (log_msg == NULL)? US"" : US": ",
3092         (log_msg == NULL)? US"" : log_msg);
3093       }
3094
3095     /* Either the ACL failed the address, or it was deferred. */
3096
3097     else
3098       {
3099       if (rc == FAIL) rcpt_fail_count++; else rcpt_defer_count++;
3100       done = smtp_handle_acl_fail(ACL_WHERE_RCPT, rc, user_msg, log_msg);
3101       }
3102     break;
3103
3104
3105     /* The DATA command is legal only if it follows successful MAIL FROM
3106     and RCPT TO commands. However, if pipelining is advertised, a bad DATA is
3107     not counted as a protocol error if it follows RCPT (which must have been
3108     rejected if there are no recipients.) This function is complete when a
3109     valid DATA command is encountered.
3110
3111     Note concerning the code used: RFC 2821 says this:
3112
3113      -  If there was no MAIL, or no RCPT, command, or all such commands
3114         were rejected, the server MAY return a "command out of sequence"
3115         (503) or "no valid recipients" (554) reply in response to the
3116         DATA command.
3117
3118     The example in the pipelining RFC 2920 uses 554, but I use 503 here
3119     because it is the same whether pipelining is in use or not. */
3120
3121     case DATA_CMD:
3122     if (!discarded && recipients_count <= 0)
3123       {
3124       if (pipelining_advertised && last_was_rcpt)
3125         smtp_printf("503 valid RCPT command must precede DATA\r\n");
3126       else
3127         done = synprot_error(L_smtp_protocol_error, 503, NULL,
3128           US"valid RCPT command must precede DATA");
3129       break;
3130       }
3131
3132     if (toomany && recipients_max_reject)
3133       {
3134       sender_address = NULL;  /* This will allow a new MAIL without RSET */
3135       sender_address_unrewritten = NULL;
3136       smtp_printf("554 Too many recipients\r\n");
3137       break;
3138       }
3139
3140     if (acl_smtp_predata == NULL) rc = OK; else
3141       {
3142       enable_dollar_recipients = TRUE;
3143       rc = acl_check(ACL_WHERE_PREDATA, NULL, acl_smtp_predata, &user_msg,
3144         &log_msg);
3145       enable_dollar_recipients = FALSE;
3146       }
3147
3148     if (rc == OK)
3149       {
3150       smtp_printf("354 Enter message, ending with \".\" on a line by itself\r\n");
3151       done = 3;
3152       message_ended = END_NOTENDED;   /* Indicate in middle of data */
3153       }
3154
3155     /* Either the ACL failed the address, or it was deferred. */
3156
3157     else
3158       done = smtp_handle_acl_fail(ACL_WHERE_PREDATA, rc, user_msg, log_msg);
3159
3160     break;
3161
3162
3163     case VRFY_CMD:
3164     rc = acl_check(ACL_WHERE_VRFY, NULL, acl_smtp_vrfy, &user_msg, &log_msg);
3165     if (rc != OK)
3166       done = smtp_handle_acl_fail(ACL_WHERE_VRFY, rc, user_msg, log_msg);
3167     else
3168       {
3169       uschar *address;
3170       uschar *s = NULL;
3171
3172       /* rfc821_domains = TRUE; << no longer needed */
3173       address = parse_extract_address(smtp_cmd_argument, &errmess, &start, &end,
3174         &recipient_domain, FALSE);
3175       /* rfc821_domains = FALSE; << no longer needed */
3176
3177       if (address == NULL)
3178         s = string_sprintf("501 %s", errmess);
3179       else
3180         {
3181         address_item *addr = deliver_make_addr(address, FALSE);
3182         switch(verify_address(addr, NULL, vopt_is_recipient | vopt_qualify, -1,
3183                -1, -1, NULL, NULL, NULL))
3184           {
3185           case OK:
3186           s = string_sprintf("250 <%s> is deliverable", address);
3187           break;
3188
3189           case DEFER:
3190           s = (addr->message != NULL)?
3191             string_sprintf("451 <%s> %s", address, addr->message) :
3192             string_sprintf("451 Cannot resolve <%s> at this time", address);
3193           break;
3194
3195           case FAIL:
3196           s = (addr->message != NULL)?
3197             string_sprintf("550 <%s> %s", address, addr->message) :
3198             string_sprintf("550 <%s> is not deliverable", address);
3199           log_write(0, LOG_MAIN, "VRFY failed for %s %s",
3200             smtp_cmd_argument, host_and_ident(TRUE));
3201           break;
3202           }
3203         }
3204
3205       smtp_printf("%s\r\n", s);
3206       }
3207     break;
3208
3209
3210     case EXPN_CMD:
3211     rc = acl_check(ACL_WHERE_EXPN, NULL, acl_smtp_expn, &user_msg, &log_msg);
3212     if (rc != OK)
3213       done = smtp_handle_acl_fail(ACL_WHERE_EXPN, rc, user_msg, log_msg);
3214     else
3215       {
3216       BOOL save_log_testing_mode = log_testing_mode;
3217       address_test_mode = log_testing_mode = TRUE;
3218       (void) verify_address(deliver_make_addr(smtp_cmd_argument, FALSE),
3219         smtp_out, vopt_is_recipient | vopt_qualify | vopt_expn, -1, -1, -1,
3220         NULL, NULL, NULL);
3221       address_test_mode = FALSE;
3222       log_testing_mode = save_log_testing_mode;    /* true for -bh */
3223       }
3224     break;
3225
3226
3227     #ifdef SUPPORT_TLS
3228
3229     case STARTTLS_CMD:
3230     if (!tls_advertised)
3231       {
3232       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3233         US"STARTTLS command used when not advertised");
3234       break;
3235       }
3236
3237     /* Apply an ACL check if one is defined */
3238
3239     if (acl_smtp_starttls != NULL)
3240       {
3241       rc = acl_check(ACL_WHERE_STARTTLS, NULL, acl_smtp_starttls, &user_msg,
3242         &log_msg);
3243       if (rc != OK)
3244         {
3245         done = smtp_handle_acl_fail(ACL_WHERE_STARTTLS, rc, user_msg, log_msg);
3246         break;
3247         }
3248       }
3249
3250     /* RFC 2487 is not clear on when this command may be sent, though it
3251     does state that all information previously obtained from the client
3252     must be discarded if a TLS session is started. It seems reasonble to
3253     do an implied RSET when STARTTLS is received. */
3254
3255     incomplete_transaction_log(US"STARTTLS");
3256     smtp_reset(reset_point);
3257     toomany = FALSE;
3258     cmd_list[CMD_LIST_STARTTLS].is_mail_cmd = FALSE;
3259
3260     /* Attempt to start up a TLS session, and if successful, discard all
3261     knowledge that was obtained previously. At least, that's what the RFC says,
3262     and that's what happens by default. However, in order to work round YAEB,
3263     there is an option to remember the esmtp state. Sigh.
3264
3265     We must allow for an extra EHLO command and an extra AUTH command after
3266     STARTTLS that don't add to the nonmail command count. */
3267
3268     if ((rc = tls_server_start(tls_require_ciphers)) == OK)
3269       {
3270       if (!tls_remember_esmtp)
3271         helo_seen = esmtp = auth_advertised = pipelining_advertised = FALSE;
3272       cmd_list[CMD_LIST_EHLO].is_mail_cmd = TRUE;
3273       cmd_list[CMD_LIST_AUTH].is_mail_cmd = TRUE;
3274       if (sender_helo_name != NULL)
3275         {
3276         store_free(sender_helo_name);
3277         sender_helo_name = NULL;
3278         host_build_sender_fullhost();  /* Rebuild */
3279         set_process_info("handling incoming TLS connection from %s",
3280           host_and_ident(FALSE));
3281         }
3282       received_protocol = (esmtp?
3283         protocols[pextend + pcrpted +
3284           ((sender_host_authenticated != NULL)? pauthed : 0)]
3285         :
3286         protocols[pnormal + pcrpted])
3287         +
3288         ((sender_host_address != NULL)? pnlocal : 0);
3289
3290       sender_host_authenticated = NULL;
3291       authenticated_id = NULL;
3292       sync_cmd_limit = NON_SYNC_CMD_NON_PIPELINING;
3293       DEBUG(D_tls) debug_printf("TLS active\n");
3294       break;     /* Successful STARTTLS */
3295       }
3296
3297     /* Some local configuration problem was discovered before actually trying
3298     to do a TLS handshake; give a temporary error. */
3299
3300     else if (rc == DEFER)
3301       {
3302       smtp_printf("454 TLS currently unavailable\r\n");
3303       break;
3304       }
3305
3306     /* Hard failure. Reject everything except QUIT or closed connection. One
3307     cause for failure is a nested STARTTLS, in which case tls_active remains
3308     set, but we must still reject all incoming commands. */
3309
3310     DEBUG(D_tls) debug_printf("TLS failed to start\n");
3311     while (done <= 0)
3312       {
3313       switch(smtp_read_command(FALSE))
3314         {
3315         case EOF_CMD:
3316         log_write(L_smtp_connection, LOG_MAIN, "%s closed by EOF",
3317           smtp_get_connection_info());
3318         done = 2;
3319         break;
3320
3321         case QUIT_CMD:
3322         smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3323         log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3324           smtp_get_connection_info());
3325         done = 2;
3326         break;
3327
3328         default:
3329         smtp_printf("554 Security failure\r\n");
3330         break;
3331         }
3332       }
3333     tls_close(TRUE);
3334     break;
3335     #endif
3336
3337
3338     /* The ACL for QUIT is provided for gathering statistical information or
3339     similar; it does not affect the response code, but it can supply a custom
3340     message. */
3341
3342     case QUIT_CMD:
3343     incomplete_transaction_log(US"QUIT");
3344
3345     if (acl_smtp_quit != NULL)
3346       {
3347       rc = acl_check(ACL_WHERE_QUIT, NULL, acl_smtp_quit,&user_msg,&log_msg);
3348       if (rc == ERROR)
3349         log_write(0, LOG_MAIN|LOG_PANIC, "ACL for QUIT returned ERROR: %s",
3350           log_msg);
3351       }
3352     else user_msg = NULL;
3353
3354     if (user_msg == NULL)
3355       smtp_printf("221 %s closing connection\r\n", smtp_active_hostname);
3356     else
3357       smtp_printf("221 %s\r\n", user_msg);
3358
3359     #ifdef SUPPORT_TLS
3360     tls_close(TRUE);
3361     #endif
3362
3363     done = 2;
3364     log_write(L_smtp_connection, LOG_MAIN, "%s closed by QUIT",
3365       smtp_get_connection_info());
3366     break;
3367
3368
3369     case RSET_CMD:
3370     incomplete_transaction_log(US"RSET");
3371     smtp_reset(reset_point);
3372     toomany = FALSE;
3373     smtp_printf("250 Reset OK\r\n");
3374     cmd_list[CMD_LIST_RSET].is_mail_cmd = FALSE;
3375     break;
3376
3377
3378     case NOOP_CMD:
3379     smtp_printf("250 OK\r\n");
3380     break;
3381
3382
3383     /* Show ETRN/EXPN/VRFY if there's
3384     an ACL for checking hosts; if actually used, a check will be done for
3385     permitted hosts. */
3386
3387     case HELP_CMD:
3388     smtp_printf("214-Commands supported:\r\n");
3389       {
3390       uschar buffer[256];
3391       buffer[0] = 0;
3392       Ustrcat(buffer, " AUTH");
3393       #ifdef SUPPORT_TLS
3394       Ustrcat(buffer, " STARTTLS");
3395       #endif
3396       Ustrcat(buffer, " HELO EHLO MAIL RCPT DATA");
3397       Ustrcat(buffer, " NOOP QUIT RSET HELP");
3398       if (acl_smtp_etrn != NULL) Ustrcat(buffer, " ETRN");
3399       if (acl_smtp_expn != NULL) Ustrcat(buffer, " EXPN");
3400       if (acl_smtp_vrfy != NULL) Ustrcat(buffer, " VRFY");
3401       smtp_printf("214%s\r\n", buffer);
3402       }
3403     break;
3404
3405
3406     case EOF_CMD:
3407     incomplete_transaction_log(US"connection lost");
3408     smtp_printf("421 %s lost input connection\r\n", smtp_active_hostname);
3409
3410     /* Don't log by default unless in the middle of a message, as some mailers
3411     just drop the call rather than sending QUIT, and it clutters up the logs.
3412     */
3413
3414     if (sender_address != NULL || recipients_count > 0)
3415       log_write(L_lost_incoming_connection,
3416           LOG_MAIN,
3417           "unexpected %s while reading SMTP command from %s%s",
3418           sender_host_unknown? "EOF" : "disconnection",
3419           host_and_ident(FALSE), smtp_read_error);
3420
3421     else log_write(L_smtp_connection, LOG_MAIN, "%s lost%s",
3422       smtp_get_connection_info(), smtp_read_error);
3423
3424     done = 1;
3425     break;
3426
3427
3428     case ETRN_CMD:
3429     if (sender_address != NULL)
3430       {
3431       done = synprot_error(L_smtp_protocol_error, 503, NULL,
3432         US"ETRN is not permitted inside a transaction");
3433       break;
3434       }
3435
3436     log_write(L_etrn, LOG_MAIN, "ETRN %s received from %s", smtp_cmd_argument,
3437       host_and_ident(FALSE));
3438
3439     rc = acl_check(ACL_WHERE_ETRN, NULL, acl_smtp_etrn, &user_msg, &log_msg);
3440     if (rc != OK)
3441       {
3442       done = smtp_handle_acl_fail(ACL_WHERE_ETRN, rc, user_msg, log_msg);
3443       break;
3444       }
3445
3446     /* Compute the serialization key for this command. */
3447
3448     etrn_serialize_key = string_sprintf("etrn-%s\n", smtp_cmd_argument);
3449
3450     /* If a command has been specified for running as a result of ETRN, we
3451     permit any argument to ETRN. If not, only the # standard form is permitted,
3452     since that is strictly the only kind of ETRN that can be implemented
3453     according to the RFC. */
3454
3455     if (smtp_etrn_command != NULL)
3456       {
3457       uschar *error;
3458       BOOL rc;
3459       etrn_command = smtp_etrn_command;
3460       deliver_domain = smtp_cmd_argument;
3461       rc = transport_set_up_command(&argv, smtp_etrn_command, TRUE, 0, NULL,
3462         US"ETRN processing", &error);
3463       deliver_domain = NULL;
3464       if (!rc)
3465         {
3466         log_write(0, LOG_MAIN|LOG_PANIC, "failed to set up ETRN command: %s",
3467           error);
3468         smtp_printf("458 Internal failure\r\n");
3469         break;
3470         }
3471       }
3472
3473     /* Else set up to call Exim with the -R option. */
3474
3475     else
3476       {
3477       if (*smtp_cmd_argument++ != '#')
3478         {
3479         done = synprot_error(L_smtp_syntax_error, 501, NULL,
3480           US"argument must begin with #");
3481         break;
3482         }
3483       etrn_command = US"exim -R";
3484       argv = child_exec_exim(CEE_RETURN_ARGV, TRUE, NULL, TRUE, 2, US"-R",
3485         smtp_cmd_argument);
3486       }
3487
3488     /* If we are host-testing, don't actually do anything. */
3489
3490     if (host_checking)
3491       {
3492       HDEBUG(D_any)
3493         {
3494         debug_printf("ETRN command is: %s\n", etrn_command);
3495         debug_printf("ETRN command execution skipped\n");
3496         }
3497       smtp_printf("250 OK\r\n");
3498       break;
3499       }
3500
3501
3502     /* If ETRN queue runs are to be serialized, check the database to
3503     ensure one isn't already running. */
3504
3505     if (smtp_etrn_serialize && !enq_start(etrn_serialize_key))
3506       {
3507       smtp_printf("458 Already processing %s\r\n", smtp_cmd_argument);
3508       break;
3509       }
3510
3511     /* Fork a child process and run the command. We don't want to have to
3512     wait for the process at any point, so set SIGCHLD to SIG_IGN before
3513     forking. It should be set that way anyway for external incoming SMTP,
3514     but we save and restore to be tidy. If serialization is required, we
3515     actually run the command in yet another process, so we can wait for it
3516     to complete and then remove the serialization lock. */
3517
3518     oldsignal = signal(SIGCHLD, SIG_IGN);
3519
3520     if ((pid = fork()) == 0)
3521       {
3522       smtp_input = FALSE;       /* This process is not associated with the */
3523       (void)fclose(smtp_in);    /* SMTP call any more. */
3524       (void)fclose(smtp_out);
3525
3526       signal(SIGCHLD, SIG_DFL);      /* Want to catch child */
3527
3528       /* If not serializing, do the exec right away. Otherwise, fork down
3529       into another process. */
3530
3531       if (!smtp_etrn_serialize || (pid = fork()) == 0)
3532         {
3533         DEBUG(D_exec) debug_print_argv(argv);
3534         exim_nullstd();                   /* Ensure std{in,out,err} exist */
3535         execv(CS argv[0], (char *const *)argv);
3536         log_write(0, LOG_MAIN|LOG_PANIC_DIE, "exec of \"%s\" (ETRN) failed: %s",
3537           etrn_command, strerror(errno));
3538         _exit(EXIT_FAILURE);         /* paranoia */
3539         }
3540
3541       /* Obey this if smtp_serialize and the 2nd fork yielded non-zero. That
3542       is, we are in the first subprocess, after forking again. All we can do
3543       for a failing fork is to log it. Otherwise, wait for the 2nd process to
3544       complete, before removing the serialization. */
3545
3546       if (pid < 0)
3547         log_write(0, LOG_MAIN|LOG_PANIC, "2nd fork for serialized ETRN "
3548           "failed: %s", strerror(errno));
3549       else
3550         {
3551         int status;
3552         DEBUG(D_any) debug_printf("waiting for serialized ETRN process %d\n",
3553           (int)pid);
3554         (void)wait(&status);
3555         DEBUG(D_any) debug_printf("serialized ETRN process %d ended\n",
3556           (int)pid);
3557         }
3558
3559       enq_end(etrn_serialize_key);
3560       _exit(EXIT_SUCCESS);
3561       }
3562
3563     /* Back in the top level SMTP process. Check that we started a subprocess
3564     and restore the signal state. */
3565
3566     if (pid < 0)
3567       {
3568       log_write(0, LOG_MAIN|LOG_PANIC, "fork of process for ETRN failed: %s",
3569         strerror(errno));
3570       smtp_printf("458 Unable to fork process\r\n");
3571       if (smtp_etrn_serialize) enq_end(etrn_serialize_key);
3572       }
3573     else smtp_printf("250 OK\r\n");
3574
3575     signal(SIGCHLD, oldsignal);
3576     break;
3577
3578
3579     case BADARG_CMD:
3580     done = synprot_error(L_smtp_syntax_error, 501, NULL,
3581       US"unexpected argument data");
3582     break;
3583
3584
3585     /* This currently happens only for NULLs, but could be extended. */
3586
3587     case BADCHAR_CMD:
3588     done = synprot_error(L_smtp_syntax_error, 0, NULL,       /* Just logs */
3589       US"NULL character(s) present (shown as '?')");
3590     smtp_printf("501 NULL characters are not allowed in SMTP commands\r\n");
3591     break;
3592
3593
3594     case BADSYN_CMD:
3595     if (smtp_inend >= smtp_inbuffer + in_buffer_size)
3596       smtp_inend = smtp_inbuffer + in_buffer_size - 1;
3597     c = smtp_inend - smtp_inptr;
3598     if (c > 150) c = 150;
3599     smtp_inptr[c] = 0;
3600     incomplete_transaction_log(US"sync failure");
3601     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP protocol synchronization error "
3602       "(next input sent too soon: pipelining was%s advertised): "
3603       "rejected \"%s\" %s next input=\"%s\"",
3604       pipelining_advertised? "" : " not",
3605       smtp_cmd_buffer, host_and_ident(TRUE),
3606       string_printing(smtp_inptr));
3607     smtp_printf("554 SMTP synchronization error\r\n");
3608     done = 1;   /* Pretend eof - drops connection */
3609     break;
3610
3611
3612     case TOO_MANY_NONMAIL_CMD:
3613     incomplete_transaction_log(US"too many non-mail commands");
3614     log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3615       "nonmail commands (last was \"%.*s\")",  host_and_ident(FALSE),
3616       smtp_cmd_argument - smtp_cmd_buffer, smtp_cmd_buffer);
3617     smtp_printf("554 Too many nonmail commands\r\n");
3618     done = 1;   /* Pretend eof - drops connection */
3619     break;
3620
3621
3622     default:
3623     if (unknown_command_count++ >= smtp_max_unknown_commands)
3624       {
3625       log_write(L_smtp_syntax_error, LOG_MAIN,
3626         "SMTP syntax error in \"%s\" %s %s",
3627         string_printing(smtp_cmd_buffer), host_and_ident(TRUE),
3628         US"unrecognized command");
3629       incomplete_transaction_log(US"unrecognized command");
3630       smtp_printf("500 Too many unrecognized commands\r\n");
3631       done = 2;
3632       log_write(0, LOG_MAIN|LOG_REJECT, "SMTP call from %s dropped: too many "
3633         "unrecognized commands (last was \"%s\")", host_and_ident(FALSE),
3634         smtp_cmd_buffer);
3635       }
3636     else
3637       done = synprot_error(L_smtp_syntax_error, 500, NULL,
3638         US"unrecognized command");
3639     break;
3640     }
3641
3642   /* This label is used by goto's inside loops that want to break out to
3643   the end of the command-processing loop. */
3644
3645   COMMAND_LOOP:
3646   last_was_rej_mail = was_rej_mail;     /* Remember some last commands for */
3647   last_was_rcpt = was_rcpt;             /* protocol error handling */
3648   continue;
3649   }
3650
3651 return done - 2;  /* Convert yield values */
3652 }
3653
3654 /* End of smtp_in.c */