src/src/tls-openssl.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2014 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* Portions Copyright (c) The OpenSSL Project 1999 */
   9
  10 /* This module provides the TLS (aka SSL) support for Exim using the OpenSSL
  11 library. It is #included into the tls.c file when that library is used. The
  12 code herein is based on a patch that was originally contributed by Steve
  13 Haslam. It was adapted from stunnel, a GPL program by Michal Trojnara.
  14
  15 No cryptographic code is included in Exim. All this module does is to call
  16 functions from the OpenSSL library. */
  17
  18
  19 /* Heading stuff */
  20
  21 #include <openssl/lhash.h>
  22 #include <openssl/ssl.h>
  23 #include <openssl/err.h>
  24 #include <openssl/rand.h>
  25 #ifndef DISABLE_OCSP
  26 # include <openssl/ocsp.h>
  27 #endif
  28
  29 #ifndef DISABLE_OCSP
  30 # define EXIM_OCSP_SKEW_SECONDS (300L)
  31 # define EXIM_OCSP_MAX_AGE (-1L)
  32 #endif
  33
  34 #if OPENSSL_VERSION_NUMBER >= 0x0090806fL && !defined(OPENSSL_NO_TLSEXT)
  35 # define EXIM_HAVE_OPENSSL_TLSEXT
  36 #endif
  37
  38 #if !defined(EXIM_HAVE_OPENSSL_TLSEXT) && !defined(DISABLE_OCSP)
  39 # warning "OpenSSL library version too old; define DISABLE_OCSP in Makefile"
  40 # define DISABLE_OCSP
  41 #endif
  42
  43 /* Structure for collecting random data for seeding. */
  44
  45 typedef struct randstuff {
  46   struct timeval tv;
  47   pid_t          p;
  48 } randstuff;
  49
  50 /* Local static variables */
  51
  52 static BOOL client_verify_callback_called = FALSE;
  53 static BOOL server_verify_callback_called = FALSE;
  54 static const uschar *sid_ctx = US"exim";
  55
  56 /* We have three different contexts to care about.
  57
  58 Simple case: client, `client_ctx`
  59  As a client, we can be doing a callout or cut-through delivery while receiving
  60  a message.  So we have a client context, which should have options initialised
  61  from the SMTP Transport.
  62
  63 Server:
  64  There are two cases: with and without ServerNameIndication from the client.
  65  Given TLS SNI, we can be using different keys, certs and various other
  66  configuration settings, because they're re-expanded with $tls_sni set.  This
  67  allows vhosting with TLS.  This SNI is sent in the handshake.
  68  A client might not send SNI, so we need a fallback, and an initial setup too.
  69  So as a server, we start out using `server_ctx`.
  70  If SNI is sent by the client, then we as server, mid-negotiation, try to clone
  71  `server_sni` from `server_ctx` and then initialise settings by re-expanding
  72  configuration.
  73 */
  74
  75 static SSL_CTX *client_ctx = NULL;
  76 static SSL_CTX *server_ctx = NULL;
  77 static SSL     *client_ssl = NULL;
  78 static SSL     *server_ssl = NULL;
  79
  80 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
  81 static SSL_CTX *server_sni = NULL;
  82 #endif
  83
  84 static char ssl_errstring[256];
  85
  86 static int  ssl_session_timeout = 200;
  87 static BOOL client_verify_optional = FALSE;
  88 static BOOL server_verify_optional = FALSE;
  89
  90 static BOOL reexpand_tls_files_for_sni = FALSE;
  91
  92
  93 typedef struct tls_ext_ctx_cb {
  94   uschar *certificate;
  95   uschar *privatekey;
  96 #ifndef DISABLE_OCSP
  97   BOOL is_server;
  98   union {
  99     struct {
 100       uschar        *file;
 101       uschar        *file_expanded;
 102       OCSP_RESPONSE *response;
 103     } server;
 104     struct {
 105       X509_STORE    *verify_store;      /* non-null if status requested */
 106       BOOL          verify_required;
 107     } client;
 108   } u_ocsp;
 109 #endif
 110   uschar *dhparam;
 111   /* these are cached from first expand */
 112   uschar *server_cipher_list;
 113   /* only passed down to tls_error: */
 114   host_item *host;
 115
 116 #ifdef EXPERIMENTAL_CERTNAMES
 117   uschar * verify_cert_hostnames;
 118 #endif
 119 } tls_ext_ctx_cb;
 120
 121 /* should figure out a cleanup of API to handle state preserved per
 122 implementation, for various reasons, which can be void * in the APIs.
 123 For now, we hack around it. */
 124 tls_ext_ctx_cb *client_static_cbinfo = NULL;
 125 tls_ext_ctx_cb *server_static_cbinfo = NULL;
 126
 127 static int
 128 setup_certs(SSL_CTX *sctx, uschar *certs, uschar *crl, host_item *host, BOOL optional,
 129     int (*cert_vfy_cb)(int, X509_STORE_CTX *) );
 130
 131 /* Callbacks */
 132 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
 133 static int tls_servername_cb(SSL *s, int *ad ARG_UNUSED, void *arg);
 134 #endif
 135 #ifndef DISABLE_OCSP
 136 static int tls_server_stapling_cb(SSL *s, void *arg);
 137 #endif
 138
 139
 140 /*************************************************
 141 *               Handle TLS error                 *
 142 *************************************************/
 143
 144 /* Called from lots of places when errors occur before actually starting to do
 145 the TLS handshake, that is, while the session is still in clear. Always returns
 146 DEFER for a server and FAIL for a client so that most calls can use "return
 147 tls_error(...)" to do this processing and then give an appropriate return. A
 148 single function is used for both server and client, because it is called from
 149 some shared functions.
 150
 151 Argument:
 152   prefix    text to include in the logged error
 153   host      NULL if setting up a server;
 154             the connected host if setting up a client
 155   msg       error message or NULL if we should ask OpenSSL
 156
 157 Returns:    OK/DEFER/FAIL
 158 */
 159
 160 static int
 161 tls_error(uschar *prefix, host_item *host, uschar *msg)
 162 {
 163 if (msg == NULL)
 164   {
 165   ERR_error_string(ERR_get_error(), ssl_errstring);
 166   msg = (uschar *)ssl_errstring;
 167   }
 168
 169 if (host == NULL)
 170   {
 171   uschar *conn_info = smtp_get_connection_info();
 172   if (Ustrncmp(conn_info, US"SMTP ", 5) == 0)
 173     conn_info += 5;
 174   log_write(0, LOG_MAIN, "TLS error on %s (%s): %s",
 175     conn_info, prefix, msg);
 176   return DEFER;
 177   }
 178 else
 179   {
 180   log_write(0, LOG_MAIN, "TLS error on connection to %s [%s] (%s): %s",
 181     host->name, host->address, prefix, msg);
 182   return FAIL;
 183   }
 184 }
 185
 186
 187
 188 /*************************************************
 189 *        Callback to generate RSA key            *
 190 *************************************************/
 191
 192 /*
 193 Arguments:
 194   s          SSL connection
 195   export     not used
 196   keylength  keylength
 197
 198 Returns:     pointer to generated key
 199 */
 200
 201 static RSA *
 202 rsa_callback(SSL *s, int export, int keylength)
 203 {
 204 RSA *rsa_key;
 205 export = export;     /* Shut picky compilers up */
 206 DEBUG(D_tls) debug_printf("Generating %d bit RSA key...\n", keylength);
 207 rsa_key = RSA_generate_key(keylength, RSA_F4, NULL, NULL);
 208 if (rsa_key == NULL)
 209   {
 210   ERR_error_string(ERR_get_error(), ssl_errstring);
 211   log_write(0, LOG_MAIN|LOG_PANIC, "TLS error (RSA_generate_key): %s",
 212     ssl_errstring);
 213   return NULL;
 214   }
 215 return rsa_key;
 216 }
 217
 218
 219
 220 /* Extreme debug
 221 #ifndef DISABLE_OCSP
 222 void
 223 x509_store_dump_cert_s_names(X509_STORE * store)
 224 {
 225 STACK_OF(X509_OBJECT) * roots= store->objs;
 226 int i;
 227 static uschar name[256];
 228
 229 for(i= 0; i<sk_X509_OBJECT_num(roots); i++)
 230   {
 231   X509_OBJECT * tmp_obj= sk_X509_OBJECT_value(roots, i);
 232   if(tmp_obj->type == X509_LU_X509)
 233     {
 234     X509 * current_cert= tmp_obj->data.x509;
 235     X509_NAME_oneline(X509_get_subject_name(current_cert), CS name, sizeof(name));
 236     debug_printf(" %s\n", name);
 237     }
 238   }
 239 }
 240 #endif
 241 */
 242
 243
 244 /*************************************************
 245 *        Callback for verification               *
 246 *************************************************/
 247
 248 /* The SSL library does certificate verification if set up to do so. This
 249 callback has the current yes/no state is in "state". If verification succeeded,
 250 we set up the tls_peerdn string. If verification failed, what happens depends
 251 on whether the client is required to present a verifiable certificate or not.
 252
 253 If verification is optional, we change the state to yes, but still log the
 254 verification error. For some reason (it really would help to have proper
 255 documentation of OpenSSL), this callback function then gets called again, this
 256 time with state = 1. In fact, that's useful, because we can set up the peerdn
 257 value, but we must take care not to set the private verified flag on the second
 258 time through.
 259
 260 Note: this function is not called if the client fails to present a certificate
 261 when asked. We get here only if a certificate has been received. Handling of
 262 optional verification for this case is done when requesting SSL to verify, by
 263 setting SSL_VERIFY_FAIL_IF_NO_PEER_CERT in the non-optional case.
 264
 265 Arguments:
 266   state      current yes/no state as 1/0
 267   x509ctx    certificate information.
 268   client     TRUE for client startup, FALSE for server startup
 269
 270 Returns:     1 if verified, 0 if not
 271 */
 272
 273 static int
 274 verify_callback(int state, X509_STORE_CTX *x509ctx,
 275   tls_support *tlsp, BOOL *calledp, BOOL *optionalp)
 276 {
 277 X509 * cert = X509_STORE_CTX_get_current_cert(x509ctx);
 278 static uschar txt[256];
 279
 280 X509_NAME_oneline(X509_get_subject_name(cert), CS txt, sizeof(txt));
 281
 282 if (state == 0)
 283   {
 284   log_write(0, LOG_MAIN, "SSL verify error: depth=%d error=%s cert=%s",
 285     X509_STORE_CTX_get_error_depth(x509ctx),
 286     X509_verify_cert_error_string(X509_STORE_CTX_get_error(x509ctx)),
 287     txt);
 288   tlsp->certificate_verified = FALSE;
 289   *calledp = TRUE;
 290   if (!*optionalp)
 291     {
 292     tlsp->peercert = X509_dup(cert);
 293     return 0;                       /* reject */
 294     }
 295   DEBUG(D_tls) debug_printf("SSL verify failure overridden (host in "
 296     "tls_try_verify_hosts)\n");
 297   }
 298
 299 else if (X509_STORE_CTX_get_error_depth(x509ctx) != 0)
 300   {
 301   DEBUG(D_tls) debug_printf("SSL verify ok: depth=%d SN=%s\n",
 302      X509_STORE_CTX_get_error_depth(x509ctx), txt);
 303 #ifndef DISABLE_OCSP
 304   if (tlsp == &tls_out && client_static_cbinfo->u_ocsp.client.verify_store)
 305     {   /* client, wanting stapling  */
 306     /* Add the server cert's signing chain as the one
 307     for the verification of the OCSP stapled information. */
 308
 309     if (!X509_STORE_add_cert(client_static_cbinfo->u_ocsp.client.verify_store,
 310                              cert))
 311       ERR_clear_error();
 312     }
 313 #endif
 314   }
 315 else
 316   {
 317 #ifdef EXPERIMENTAL_CERTNAMES
 318   uschar * verify_cert_hostnames;
 319 #endif
 320
 321   tlsp->peerdn = txt;
 322   tlsp->peercert = X509_dup(cert);
 323
 324 #ifdef EXPERIMENTAL_CERTNAMES
 325   if (  tlsp == &tls_out
 326      && ((verify_cert_hostnames = client_static_cbinfo->verify_cert_hostnames)))
 327         /* client, wanting hostname check */
 328
 329 # if OPENSSL_VERSION_NUMBER >= 0x010100000L || OPENSSL_VERSION_NUMBER >= 0x010002000L
 330 #  ifndef X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS
 331 #   define X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS 0
 332 #  endif
 333     {
 334     int sep = 0;
 335     uschar * list = verify_cert_hostnames;
 336     uschar * name;
 337     int rc;
 338     while ((name = string_nextinlist(&list, &sep, NULL, 0)))
 339       if ((rc = X509_check_host(cert, name, 0,
 340                   X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS)))
 341         {
 342         if (rc < 0)
 343           {
 344           log_write(0, LOG_MAIN, "SSL verify error: internal error\n");
 345           name = NULL;
 346           }
 347         break;
 348         }
 349     if (!name)
 350       {
 351       log_write(0, LOG_MAIN,
 352         "SSL verify error: certificate name mismatch: \"%s\"\n", txt);
 353       return 0;                         /* reject */
 354       }
 355     }
 356 # else
 357     if (!tls_is_name_for_cert(verify_cert_hostnames, cert))
 358       {
 359       log_write(0, LOG_MAIN,
 360         "SSL verify error: certificate name mismatch: \"%s\"\n", txt);
 361       return 0;                         /* reject */
 362       }
 363 # endif
 364 #endif
 365
 366   DEBUG(D_tls) debug_printf("SSL%s verify ok: depth=0 SN=%s\n",
 367     *calledp ? "" : " authenticated", txt);
 368   if (!*calledp) tlsp->certificate_verified = TRUE;
 369   *calledp = TRUE;
 370   }
 371
 372 return 1;   /* accept */
 373 }
 374
 375 static int
 376 verify_callback_client(int state, X509_STORE_CTX *x509ctx)
 377 {
 378 return verify_callback(state, x509ctx, &tls_out, &client_verify_callback_called, &client_verify_optional);
 379 }
 380
 381 static int
 382 verify_callback_server(int state, X509_STORE_CTX *x509ctx)
 383 {
 384 return verify_callback(state, x509ctx, &tls_in, &server_verify_callback_called, &server_verify_optional);
 385 }
 386
 387
 388
 389 /*************************************************
 390 *           Information callback                 *
 391 *************************************************/
 392
 393 /* The SSL library functions call this from time to time to indicate what they
 394 are doing. We copy the string to the debugging output when TLS debugging has
 395 been requested.
 396
 397 Arguments:
 398   s         the SSL connection
 399   where
 400   ret
 401
 402 Returns:    nothing
 403 */
 404
 405 static void
 406 info_callback(SSL *s, int where, int ret)
 407 {
 408 where = where;
 409 ret = ret;
 410 DEBUG(D_tls) debug_printf("SSL info: %s\n", SSL_state_string_long(s));
 411 }
 412
 413
 414
 415 /*************************************************
 416 *                Initialize for DH               *
 417 *************************************************/
 418
 419 /* If dhparam is set, expand it, and load up the parameters for DH encryption.
 420
 421 Arguments:
 422   dhparam   DH parameter file or fixed parameter identity string
 423   host      connected host, if client; NULL if server
 424
 425 Returns:    TRUE if OK (nothing to set up, or setup worked)
 426 */
 427
 428 static BOOL
 429 init_dh(SSL_CTX *sctx, uschar *dhparam, host_item *host)
 430 {
 431 BIO *bio;
 432 DH *dh;
 433 uschar *dhexpanded;
 434 const char *pem;
 435
 436 if (!expand_check(dhparam, US"tls_dhparam", &dhexpanded))
 437   return FALSE;
 438
 439 if (!dhexpanded || !*dhexpanded)
 440   bio = BIO_new_mem_buf(CS std_dh_prime_default(), -1);
 441 else if (dhexpanded[0] == '/')
 442   {
 443   if (!(bio = BIO_new_file(CS dhexpanded, "r")))
 444     {
 445     tls_error(string_sprintf("could not read dhparams file %s", dhexpanded),
 446           host, US strerror(errno));
 447     return FALSE;
 448     }
 449   }
 450 else
 451   {
 452   if (Ustrcmp(dhexpanded, "none") == 0)
 453     {
 454     DEBUG(D_tls) debug_printf("Requested no DH parameters.\n");
 455     return TRUE;
 456     }
 457
 458   if (!(pem = std_dh_prime_named(dhexpanded)))
 459     {
 460     tls_error(string_sprintf("Unknown standard DH prime \"%s\"", dhexpanded),
 461         host, US strerror(errno));
 462     return FALSE;
 463     }
 464   bio = BIO_new_mem_buf(CS pem, -1);
 465   }
 466
 467 if (!(dh = PEM_read_bio_DHparams(bio, NULL, NULL, NULL)))
 468   {
 469   BIO_free(bio);
 470   tls_error(string_sprintf("Could not read tls_dhparams \"%s\"", dhexpanded),
 471       host, NULL);
 472   return FALSE;
 473   }
 474
 475 /* Even if it is larger, we silently return success rather than cause things
 476  * to fail out, so that a too-large DH will not knock out all TLS; it's a
 477  * debatable choice. */
 478 if ((8*DH_size(dh)) > tls_dh_max_bits)
 479   {
 480   DEBUG(D_tls)
 481     debug_printf("dhparams file %d bits, is > tls_dh_max_bits limit of %d",
 482         8*DH_size(dh), tls_dh_max_bits);
 483   }
 484 else
 485   {
 486   SSL_CTX_set_tmp_dh(sctx, dh);
 487   DEBUG(D_tls)
 488     debug_printf("Diffie-Hellman initialized from %s with %d-bit prime\n",
 489       dhexpanded ? dhexpanded : US"default", 8*DH_size(dh));
 490   }
 491
 492 DH_free(dh);
 493 BIO_free(bio);
 494
 495 return TRUE;
 496 }
 497
 498
 499
 500
 501 #ifndef DISABLE_OCSP
 502 /*************************************************
 503 *       Load OCSP information into state         *
 504 *************************************************/
 505
 506 /* Called to load the server OCSP response from the given file into memory, once
 507 caller has determined this is needed.  Checks validity.  Debugs a message
 508 if invalid.
 509
 510 ASSUMES: single response, for single cert.
 511
 512 Arguments:
 513   sctx            the SSL_CTX* to update
 514   cbinfo          various parts of session state
 515   expanded        the filename putatively holding an OCSP response
 516
 517 */
 518
 519 static void
 520 ocsp_load_response(SSL_CTX *sctx, tls_ext_ctx_cb *cbinfo, const uschar *expanded)
 521 {
 522 BIO *bio;
 523 OCSP_RESPONSE *resp;
 524 OCSP_BASICRESP *basic_response;
 525 OCSP_SINGLERESP *single_response;
 526 ASN1_GENERALIZEDTIME *rev, *thisupd, *nextupd;
 527 X509_STORE *store;
 528 unsigned long verify_flags;
 529 int status, reason, i;
 530
 531 cbinfo->u_ocsp.server.file_expanded = string_copy(expanded);
 532 if (cbinfo->u_ocsp.server.response)
 533   {
 534   OCSP_RESPONSE_free(cbinfo->u_ocsp.server.response);
 535   cbinfo->u_ocsp.server.response = NULL;
 536   }
 537
 538 bio = BIO_new_file(CS cbinfo->u_ocsp.server.file_expanded, "rb");
 539 if (!bio)
 540   {
 541   DEBUG(D_tls) debug_printf("Failed to open OCSP response file \"%s\"\n",
 542       cbinfo->u_ocsp.server.file_expanded);
 543   return;
 544   }
 545
 546 resp = d2i_OCSP_RESPONSE_bio(bio, NULL);
 547 BIO_free(bio);
 548 if (!resp)
 549   {
 550   DEBUG(D_tls) debug_printf("Error reading OCSP response.\n");
 551   return;
 552   }
 553
 554 status = OCSP_response_status(resp);
 555 if (status != OCSP_RESPONSE_STATUS_SUCCESSFUL)
 556   {
 557   DEBUG(D_tls) debug_printf("OCSP response not valid: %s (%d)\n",
 558       OCSP_response_status_str(status), status);
 559   goto bad;
 560   }
 561
 562 basic_response = OCSP_response_get1_basic(resp);
 563 if (!basic_response)
 564   {
 565   DEBUG(D_tls)
 566     debug_printf("OCSP response parse error: unable to extract basic response.\n");
 567   goto bad;
 568   }
 569
 570 store = SSL_CTX_get_cert_store(sctx);
 571 verify_flags = OCSP_NOVERIFY; /* check sigs, but not purpose */
 572
 573 /* May need to expose ability to adjust those flags?
 574 OCSP_NOSIGS OCSP_NOVERIFY OCSP_NOCHAIN OCSP_NOCHECKS OCSP_NOEXPLICIT
 575 OCSP_TRUSTOTHER OCSP_NOINTERN */
 576
 577 i = OCSP_basic_verify(basic_response, NULL, store, verify_flags);
 578 if (i <= 0)
 579   {
 580   DEBUG(D_tls) {
 581     ERR_error_string(ERR_get_error(), ssl_errstring);
 582     debug_printf("OCSP response verify failure: %s\n", US ssl_errstring);
 583     }
 584   goto bad;
 585   }
 586
 587 /* Here's the simplifying assumption: there's only one response, for the
 588 one certificate we use, and nothing for anything else in a chain.  If this
 589 proves false, we need to extract a cert id from our issued cert
 590 (tls_certificate) and use that for OCSP_resp_find_status() (which finds the
 591 right cert in the stack and then calls OCSP_single_get0_status()).
 592
 593 I'm hoping to avoid reworking a bunch more of how we handle state here. */
 594 single_response = OCSP_resp_get0(basic_response, 0);
 595 if (!single_response)
 596   {
 597   DEBUG(D_tls)
 598     debug_printf("Unable to get first response from OCSP basic response.\n");
 599   goto bad;
 600   }
 601
 602 status = OCSP_single_get0_status(single_response, &reason, &rev, &thisupd, &nextupd);
 603 if (status != V_OCSP_CERTSTATUS_GOOD)
 604   {
 605   DEBUG(D_tls) debug_printf("OCSP response bad cert status: %s (%d) %s (%d)\n",
 606       OCSP_cert_status_str(status), status,
 607       OCSP_crl_reason_str(reason), reason);
 608   goto bad;
 609   }
 610
 611 if (!OCSP_check_validity(thisupd, nextupd, EXIM_OCSP_SKEW_SECONDS, EXIM_OCSP_MAX_AGE))
 612   {
 613   DEBUG(D_tls) debug_printf("OCSP status invalid times.\n");
 614   goto bad;
 615   }
 616
 617 supply_response:
 618   cbinfo->u_ocsp.server.response = resp;
 619 return;
 620
 621 bad:
 622   if (running_in_test_harness)
 623     {
 624     extern char ** environ;
 625     uschar ** p;
 626     for (p = USS environ; *p != NULL; p++)
 627       if (Ustrncmp(*p, "EXIM_TESTHARNESS_DISABLE_OCSPVALIDITYCHECK", 42) == 0)
 628         {
 629         DEBUG(D_tls) debug_printf("Supplying known bad OCSP response\n");
 630         goto supply_response;
 631         }
 632     }
 633 return;
 634 }
 635 #endif  /*!DISABLE_OCSP*/
 636
 637
 638
 639
 640 /*************************************************
 641 *        Expand key and cert file specs          *
 642 *************************************************/
 643
 644 /* Called once during tls_init and possibly again during TLS setup, for a
 645 new context, if Server Name Indication was used and tls_sni was seen in
 646 the certificate string.
 647
 648 Arguments:
 649   sctx            the SSL_CTX* to update
 650   cbinfo          various parts of session state
 651
 652 Returns:          OK/DEFER/FAIL
 653 */
 654
 655 static int
 656 tls_expand_session_files(SSL_CTX *sctx, tls_ext_ctx_cb *cbinfo)
 657 {
 658 uschar *expanded;
 659
 660 if (cbinfo->certificate == NULL)
 661   return OK;
 662
 663 if (Ustrstr(cbinfo->certificate, US"tls_sni") ||
 664     Ustrstr(cbinfo->certificate, US"tls_in_sni") ||
 665     Ustrstr(cbinfo->certificate, US"tls_out_sni")
 666    )
 667   reexpand_tls_files_for_sni = TRUE;
 668
 669 if (!expand_check(cbinfo->certificate, US"tls_certificate", &expanded))
 670   return DEFER;
 671
 672 if (expanded != NULL)
 673   {
 674   DEBUG(D_tls) debug_printf("tls_certificate file %s\n", expanded);
 675   if (!SSL_CTX_use_certificate_chain_file(sctx, CS expanded))
 676     return tls_error(string_sprintf(
 677       "SSL_CTX_use_certificate_chain_file file=%s", expanded),
 678         cbinfo->host, NULL);
 679   }
 680
 681 if (cbinfo->privatekey != NULL &&
 682     !expand_check(cbinfo->privatekey, US"tls_privatekey", &expanded))
 683   return DEFER;
 684
 685 /* If expansion was forced to fail, key_expanded will be NULL. If the result
 686 of the expansion is an empty string, ignore it also, and assume the private
 687 key is in the same file as the certificate. */
 688
 689 if (expanded != NULL && *expanded != 0)
 690   {
 691   DEBUG(D_tls) debug_printf("tls_privatekey file %s\n", expanded);
 692   if (!SSL_CTX_use_PrivateKey_file(sctx, CS expanded, SSL_FILETYPE_PEM))
 693     return tls_error(string_sprintf(
 694       "SSL_CTX_use_PrivateKey_file file=%s", expanded), cbinfo->host, NULL);
 695   }
 696
 697 #ifndef DISABLE_OCSP
 698 if (cbinfo->is_server &&  cbinfo->u_ocsp.server.file != NULL)
 699   {
 700   if (!expand_check(cbinfo->u_ocsp.server.file, US"tls_ocsp_file", &expanded))
 701     return DEFER;
 702
 703   if (expanded != NULL && *expanded != 0)
 704     {
 705     DEBUG(D_tls) debug_printf("tls_ocsp_file %s\n", expanded);
 706     if (cbinfo->u_ocsp.server.file_expanded &&
 707         (Ustrcmp(expanded, cbinfo->u_ocsp.server.file_expanded) == 0))
 708       {
 709       DEBUG(D_tls)
 710         debug_printf("tls_ocsp_file value unchanged, using existing values.\n");
 711       } else {
 712         ocsp_load_response(sctx, cbinfo, expanded);
 713       }
 714     }
 715   }
 716 #endif
 717
 718 return OK;
 719 }
 720
 721
 722
 723
 724 /*************************************************
 725 *            Callback to handle SNI              *
 726 *************************************************/
 727
 728 /* Called when acting as server during the TLS session setup if a Server Name
 729 Indication extension was sent by the client.
 730
 731 API documentation is OpenSSL s_server.c implementation.
 732
 733 Arguments:
 734   s               SSL* of the current session
 735   ad              unknown (part of OpenSSL API) (unused)
 736   arg             Callback of "our" registered data
 737
 738 Returns:          SSL_TLSEXT_ERR_{OK,ALERT_WARNING,ALERT_FATAL,NOACK}
 739 */
 740
 741 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
 742 static int
 743 tls_servername_cb(SSL *s, int *ad ARG_UNUSED, void *arg)
 744 {
 745 const char *servername = SSL_get_servername(s, TLSEXT_NAMETYPE_host_name);
 746 tls_ext_ctx_cb *cbinfo = (tls_ext_ctx_cb *) arg;
 747 int rc;
 748 int old_pool = store_pool;
 749
 750 if (!servername)
 751   return SSL_TLSEXT_ERR_OK;
 752
 753 DEBUG(D_tls) debug_printf("Received TLS SNI \"%s\"%s\n", servername,
 754     reexpand_tls_files_for_sni ? "" : " (unused for certificate selection)");
 755
 756 /* Make the extension value available for expansion */
 757 store_pool = POOL_PERM;
 758 tls_in.sni = string_copy(US servername);
 759 store_pool = old_pool;
 760
 761 if (!reexpand_tls_files_for_sni)
 762   return SSL_TLSEXT_ERR_OK;
 763
 764 /* Can't find an SSL_CTX_clone() or equivalent, so we do it manually;
 765 not confident that memcpy wouldn't break some internal reference counting.
 766 Especially since there's a references struct member, which would be off. */
 767
 768 if (!(server_sni = SSL_CTX_new(SSLv23_server_method())))
 769   {
 770   ERR_error_string(ERR_get_error(), ssl_errstring);
 771   DEBUG(D_tls) debug_printf("SSL_CTX_new() failed: %s\n", ssl_errstring);
 772   return SSL_TLSEXT_ERR_NOACK;
 773   }
 774
 775 /* Not sure how many of these are actually needed, since SSL object
 776 already exists.  Might even need this selfsame callback, for reneg? */
 777
 778 SSL_CTX_set_info_callback(server_sni, SSL_CTX_get_info_callback(server_ctx));
 779 SSL_CTX_set_mode(server_sni, SSL_CTX_get_mode(server_ctx));
 780 SSL_CTX_set_options(server_sni, SSL_CTX_get_options(server_ctx));
 781 SSL_CTX_set_timeout(server_sni, SSL_CTX_get_timeout(server_ctx));
 782 SSL_CTX_set_tlsext_servername_callback(server_sni, tls_servername_cb);
 783 SSL_CTX_set_tlsext_servername_arg(server_sni, cbinfo);
 784 if (cbinfo->server_cipher_list)
 785   SSL_CTX_set_cipher_list(server_sni, CS cbinfo->server_cipher_list);
 786 #ifndef DISABLE_OCSP
 787 if (cbinfo->u_ocsp.server.file)
 788   {
 789   SSL_CTX_set_tlsext_status_cb(server_sni, tls_server_stapling_cb);
 790   SSL_CTX_set_tlsext_status_arg(server_sni, cbinfo);
 791   }
 792 #endif
 793
 794 rc = setup_certs(server_sni, tls_verify_certificates, tls_crl, NULL, FALSE, verify_callback_server);
 795 if (rc != OK) return SSL_TLSEXT_ERR_NOACK;
 796
 797 /* do this after setup_certs, because this can require the certs for verifying
 798 OCSP information. */
 799 rc = tls_expand_session_files(server_sni, cbinfo);
 800 if (rc != OK) return SSL_TLSEXT_ERR_NOACK;
 801
 802 if (!init_dh(server_sni, cbinfo->dhparam, NULL))
 803   return SSL_TLSEXT_ERR_NOACK;
 804
 805 DEBUG(D_tls) debug_printf("Switching SSL context.\n");
 806 SSL_set_SSL_CTX(s, server_sni);
 807
 808 return SSL_TLSEXT_ERR_OK;
 809 }
 810 #endif /* EXIM_HAVE_OPENSSL_TLSEXT */
 811
 812
 813
 814
 815 #ifndef DISABLE_OCSP
 816
 817 /*************************************************
 818 *        Callback to handle OCSP Stapling        *
 819 *************************************************/
 820
 821 /* Called when acting as server during the TLS session setup if the client
 822 requests OCSP information with a Certificate Status Request.
 823
 824 Documentation via openssl s_server.c and the Apache patch from the OpenSSL
 825 project.
 826
 827 */
 828
 829 static int
 830 tls_server_stapling_cb(SSL *s, void *arg)
 831 {
 832 const tls_ext_ctx_cb *cbinfo = (tls_ext_ctx_cb *) arg;
 833 uschar *response_der;
 834 int response_der_len;
 835
 836 DEBUG(D_tls)
 837   debug_printf("Received TLS status request (OCSP stapling); %s response.",
 838     cbinfo->u_ocsp.server.response ? "have" : "lack");
 839
 840 tls_in.ocsp = OCSP_NOT_RESP;
 841 if (!cbinfo->u_ocsp.server.response)
 842   return SSL_TLSEXT_ERR_NOACK;
 843
 844 response_der = NULL;
 845 response_der_len = i2d_OCSP_RESPONSE(cbinfo->u_ocsp.server.response,
 846                       &response_der);
 847 if (response_der_len <= 0)
 848   return SSL_TLSEXT_ERR_NOACK;
 849
 850 SSL_set_tlsext_status_ocsp_resp(server_ssl, response_der, response_der_len);
 851 tls_in.ocsp = OCSP_VFIED;
 852 return SSL_TLSEXT_ERR_OK;
 853 }
 854
 855
 856 static void
 857 time_print(BIO * bp, const char * str, ASN1_GENERALIZEDTIME * time)
 858 {
 859 BIO_printf(bp, "\t%s: ", str);
 860 ASN1_GENERALIZEDTIME_print(bp, time);
 861 BIO_puts(bp, "\n");
 862 }
 863
 864 static int
 865 tls_client_stapling_cb(SSL *s, void *arg)
 866 {
 867 tls_ext_ctx_cb * cbinfo = arg;
 868 const unsigned char * p;
 869 int len;
 870 OCSP_RESPONSE * rsp;
 871 OCSP_BASICRESP * bs;
 872 int i;
 873
 874 DEBUG(D_tls) debug_printf("Received TLS status response (OCSP stapling):");
 875 len = SSL_get_tlsext_status_ocsp_resp(s, &p);
 876 if(!p)
 877  {
 878   /* Expect this when we requested ocsp but got none */
 879   if (  cbinfo->u_ocsp.client.verify_required
 880      && log_extra_selector & LX_tls_cipher)
 881     log_write(0, LOG_MAIN, "Received TLS status callback, null content");
 882   else
 883     DEBUG(D_tls) debug_printf(" null\n");
 884   return cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 885  }
 886
 887 if(!(rsp = d2i_OCSP_RESPONSE(NULL, &p, len)))
 888  {
 889   tls_out.ocsp = OCSP_FAILED;
 890   if (log_extra_selector & LX_tls_cipher)
 891     log_write(0, LOG_MAIN, "Received TLS status response, parse error");
 892   else
 893     DEBUG(D_tls) debug_printf(" parse error\n");
 894   return 0;
 895  }
 896
 897 if(!(bs = OCSP_response_get1_basic(rsp)))
 898   {
 899   tls_out.ocsp = OCSP_FAILED;
 900   if (log_extra_selector & LX_tls_cipher)
 901     log_write(0, LOG_MAIN, "Received TLS status response, error parsing response");
 902   else
 903     DEBUG(D_tls) debug_printf(" error parsing response\n");
 904   OCSP_RESPONSE_free(rsp);
 905   return 0;
 906   }
 907
 908 /* We'd check the nonce here if we'd put one in the request. */
 909 /* However that would defeat cacheability on the server so we don't. */
 910
 911 /* This section of code reworked from OpenSSL apps source;
 912    The OpenSSL Project retains copyright:
 913    Copyright (c) 1999 The OpenSSL Project.  All rights reserved.
 914 */
 915   {
 916     BIO * bp = NULL;
 917     int status, reason;
 918     ASN1_GENERALIZEDTIME *rev, *thisupd, *nextupd;
 919
 920     DEBUG(D_tls) bp = BIO_new_fp(stderr, BIO_NOCLOSE);
 921
 922     /*OCSP_RESPONSE_print(bp, rsp, 0);   extreme debug: stapling content */
 923
 924     /* Use the chain that verified the server cert to verify the stapled info */
 925     /* DEBUG(D_tls) x509_store_dump_cert_s_names(cbinfo->u_ocsp.client.verify_store); */
 926
 927     if ((i = OCSP_basic_verify(bs, NULL,
 928               cbinfo->u_ocsp.client.verify_store, 0)) <= 0)
 929       {
 930       tls_out.ocsp = OCSP_FAILED;
 931       BIO_printf(bp, "OCSP response verify failure\n");
 932       ERR_print_errors(bp);
 933       i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 934       goto out;
 935       }
 936
 937     BIO_printf(bp, "OCSP response well-formed and signed OK\n");
 938
 939       {
 940       STACK_OF(OCSP_SINGLERESP) * sresp = bs->tbsResponseData->responses;
 941       OCSP_SINGLERESP * single;
 942
 943       if (sk_OCSP_SINGLERESP_num(sresp) != 1)
 944         {
 945         tls_out.ocsp = OCSP_FAILED;
 946         log_write(0, LOG_MAIN, "OCSP stapling "
 947             "with multiple responses not handled");
 948         i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 949         goto out;
 950         }
 951       single = OCSP_resp_get0(bs, 0);
 952       status = OCSP_single_get0_status(single, &reason, &rev,
 953                   &thisupd, &nextupd);
 954       }
 955
 956     DEBUG(D_tls) time_print(bp, "This OCSP Update", thisupd);
 957     DEBUG(D_tls) if(nextupd) time_print(bp, "Next OCSP Update", nextupd);
 958     if (!OCSP_check_validity(thisupd, nextupd,
 959           EXIM_OCSP_SKEW_SECONDS, EXIM_OCSP_MAX_AGE))
 960       {
 961       tls_out.ocsp = OCSP_FAILED;
 962       DEBUG(D_tls) ERR_print_errors(bp);
 963       log_write(0, LOG_MAIN, "Server OSCP dates invalid");
 964       i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 965       }
 966     else
 967       {
 968       DEBUG(D_tls) BIO_printf(bp, "Certificate status: %s\n",
 969                     OCSP_cert_status_str(status));
 970       switch(status)
 971         {
 972         case V_OCSP_CERTSTATUS_GOOD:
 973           tls_out.ocsp = OCSP_VFIED;
 974           i = 1;
 975           break;
 976         case V_OCSP_CERTSTATUS_REVOKED:
 977           tls_out.ocsp = OCSP_FAILED;
 978           log_write(0, LOG_MAIN, "Server certificate revoked%s%s",
 979               reason != -1 ? "; reason: " : "",
 980               reason != -1 ? OCSP_crl_reason_str(reason) : "");
 981           DEBUG(D_tls) time_print(bp, "Revocation Time", rev);
 982           i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 983           break;
 984         default:
 985           tls_out.ocsp = OCSP_FAILED;
 986           log_write(0, LOG_MAIN,
 987               "Server certificate status unknown, in OCSP stapling");
 988           i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
 989           break;
 990         }
 991       }
 992   out:
 993     BIO_free(bp);
 994   }
 995
 996 OCSP_RESPONSE_free(rsp);
 997 return i;
 998 }
 999 #endif  /*!DISABLE_OCSP*/
1000
1001
1002
1003 /*************************************************
1004 *            Initialize for TLS                  *
1005 *************************************************/
1006
1007 /* Called from both server and client code, to do preliminary initialization
1008 of the library.  We allocate and return a context structure.
1009
1010 Arguments:
1011   ctxp            returned SSL context
1012   host            connected host, if client; NULL if server
1013   dhparam         DH parameter file
1014   certificate     certificate file
1015   privatekey      private key
1016   ocsp_file       file of stapling info (server); flag for require ocsp (client)
1017   addr            address if client; NULL if server (for some randomness)
1018   cbp             place to put allocated callback context
1019
1020 Returns:          OK/DEFER/FAIL
1021 */
1022
1023 static int
1024 tls_init(SSL_CTX **ctxp, host_item *host, uschar *dhparam, uschar *certificate,
1025   uschar *privatekey,
1026 #ifndef DISABLE_OCSP
1027   uschar *ocsp_file,
1028 #endif
1029   address_item *addr, tls_ext_ctx_cb ** cbp)
1030 {
1031 long init_options;
1032 int rc;
1033 BOOL okay;
1034 tls_ext_ctx_cb *cbinfo;
1035
1036 cbinfo = store_malloc(sizeof(tls_ext_ctx_cb));
1037 cbinfo->certificate = certificate;
1038 cbinfo->privatekey = privatekey;
1039 #ifndef DISABLE_OCSP
1040 if ((cbinfo->is_server = host==NULL))
1041   {
1042   cbinfo->u_ocsp.server.file = ocsp_file;
1043   cbinfo->u_ocsp.server.file_expanded = NULL;
1044   cbinfo->u_ocsp.server.response = NULL;
1045   }
1046 else
1047   cbinfo->u_ocsp.client.verify_store = NULL;
1048 #endif
1049 cbinfo->dhparam = dhparam;
1050 cbinfo->server_cipher_list = NULL;
1051 cbinfo->host = host;
1052
1053 SSL_load_error_strings();          /* basic set up */
1054 OpenSSL_add_ssl_algorithms();
1055
1056 #if (OPENSSL_VERSION_NUMBER >= 0x0090800fL) && !defined(OPENSSL_NO_SHA256)
1057 /* SHA256 is becoming ever more popular. This makes sure it gets added to the
1058 list of available digests. */
1059 EVP_add_digest(EVP_sha256());
1060 #endif
1061
1062 /* Create a context.
1063 The OpenSSL docs in 1.0.1b have not been updated to clarify TLS variant
1064 negotiation in the different methods; as far as I can tell, the only
1065 *_{server,client}_method which allows negotiation is SSLv23, which exists even
1066 when OpenSSL is built without SSLv2 support.
1067 By disabling with openssl_options, we can let admins re-enable with the
1068 existing knob. */
1069
1070 *ctxp = SSL_CTX_new((host == NULL)?
1071   SSLv23_server_method() : SSLv23_client_method());
1072
1073 if (*ctxp == NULL) return tls_error(US"SSL_CTX_new", host, NULL);
1074
1075 /* It turns out that we need to seed the random number generator this early in
1076 order to get the full complement of ciphers to work. It took me roughly a day
1077 of work to discover this by experiment.
1078
1079 On systems that have /dev/urandom, SSL may automatically seed itself from
1080 there. Otherwise, we have to make something up as best we can. Double check
1081 afterwards. */
1082
1083 if (!RAND_status())
1084   {
1085   randstuff r;
1086   gettimeofday(&r.tv, NULL);
1087   r.p = getpid();
1088
1089   RAND_seed((uschar *)(&r), sizeof(r));
1090   RAND_seed((uschar *)big_buffer, big_buffer_size);
1091   if (addr != NULL) RAND_seed((uschar *)addr, sizeof(addr));
1092
1093   if (!RAND_status())
1094     return tls_error(US"RAND_status", host,
1095       US"unable to seed random number generator");
1096   }
1097
1098 /* Set up the information callback, which outputs if debugging is at a suitable
1099 level. */
1100
1101 SSL_CTX_set_info_callback(*ctxp, (void (*)())info_callback);
1102
1103 /* Automatically re-try reads/writes after renegotiation. */
1104 (void) SSL_CTX_set_mode(*ctxp, SSL_MODE_AUTO_RETRY);
1105
1106 /* Apply administrator-supplied work-arounds.
1107 Historically we applied just one requested option,
1108 SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS, but when bug 994 requested a second, we
1109 moved to an administrator-controlled list of options to specify and
1110 grandfathered in the first one as the default value for "openssl_options".
1111
1112 No OpenSSL version number checks: the options we accept depend upon the
1113 availability of the option value macros from OpenSSL.  */
1114
1115 okay = tls_openssl_options_parse(openssl_options, &init_options);
1116 if (!okay)
1117   return tls_error(US"openssl_options parsing failed", host, NULL);
1118
1119 if (init_options)
1120   {
1121   DEBUG(D_tls) debug_printf("setting SSL CTX options: %#lx\n", init_options);
1122   if (!(SSL_CTX_set_options(*ctxp, init_options)))
1123     return tls_error(string_sprintf(
1124           "SSL_CTX_set_option(%#lx)", init_options), host, NULL);
1125   }
1126 else
1127   DEBUG(D_tls) debug_printf("no SSL CTX options to set\n");
1128
1129 /* Initialize with DH parameters if supplied */
1130
1131 if (!init_dh(*ctxp, dhparam, host)) return DEFER;
1132
1133 /* Set up certificate and key (and perhaps OCSP info) */
1134
1135 rc = tls_expand_session_files(*ctxp, cbinfo);
1136 if (rc != OK) return rc;
1137
1138 /* If we need to handle SNI, do so */
1139 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
1140 if (host == NULL)               /* server */
1141   {
1142 # ifndef DISABLE_OCSP
1143   /* We check u_ocsp.server.file, not server.response, because we care about if
1144   the option exists, not what the current expansion might be, as SNI might
1145   change the certificate and OCSP file in use between now and the time the
1146   callback is invoked. */
1147   if (cbinfo->u_ocsp.server.file)
1148     {
1149     SSL_CTX_set_tlsext_status_cb(server_ctx, tls_server_stapling_cb);
1150     SSL_CTX_set_tlsext_status_arg(server_ctx, cbinfo);
1151     }
1152 # endif
1153   /* We always do this, so that $tls_sni is available even if not used in
1154   tls_certificate */
1155   SSL_CTX_set_tlsext_servername_callback(*ctxp, tls_servername_cb);
1156   SSL_CTX_set_tlsext_servername_arg(*ctxp, cbinfo);
1157   }
1158 # ifndef DISABLE_OCSP
1159 else                    /* client */
1160   if(ocsp_file)         /* wanting stapling */
1161     {
1162     if (!(cbinfo->u_ocsp.client.verify_store = X509_STORE_new()))
1163       {
1164       DEBUG(D_tls) debug_printf("failed to create store for stapling verify\n");
1165       return FAIL;
1166       }
1167     SSL_CTX_set_tlsext_status_cb(*ctxp, tls_client_stapling_cb);
1168     SSL_CTX_set_tlsext_status_arg(*ctxp, cbinfo);
1169     }
1170 # endif
1171 #endif
1172
1173 #ifdef EXPERIMENTAL_CERTNAMES
1174 cbinfo->verify_cert_hostnames = NULL;
1175 #endif
1176
1177 /* Set up the RSA callback */
1178
1179 SSL_CTX_set_tmp_rsa_callback(*ctxp, rsa_callback);
1180
1181 /* Finally, set the timeout, and we are done */
1182
1183 SSL_CTX_set_timeout(*ctxp, ssl_session_timeout);
1184 DEBUG(D_tls) debug_printf("Initialized TLS\n");
1185
1186 *cbp = cbinfo;
1187
1188 return OK;
1189 }
1190
1191
1192
1193
1194 /*************************************************
1195 *           Get name of cipher in use            *
1196 *************************************************/
1197
1198 /*
1199 Argument:   pointer to an SSL structure for the connection
1200             buffer to use for answer
1201             size of buffer
1202             pointer to number of bits for cipher
1203 Returns:    nothing
1204 */
1205
1206 static void
1207 construct_cipher_name(SSL *ssl, uschar *cipherbuf, int bsize, int *bits)
1208 {
1209 /* With OpenSSL 1.0.0a, this needs to be const but the documentation doesn't
1210 yet reflect that.  It should be a safe change anyway, even 0.9.8 versions have
1211 the accessor functions use const in the prototype. */
1212 const SSL_CIPHER *c;
1213 const uschar *ver;
1214
1215 ver = (const uschar *)SSL_get_version(ssl);
1216
1217 c = (const SSL_CIPHER *) SSL_get_current_cipher(ssl);
1218 SSL_CIPHER_get_bits(c, bits);
1219
1220 string_format(cipherbuf, bsize, "%s:%s:%u", ver,
1221   SSL_CIPHER_get_name(c), *bits);
1222
1223 DEBUG(D_tls) debug_printf("Cipher: %s\n", cipherbuf);
1224 }
1225
1226
1227
1228
1229
1230 /*************************************************
1231 *        Set up for verifying certificates       *
1232 *************************************************/
1233
1234 /* Called by both client and server startup
1235
1236 Arguments:
1237   sctx          SSL_CTX* to initialise
1238   certs         certs file or NULL
1239   crl           CRL file or NULL
1240   host          NULL in a server; the remote host in a client
1241   optional      TRUE if called from a server for a host in tls_try_verify_hosts;
1242                 otherwise passed as FALSE
1243   cert_vfy_cb   Callback function for certificate verification
1244
1245 Returns:        OK/DEFER/FAIL
1246 */
1247
1248 static int
1249 setup_certs(SSL_CTX *sctx, uschar *certs, uschar *crl, host_item *host, BOOL optional,
1250     int (*cert_vfy_cb)(int, X509_STORE_CTX *) )
1251 {
1252 uschar *expcerts, *expcrl;
1253
1254 if (!expand_check(certs, US"tls_verify_certificates", &expcerts))
1255   return DEFER;
1256
1257 if (expcerts != NULL && *expcerts != '\0')
1258   {
1259   struct stat statbuf;
1260   if (!SSL_CTX_set_default_verify_paths(sctx))
1261     return tls_error(US"SSL_CTX_set_default_verify_paths", host, NULL);
1262
1263   if (Ustat(expcerts, &statbuf) < 0)
1264     {
1265     log_write(0, LOG_MAIN|LOG_PANIC,
1266       "failed to stat %s for certificates", expcerts);
1267     return DEFER;
1268     }
1269   else
1270     {
1271     uschar *file, *dir;
1272     if ((statbuf.st_mode & S_IFMT) == S_IFDIR)
1273       { file = NULL; dir = expcerts; }
1274     else
1275       { file = expcerts; dir = NULL; }
1276
1277     /* If a certificate file is empty, the next function fails with an
1278     unhelpful error message. If we skip it, we get the correct behaviour (no
1279     certificates are recognized, but the error message is still misleading (it
1280     says no certificate was supplied.) But this is better. */
1281
1282     if ((file == NULL || statbuf.st_size > 0) &&
1283           !SSL_CTX_load_verify_locations(sctx, CS file, CS dir))
1284       return tls_error(US"SSL_CTX_load_verify_locations", host, NULL);
1285
1286     if (file != NULL)
1287       {
1288       SSL_CTX_set_client_CA_list(sctx, SSL_load_client_CA_file(CS file));
1289       }
1290     }
1291
1292   /* Handle a certificate revocation list. */
1293
1294   #if OPENSSL_VERSION_NUMBER > 0x00907000L
1295
1296   /* This bit of code is now the version supplied by Lars Mainka. (I have
1297    * merely reformatted it into the Exim code style.)
1298
1299    * "From here I changed the code to add support for multiple crl's
1300    * in pem format in one file or to support hashed directory entries in
1301    * pem format instead of a file. This method now uses the library function
1302    * X509_STORE_load_locations to add the CRL location to the SSL context.
1303    * OpenSSL will then handle the verify against CA certs and CRLs by
1304    * itself in the verify callback." */
1305
1306   if (!expand_check(crl, US"tls_crl", &expcrl)) return DEFER;
1307   if (expcrl != NULL && *expcrl != 0)
1308     {
1309     struct stat statbufcrl;
1310     if (Ustat(expcrl, &statbufcrl) < 0)
1311       {
1312       log_write(0, LOG_MAIN|LOG_PANIC,
1313         "failed to stat %s for certificates revocation lists", expcrl);
1314       return DEFER;
1315       }
1316     else
1317       {
1318       /* is it a file or directory? */
1319       uschar *file, *dir;
1320       X509_STORE *cvstore = SSL_CTX_get_cert_store(sctx);
1321       if ((statbufcrl.st_mode & S_IFMT) == S_IFDIR)
1322         {
1323         file = NULL;
1324         dir = expcrl;
1325         DEBUG(D_tls) debug_printf("SSL CRL value is a directory %s\n", dir);
1326         }
1327       else
1328         {
1329         file = expcrl;
1330         dir = NULL;
1331         DEBUG(D_tls) debug_printf("SSL CRL value is a file %s\n", file);
1332         }
1333       if (X509_STORE_load_locations(cvstore, CS file, CS dir) == 0)
1334         return tls_error(US"X509_STORE_load_locations", host, NULL);
1335
1336       /* setting the flags to check against the complete crl chain */
1337
1338       X509_STORE_set_flags(cvstore,
1339         X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL);
1340       }
1341     }
1342
1343   #endif  /* OPENSSL_VERSION_NUMBER > 0x00907000L */
1344
1345   /* If verification is optional, don't fail if no certificate */
1346
1347   SSL_CTX_set_verify(sctx,
1348     SSL_VERIFY_PEER | (optional? 0 : SSL_VERIFY_FAIL_IF_NO_PEER_CERT),
1349     cert_vfy_cb);
1350   }
1351
1352 return OK;
1353 }
1354
1355
1356
1357 /*************************************************
1358 *       Start a TLS session in a server          *
1359 *************************************************/
1360
1361 /* This is called when Exim is running as a server, after having received
1362 the STARTTLS command. It must respond to that command, and then negotiate
1363 a TLS session.
1364
1365 Arguments:
1366   require_ciphers   allowed ciphers
1367
1368 Returns:            OK on success
1369                     DEFER for errors before the start of the negotiation
1370                     FAIL for errors during the negotation; the server can't
1371                       continue running.
1372 */
1373
1374 int
1375 tls_server_start(const uschar *require_ciphers)
1376 {
1377 int rc;
1378 uschar *expciphers;
1379 tls_ext_ctx_cb *cbinfo;
1380 static uschar cipherbuf[256];
1381
1382 /* Check for previous activation */
1383
1384 if (tls_in.active >= 0)
1385   {
1386   tls_error(US"STARTTLS received after TLS started", NULL, US"");
1387   smtp_printf("554 Already in TLS\r\n");
1388   return FAIL;
1389   }
1390
1391 /* Initialize the SSL library. If it fails, it will already have logged
1392 the error. */
1393
1394 rc = tls_init(&server_ctx, NULL, tls_dhparam, tls_certificate, tls_privatekey,
1395 #ifndef DISABLE_OCSP
1396     tls_ocsp_file,
1397 #endif
1398     NULL, &server_static_cbinfo);
1399 if (rc != OK) return rc;
1400 cbinfo = server_static_cbinfo;
1401
1402 if (!expand_check(require_ciphers, US"tls_require_ciphers", &expciphers))
1403   return FAIL;
1404
1405 /* In OpenSSL, cipher components are separated by hyphens. In GnuTLS, they
1406 were historically separated by underscores. So that I can use either form in my
1407 tests, and also for general convenience, we turn underscores into hyphens here.
1408 */
1409
1410 if (expciphers != NULL)
1411   {
1412   uschar *s = expciphers;
1413   while (*s != 0) { if (*s == '_') *s = '-'; s++; }
1414   DEBUG(D_tls) debug_printf("required ciphers: %s\n", expciphers);
1415   if (!SSL_CTX_set_cipher_list(server_ctx, CS expciphers))
1416     return tls_error(US"SSL_CTX_set_cipher_list", NULL, NULL);
1417   cbinfo->server_cipher_list = expciphers;
1418   }
1419
1420 /* If this is a host for which certificate verification is mandatory or
1421 optional, set up appropriately. */
1422
1423 tls_in.certificate_verified = FALSE;
1424 server_verify_callback_called = FALSE;
1425
1426 if (verify_check_host(&tls_verify_hosts) == OK)
1427   {
1428   rc = setup_certs(server_ctx, tls_verify_certificates, tls_crl, NULL,
1429                         FALSE, verify_callback_server);
1430   if (rc != OK) return rc;
1431   server_verify_optional = FALSE;
1432   }
1433 else if (verify_check_host(&tls_try_verify_hosts) == OK)
1434   {
1435   rc = setup_certs(server_ctx, tls_verify_certificates, tls_crl, NULL,
1436                         TRUE, verify_callback_server);
1437   if (rc != OK) return rc;
1438   server_verify_optional = TRUE;
1439   }
1440
1441 /* Prepare for new connection */
1442
1443 if ((server_ssl = SSL_new(server_ctx)) == NULL) return tls_error(US"SSL_new", NULL, NULL);
1444
1445 /* Warning: we used to SSL_clear(ssl) here, it was removed.
1446  *
1447  * With the SSL_clear(), we get strange interoperability bugs with
1448  * OpenSSL 1.0.1b and TLS1.1/1.2.  It looks as though this may be a bug in
1449  * OpenSSL itself, as a clear should not lead to inability to follow protocols.
1450  *
1451  * The SSL_clear() call is to let an existing SSL* be reused, typically after
1452  * session shutdown.  In this case, we have a brand new object and there's no
1453  * obvious reason to immediately clear it.  I'm guessing that this was
1454  * originally added because of incomplete initialisation which the clear fixed,
1455  * in some historic release.
1456  */
1457
1458 /* Set context and tell client to go ahead, except in the case of TLS startup
1459 on connection, where outputting anything now upsets the clients and tends to
1460 make them disconnect. We need to have an explicit fflush() here, to force out
1461 the response. Other smtp_printf() calls do not need it, because in non-TLS
1462 mode, the fflush() happens when smtp_getc() is called. */
1463
1464 SSL_set_session_id_context(server_ssl, sid_ctx, Ustrlen(sid_ctx));
1465 if (!tls_in.on_connect)
1466   {
1467   smtp_printf("220 TLS go ahead\r\n");
1468   fflush(smtp_out);
1469   }
1470
1471 /* Now negotiate the TLS session. We put our own timer on it, since it seems
1472 that the OpenSSL library doesn't. */
1473
1474 SSL_set_wfd(server_ssl, fileno(smtp_out));
1475 SSL_set_rfd(server_ssl, fileno(smtp_in));
1476 SSL_set_accept_state(server_ssl);
1477
1478 DEBUG(D_tls) debug_printf("Calling SSL_accept\n");
1479
1480 sigalrm_seen = FALSE;
1481 if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
1482 rc = SSL_accept(server_ssl);
1483 alarm(0);
1484
1485 if (rc <= 0)
1486   {
1487   tls_error(US"SSL_accept", NULL, sigalrm_seen ? US"timed out" : NULL);
1488   if (ERR_get_error() == 0)
1489     log_write(0, LOG_MAIN,
1490         "TLS client disconnected cleanly (rejected our certificate?)");
1491   return FAIL;
1492   }
1493
1494 DEBUG(D_tls) debug_printf("SSL_accept was successful\n");
1495
1496 /* TLS has been set up. Adjust the input functions to read via TLS,
1497 and initialize things. */
1498
1499 construct_cipher_name(server_ssl, cipherbuf, sizeof(cipherbuf), &tls_in.bits);
1500 tls_in.cipher = cipherbuf;
1501
1502 DEBUG(D_tls)
1503   {
1504   uschar buf[2048];
1505   if (SSL_get_shared_ciphers(server_ssl, CS buf, sizeof(buf)) != NULL)
1506     debug_printf("Shared ciphers: %s\n", buf);
1507   }
1508
1509 /* Record the certificate we presented */
1510   {
1511   X509 * crt = SSL_get_certificate(server_ssl);
1512   tls_in.ourcert = crt ? X509_dup(crt) : NULL;
1513   }
1514
1515 /* Only used by the server-side tls (tls_in), including tls_getc.
1516    Client-side (tls_out) reads (seem to?) go via
1517    smtp_read_response()/ip_recv().
1518    Hence no need to duplicate for _in and _out.
1519  */
1520 ssl_xfer_buffer = store_malloc(ssl_xfer_buffer_size);
1521 ssl_xfer_buffer_lwm = ssl_xfer_buffer_hwm = 0;
1522 ssl_xfer_eof = ssl_xfer_error = 0;
1523
1524 receive_getc = tls_getc;
1525 receive_ungetc = tls_ungetc;
1526 receive_feof = tls_feof;
1527 receive_ferror = tls_ferror;
1528 receive_smtp_buffered = tls_smtp_buffered;
1529
1530 tls_in.active = fileno(smtp_out);
1531 return OK;
1532 }
1533
1534
1535
1536
1537 static int
1538 tls_client_basic_ctx_init(SSL_CTX * ctx,
1539     host_item * host, smtp_transport_options_block * ob
1540 #ifdef EXPERIMENTAL_CERTNAMES
1541     , tls_ext_ctx_cb * cbinfo
1542 #endif
1543                           )
1544 {
1545 int rc;
1546 /* stick to the old behaviour for compatibility if tls_verify_certificates is
1547    set but both tls_verify_hosts and tls_try_verify_hosts is not set. Check only
1548    the specified host patterns if one of them is defined */
1549
1550 if ((!ob->tls_verify_hosts && !ob->tls_try_verify_hosts) ||
1551     (verify_check_host(&ob->tls_verify_hosts) == OK))
1552   {
1553   if ((rc = setup_certs(ctx, ob->tls_verify_certificates,
1554         ob->tls_crl, host, FALSE, verify_callback_client)) != OK)
1555     return rc;
1556   client_verify_optional = FALSE;
1557
1558 #ifdef EXPERIMENTAL_CERTNAMES
1559   if (ob->tls_verify_cert_hostnames)
1560     {
1561     if (!expand_check(ob->tls_verify_cert_hostnames,
1562                       US"tls_verify_cert_hostnames",
1563                       &cbinfo->verify_cert_hostnames))
1564       return FAIL;
1565     if (cbinfo->verify_cert_hostnames)
1566       DEBUG(D_tls) debug_printf("Cert hostname to check: \"%s\"\n",
1567                       cbinfo->verify_cert_hostnames);
1568     }
1569 #endif
1570   }
1571 else if (verify_check_host(&ob->tls_try_verify_hosts) == OK)
1572   {
1573   if ((rc = setup_certs(ctx, ob->tls_verify_certificates,
1574         ob->tls_crl, host, TRUE, verify_callback_client)) != OK)
1575     return rc;
1576   client_verify_optional = TRUE;
1577   }
1578
1579 return OK;
1580 }
1581
1582 /*************************************************
1583 *    Start a TLS session in a client             *
1584 *************************************************/
1585
1586 /* Called from the smtp transport after STARTTLS has been accepted.
1587
1588 Argument:
1589   fd               the fd of the connection
1590   host             connected host (for messages)
1591   addr             the first address
1592   ob               smtp transport options
1593
1594 Returns:           OK on success
1595                    FAIL otherwise - note that tls_error() will not give DEFER
1596                      because this is not a server
1597 */
1598
1599 int
1600 tls_client_start(int fd, host_item *host, address_item *addr,
1601   void *v_ob)
1602 {
1603 smtp_transport_options_block * ob = v_ob;
1604 static uschar txt[256];
1605 uschar * expciphers;
1606 X509 * server_cert;
1607 int rc;
1608 static uschar cipherbuf[256];
1609
1610 #ifndef DISABLE_OCSP
1611 BOOL request_ocsp = FALSE;
1612 BOOL require_ocsp = FALSE;
1613 #endif
1614 #ifdef EXPERIMENTAL_DANE
1615 dns_answer tlsa_dnsa;
1616 BOOL dane = FALSE;
1617 BOOL dane_required;
1618 #endif
1619
1620 #ifdef EXPERIMENTAL_DANE
1621 /*XXX TBD: test for transport options, and for TLSA records */
1622 /*dane = TRUE;*/
1623
1624 # ifdef notyet
1625 dane_required = verify_check_this_host(&ob->hosts_require_dane, NULL,
1626                           host->name, host->address, NULL) == OK;
1627 # else
1628 dane_required = FALSE;
1629 #endif
1630
1631 if (host->dnssec == DS_YES)
1632   {
1633   if(  dane_required
1634     || verify_check_this_host(&ob->hosts_try_dane, NULL,
1635                           host->name, host->address, NULL) == OK
1636     )
1637     {
1638     /* move this out to host.c given the similarity to dns_lookup() ? */
1639     uschar buffer[300];
1640     int prefix_length;  /* why do we want this? */
1641     uschar * fullname = buffer;
1642
1643     /* TLSA lookup string */
1644     (void)sprintf(CS buffer, "_%d._tcp.%n%.256s", host->port, &prefix_length,
1645       host->name);
1646
1647     switch (rc = dns_lookup(&tlsa_dnsa, buffer, T_TLSA, &fullname))
1648       {
1649       case DNS_AGAIN:
1650         return DEFER; /* just defer this TLS'd conn */
1651
1652       default:
1653       case DNS_FAIL:
1654         if (dane_required)
1655           {
1656           /* log that TLSA lookup failed */
1657           return FAIL;
1658           }
1659         break;
1660
1661       case DNS_SUCCEED:
1662         if (!dns_is_secure(&tlsa_dnsa))
1663           {
1664           /*log it - tlsa should never be non-dnssec */
1665           return DEFER;
1666           }
1667         dane = TRUE;
1668         break;
1669       }
1670     }
1671   }
1672 else if (dane_required && !dane)
1673   {
1674   /* log that dnssec pre-req failed.  Hmm - what? */
1675   return FAIL;
1676   }
1677
1678 if (!dane)      /*XXX todo: enable ocsp with dane */
1679 #endif
1680
1681 #ifndef DISABLE_OCSP
1682   {
1683   require_ocsp = verify_check_this_host(&ob->hosts_require_ocsp,
1684     NULL, host->name, host->address, NULL) == OK;
1685   request_ocsp = require_ocsp ? TRUE
1686     : verify_check_this_host(&ob->hosts_request_ocsp,
1687         NULL, host->name, host->address, NULL) == OK;
1688   }
1689 #endif
1690
1691 rc = tls_init(&client_ctx, host, NULL,
1692     ob->tls_certificate, ob->tls_privatekey,
1693 #ifndef DISABLE_OCSP
1694     (void *)(long)request_ocsp,
1695 #endif
1696     addr, &client_static_cbinfo);
1697 if (rc != OK) return rc;
1698
1699 tls_out.certificate_verified = FALSE;
1700 client_verify_callback_called = FALSE;
1701
1702 if (!expand_check(ob->tls_require_ciphers, US"tls_require_ciphers",
1703     &expciphers))
1704   return FAIL;
1705
1706 /* In OpenSSL, cipher components are separated by hyphens. In GnuTLS, they
1707 are separated by underscores. So that I can use either form in my tests, and
1708 also for general convenience, we turn underscores into hyphens here. */
1709
1710 if (expciphers != NULL)
1711   {
1712   uschar *s = expciphers;
1713   while (*s != 0) { if (*s == '_') *s = '-'; s++; }
1714   DEBUG(D_tls) debug_printf("required ciphers: %s\n", expciphers);
1715   if (!SSL_CTX_set_cipher_list(client_ctx, CS expciphers))
1716     return tls_error(US"SSL_CTX_set_cipher_list", host, NULL);
1717   }
1718
1719 #ifdef EXPERIMENTAL_DANE
1720 if (dane)
1721   {
1722   if (!DANESSL_library_init())
1723     return tls_error(US"library init", host, US"DANE library error");
1724   if (DANESSL_CTX_init(client_ctx) <= 0)
1725     return tls_error(US"context init", host, US"DANE library error");
1726   }
1727 else
1728
1729 #endif
1730
1731   if ((rc = tls_client_basic_ctx_init(client_ctx, host, ob
1732 #ifdef EXPERIMENTAL_CERTNAMES
1733                                 , client_static_cbinfo
1734 #endif
1735                                 )) != OK)
1736     return rc;
1737
1738 if ((client_ssl = SSL_new(client_ctx)) == NULL)
1739   return tls_error(US"SSL_new", host, NULL);
1740 SSL_set_session_id_context(client_ssl, sid_ctx, Ustrlen(sid_ctx));
1741 SSL_set_fd(client_ssl, fd);
1742 SSL_set_connect_state(client_ssl);
1743
1744 if (ob->tls_sni)
1745   {
1746   if (!expand_check(ob->tls_sni, US"tls_sni", &tls_out.sni))
1747     return FAIL;
1748   if (tls_out.sni == NULL)
1749     {
1750     DEBUG(D_tls) debug_printf("Setting TLS SNI forced to fail, not sending\n");
1751     }
1752   else if (!Ustrlen(tls_out.sni))
1753     tls_out.sni = NULL;
1754   else
1755     {
1756 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
1757     DEBUG(D_tls) debug_printf("Setting TLS SNI \"%s\"\n", tls_out.sni);
1758     SSL_set_tlsext_host_name(client_ssl, tls_out.sni);
1759 #else
1760     DEBUG(D_tls)
1761       debug_printf("OpenSSL at build-time lacked SNI support, ignoring \"%s\"\n",
1762           tls_out.sni);
1763 #endif
1764     }
1765   }
1766
1767 #ifndef DISABLE_OCSP
1768 /* Request certificate status at connection-time.  If the server
1769 does OCSP stapling we will get the callback (set in tls_init()) */
1770 if (request_ocsp)
1771   {
1772   SSL_set_tlsext_status_type(client_ssl, TLSEXT_STATUSTYPE_ocsp);
1773   client_static_cbinfo->u_ocsp.client.verify_required = require_ocsp;
1774   tls_out.ocsp = OCSP_NOT_RESP;
1775   }
1776 #endif
1777
1778 #ifdef EXPERIMENTAL_DANE
1779 if (dane)
1780   {
1781   dns_record * rr;
1782   dns_scan dnss;
1783   uschar * hostnames[2] = { host->name, NULL };
1784
1785   if (DANESSL_init(client_ssl, NULL, hostnames) != 1)
1786     return tls_error(US"hostnames load", host, US"DANE library error");
1787
1788   for (rr = dns_next_rr(&tlsa_dnsa, &dnss, RESET_ANSWERS);
1789        rr;
1790        rr = dns_next_rr(&tlsa_dnsa, &dnss, RESET_NEXT)
1791       ) if (rr->type == T_TLSA)
1792     {
1793     uschar * p = rr->data;
1794     int usage, selector, mtype;
1795     const char * mdname;
1796
1797     GETSHORT(usage, p);
1798     GETSHORT(selector, p);
1799     GETSHORT(mtype, p);
1800
1801     switch (mtype)
1802       {
1803       default: /* log bad */ return FAIL;
1804       case 0:   mdname = NULL; break;
1805       case 1:   mdname = "SHA2-256"; break;
1806       case 2:   mdname = "SHA2-512"; break;
1807       }
1808
1809     switch (DANESSL_add_tlsa(client_ssl,
1810                 (uint8_t) usage, (uint8_t) selector,
1811                 mdname, p, rr->size - (p - rr->data)))
1812       {
1813       default:
1814       case 0:   /* action not taken; log error */
1815         return FAIL;
1816       case 1:   break;
1817       }
1818     }
1819   }
1820 #endif
1821
1822
1823 /* There doesn't seem to be a built-in timeout on connection. */
1824
1825 DEBUG(D_tls) debug_printf("Calling SSL_connect\n");
1826 sigalrm_seen = FALSE;
1827 alarm(ob->command_timeout);
1828 rc = SSL_connect(client_ssl);
1829 alarm(0);
1830
1831 #ifdef EXPERIMENTAL_DANE
1832 DANESSL_cleanup(client_ssl);    /*XXX earliest possible callpoint. Too early? */
1833 #endif
1834
1835 if (rc <= 0)
1836   return tls_error(US"SSL_connect", host, sigalrm_seen ? US"timed out" : NULL);
1837
1838 DEBUG(D_tls) debug_printf("SSL_connect succeeded\n");
1839
1840 /* Beware anonymous ciphers which lead to server_cert being NULL */
1841 /*XXX server_cert is never freed... use X509_free() */
1842 server_cert = SSL_get_peer_certificate (client_ssl);
1843 if (server_cert)
1844   {
1845   tls_out.peerdn = US X509_NAME_oneline(X509_get_subject_name(server_cert),
1846     CS txt, sizeof(txt));
1847   tls_out.peerdn = txt;         /*XXX a static buffer... */
1848   }
1849 else
1850   tls_out.peerdn = NULL;
1851
1852 construct_cipher_name(client_ssl, cipherbuf, sizeof(cipherbuf), &tls_out.bits);
1853 tls_out.cipher = cipherbuf;
1854
1855 /* Record the certificate we presented */
1856   {
1857   X509 * crt = SSL_get_certificate(client_ssl);
1858   tls_out.ourcert = crt ? X509_dup(crt) : NULL;
1859   }
1860
1861 tls_out.active = fd;
1862 return OK;
1863 }
1864
1865
1866
1867
1868
1869 /*************************************************
1870 *            TLS version of getc                 *
1871 *************************************************/
1872
1873 /* This gets the next byte from the TLS input buffer. If the buffer is empty,
1874 it refills the buffer via the SSL reading function.
1875
1876 Arguments:  none
1877 Returns:    the next character or EOF
1878
1879 Only used by the server-side TLS.
1880 */
1881
1882 int
1883 tls_getc(void)
1884 {
1885 if (ssl_xfer_buffer_lwm >= ssl_xfer_buffer_hwm)
1886   {
1887   int error;
1888   int inbytes;
1889
1890   DEBUG(D_tls) debug_printf("Calling SSL_read(%p, %p, %u)\n", server_ssl,
1891     ssl_xfer_buffer, ssl_xfer_buffer_size);
1892
1893   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
1894   inbytes = SSL_read(server_ssl, CS ssl_xfer_buffer, ssl_xfer_buffer_size);
1895   error = SSL_get_error(server_ssl, inbytes);
1896   alarm(0);
1897
1898   /* SSL_ERROR_ZERO_RETURN appears to mean that the SSL session has been
1899   closed down, not that the socket itself has been closed down. Revert to
1900   non-SSL handling. */
1901
1902   if (error == SSL_ERROR_ZERO_RETURN)
1903     {
1904     DEBUG(D_tls) debug_printf("Got SSL_ERROR_ZERO_RETURN\n");
1905
1906     receive_getc = smtp_getc;
1907     receive_ungetc = smtp_ungetc;
1908     receive_feof = smtp_feof;
1909     receive_ferror = smtp_ferror;
1910     receive_smtp_buffered = smtp_buffered;
1911
1912     SSL_free(server_ssl);
1913     server_ssl = NULL;
1914     tls_in.active = -1;
1915     tls_in.bits = 0;
1916     tls_in.cipher = NULL;
1917     tls_in.peerdn = NULL;
1918     tls_in.sni = NULL;
1919
1920     return smtp_getc();
1921     }
1922
1923   /* Handle genuine errors */
1924
1925   else if (error == SSL_ERROR_SSL)
1926     {
1927     ERR_error_string(ERR_get_error(), ssl_errstring);
1928     log_write(0, LOG_MAIN, "TLS error (SSL_read): %s", ssl_errstring);
1929     ssl_xfer_error = 1;
1930     return EOF;
1931     }
1932
1933   else if (error != SSL_ERROR_NONE)
1934     {
1935     DEBUG(D_tls) debug_printf("Got SSL error %d\n", error);
1936     ssl_xfer_error = 1;
1937     return EOF;
1938     }
1939
1940 #ifndef DISABLE_DKIM
1941   dkim_exim_verify_feed(ssl_xfer_buffer, inbytes);
1942 #endif
1943   ssl_xfer_buffer_hwm = inbytes;
1944   ssl_xfer_buffer_lwm = 0;
1945   }
1946
1947 /* Something in the buffer; return next uschar */
1948
1949 return ssl_xfer_buffer[ssl_xfer_buffer_lwm++];
1950 }
1951
1952
1953
1954 /*************************************************
1955 *          Read bytes from TLS channel           *
1956 *************************************************/
1957
1958 /*
1959 Arguments:
1960   buff      buffer of data
1961   len       size of buffer
1962
1963 Returns:    the number of bytes read
1964             -1 after a failed read
1965
1966 Only used by the client-side TLS.
1967 */
1968
1969 int
1970 tls_read(BOOL is_server, uschar *buff, size_t len)
1971 {
1972 SSL *ssl = is_server ? server_ssl : client_ssl;
1973 int inbytes;
1974 int error;
1975
1976 DEBUG(D_tls) debug_printf("Calling SSL_read(%p, %p, %u)\n", ssl,
1977   buff, (unsigned int)len);
1978
1979 inbytes = SSL_read(ssl, CS buff, len);
1980 error = SSL_get_error(ssl, inbytes);
1981
1982 if (error == SSL_ERROR_ZERO_RETURN)
1983   {
1984   DEBUG(D_tls) debug_printf("Got SSL_ERROR_ZERO_RETURN\n");
1985   return -1;
1986   }
1987 else if (error != SSL_ERROR_NONE)
1988   {
1989   return -1;
1990   }
1991
1992 return inbytes;
1993 }
1994
1995
1996
1997
1998
1999 /*************************************************
2000 *         Write bytes down TLS channel           *
2001 *************************************************/
2002
2003 /*
2004 Arguments:
2005   is_server channel specifier
2006   buff      buffer of data
2007   len       number of bytes
2008
2009 Returns:    the number of bytes after a successful write,
2010             -1 after a failed write
2011
2012 Used by both server-side and client-side TLS.
2013 */
2014
2015 int
2016 tls_write(BOOL is_server, const uschar *buff, size_t len)
2017 {
2018 int outbytes;
2019 int error;
2020 int left = len;
2021 SSL *ssl = is_server ? server_ssl : client_ssl;
2022
2023 DEBUG(D_tls) debug_printf("tls_do_write(%p, %d)\n", buff, left);
2024 while (left > 0)
2025   {
2026   DEBUG(D_tls) debug_printf("SSL_write(SSL, %p, %d)\n", buff, left);
2027   outbytes = SSL_write(ssl, CS buff, left);
2028   error = SSL_get_error(ssl, outbytes);
2029   DEBUG(D_tls) debug_printf("outbytes=%d error=%d\n", outbytes, error);
2030   switch (error)
2031     {
2032     case SSL_ERROR_SSL:
2033     ERR_error_string(ERR_get_error(), ssl_errstring);
2034     log_write(0, LOG_MAIN, "TLS error (SSL_write): %s", ssl_errstring);
2035     return -1;
2036
2037     case SSL_ERROR_NONE:
2038     left -= outbytes;
2039     buff += outbytes;
2040     break;
2041
2042     case SSL_ERROR_ZERO_RETURN:
2043     log_write(0, LOG_MAIN, "SSL channel closed on write");
2044     return -1;
2045
2046     case SSL_ERROR_SYSCALL:
2047     log_write(0, LOG_MAIN, "SSL_write: (from %s) syscall: %s",
2048       sender_fullhost ? sender_fullhost : US"<unknown>",
2049       strerror(errno));
2050
2051     default:
2052     log_write(0, LOG_MAIN, "SSL_write error %d", error);
2053     return -1;
2054     }
2055   }
2056 return len;
2057 }
2058
2059
2060
2061 /*************************************************
2062 *         Close down a TLS session               *
2063 *************************************************/
2064
2065 /* This is also called from within a delivery subprocess forked from the
2066 daemon, to shut down the TLS library, without actually doing a shutdown (which
2067 would tamper with the SSL session in the parent process).
2068
2069 Arguments:   TRUE if SSL_shutdown is to be called
2070 Returns:     nothing
2071
2072 Used by both server-side and client-side TLS.
2073 */
2074
2075 void
2076 tls_close(BOOL is_server, BOOL shutdown)
2077 {
2078 SSL **sslp = is_server ? &server_ssl : &client_ssl;
2079 int *fdp = is_server ? &tls_in.active : &tls_out.active;
2080
2081 if (*fdp < 0) return;  /* TLS was not active */
2082
2083 if (shutdown)
2084   {
2085   DEBUG(D_tls) debug_printf("tls_close(): shutting down SSL\n");
2086   SSL_shutdown(*sslp);
2087   }
2088
2089 SSL_free(*sslp);
2090 *sslp = NULL;
2091
2092 *fdp = -1;
2093 }
2094
2095
2096
2097
2098 /*************************************************
2099 *  Let tls_require_ciphers be checked at startup *
2100 *************************************************/
2101
2102 /* The tls_require_ciphers option, if set, must be something which the
2103 library can parse.
2104
2105 Returns:     NULL on success, or error message
2106 */
2107
2108 uschar *
2109 tls_validate_require_cipher(void)
2110 {
2111 SSL_CTX *ctx;
2112 uschar *s, *expciphers, *err;
2113
2114 /* this duplicates from tls_init(), we need a better "init just global
2115 state, for no specific purpose" singleton function of our own */
2116
2117 SSL_load_error_strings();
2118 OpenSSL_add_ssl_algorithms();
2119 #if (OPENSSL_VERSION_NUMBER >= 0x0090800fL) && !defined(OPENSSL_NO_SHA256)
2120 /* SHA256 is becoming ever more popular. This makes sure it gets added to the
2121 list of available digests. */
2122 EVP_add_digest(EVP_sha256());
2123 #endif
2124
2125 if (!(tls_require_ciphers && *tls_require_ciphers))
2126   return NULL;
2127
2128 if (!expand_check(tls_require_ciphers, US"tls_require_ciphers", &expciphers))
2129   return US"failed to expand tls_require_ciphers";
2130
2131 if (!(expciphers && *expciphers))
2132   return NULL;
2133
2134 /* normalisation ripped from above */
2135 s = expciphers;
2136 while (*s != 0) { if (*s == '_') *s = '-'; s++; }
2137
2138 err = NULL;
2139
2140 ctx = SSL_CTX_new(SSLv23_server_method());
2141 if (!ctx)
2142   {
2143   ERR_error_string(ERR_get_error(), ssl_errstring);
2144   return string_sprintf("SSL_CTX_new() failed: %s", ssl_errstring);
2145   }
2146
2147 DEBUG(D_tls)
2148   debug_printf("tls_require_ciphers expands to \"%s\"\n", expciphers);
2149
2150 if (!SSL_CTX_set_cipher_list(ctx, CS expciphers))
2151   {
2152   ERR_error_string(ERR_get_error(), ssl_errstring);
2153   err = string_sprintf("SSL_CTX_set_cipher_list(%s) failed", expciphers);
2154   }
2155
2156 SSL_CTX_free(ctx);
2157
2158 return err;
2159 }
2160
2161
2162
2163
2164 /*************************************************
2165 *         Report the library versions.           *
2166 *************************************************/
2167
2168 /* There have historically been some issues with binary compatibility in
2169 OpenSSL libraries; if Exim (like many other applications) is built against
2170 one version of OpenSSL but the run-time linker picks up another version,
2171 it can result in serious failures, including crashing with a SIGSEGV.  So
2172 report the version found by the compiler and the run-time version.
2173
2174 Note: some OS vendors backport security fixes without changing the version
2175 number/string, and the version date remains unchanged.  The _build_ date
2176 will change, so we can more usefully assist with version diagnosis by also
2177 reporting the build date.
2178
2179 Arguments:   a FILE* to print the results to
2180 Returns:     nothing
2181 */
2182
2183 void
2184 tls_version_report(FILE *f)
2185 {
2186 fprintf(f, "Library version: OpenSSL: Compile: %s\n"
2187            "                          Runtime: %s\n"
2188            "                                 : %s\n",
2189            OPENSSL_VERSION_TEXT,
2190            SSLeay_version(SSLEAY_VERSION),
2191            SSLeay_version(SSLEAY_BUILT_ON));
2192 /* third line is 38 characters for the %s and the line is 73 chars long;
2193 the OpenSSL output includes a "built on: " prefix already. */
2194 }
2195
2196
2197
2198
2199 /*************************************************
2200 *            Random number generation            *
2201 *************************************************/
2202
2203 /* Pseudo-random number generation.  The result is not expected to be
2204 cryptographically strong but not so weak that someone will shoot themselves
2205 in the foot using it as a nonce in input in some email header scheme or
2206 whatever weirdness they'll twist this into.  The result should handle fork()
2207 and avoid repeating sequences.  OpenSSL handles that for us.
2208
2209 Arguments:
2210   max       range maximum
2211 Returns     a random number in range [0, max-1]
2212 */
2213
2214 int
2215 vaguely_random_number(int max)
2216 {
2217 unsigned int r;
2218 int i, needed_len;
2219 static pid_t pidlast = 0;
2220 pid_t pidnow;
2221 uschar *p;
2222 uschar smallbuf[sizeof(r)];
2223
2224 if (max <= 1)
2225   return 0;
2226
2227 pidnow = getpid();
2228 if (pidnow != pidlast)
2229   {
2230   /* Although OpenSSL documents that "OpenSSL makes sure that the PRNG state
2231   is unique for each thread", this doesn't apparently apply across processes,
2232   so our own warning from vaguely_random_number_fallback() applies here too.
2233   Fix per PostgreSQL. */
2234   if (pidlast != 0)
2235     RAND_cleanup();
2236   pidlast = pidnow;
2237   }
2238
2239 /* OpenSSL auto-seeds from /dev/random, etc, but this a double-check. */
2240 if (!RAND_status())
2241   {
2242   randstuff r;
2243   gettimeofday(&r.tv, NULL);
2244   r.p = getpid();
2245
2246   RAND_seed((uschar *)(&r), sizeof(r));
2247   }
2248 /* We're after pseudo-random, not random; if we still don't have enough data
2249 in the internal PRNG then our options are limited.  We could sleep and hope
2250 for entropy to come along (prayer technique) but if the system is so depleted
2251 in the first place then something is likely to just keep taking it.  Instead,
2252 we'll just take whatever little bit of pseudo-random we can still manage to
2253 get. */
2254
2255 needed_len = sizeof(r);
2256 /* Don't take 8 times more entropy than needed if int is 8 octets and we were
2257 asked for a number less than 10. */
2258 for (r = max, i = 0; r; ++i)
2259   r >>= 1;
2260 i = (i + 7) / 8;
2261 if (i < needed_len)
2262   needed_len = i;
2263
2264 /* We do not care if crypto-strong */
2265 i = RAND_pseudo_bytes(smallbuf, needed_len);
2266 if (i < 0)
2267   {
2268   DEBUG(D_all)
2269     debug_printf("OpenSSL RAND_pseudo_bytes() not supported by RAND method, using fallback.\n");
2270   return vaguely_random_number_fallback(max);
2271   }
2272
2273 r = 0;
2274 for (p = smallbuf; needed_len; --needed_len, ++p)
2275   {
2276   r *= 256;
2277   r += *p;
2278   }
2279
2280 /* We don't particularly care about weighted results; if someone wants
2281 smooth distribution and cares enough then they should submit a patch then. */
2282 return r % max;
2283 }
2284
2285
2286
2287
2288 /*************************************************
2289 *        OpenSSL option parse                    *
2290 *************************************************/
2291
2292 /* Parse one option for tls_openssl_options_parse below
2293
2294 Arguments:
2295   name    one option name
2296   value   place to store a value for it
2297 Returns   success or failure in parsing
2298 */
2299
2300 struct exim_openssl_option {
2301   uschar *name;
2302   long    value;
2303 };
2304 /* We could use a macro to expand, but we need the ifdef and not all the
2305 options document which version they were introduced in.  Policylet: include
2306 all options unless explicitly for DTLS, let the administrator choose which
2307 to apply.
2308
2309 This list is current as of:
2310   ==>  1.0.1b  <==
2311 Plus SSL_OP_SAFARI_ECDHE_ECDSA_BUG from 2013-June patch/discussion on openssl-dev
2312 */
2313 static struct exim_openssl_option exim_openssl_options[] = {
2314 /* KEEP SORTED ALPHABETICALLY! */
2315 #ifdef SSL_OP_ALL
2316   { US"all", SSL_OP_ALL },
2317 #endif
2318 #ifdef SSL_OP_ALLOW_UNSAFE_LEGACY_RENEGOTIATION
2319   { US"allow_unsafe_legacy_renegotiation", SSL_OP_ALLOW_UNSAFE_LEGACY_RENEGOTIATION },
2320 #endif
2321 #ifdef SSL_OP_CIPHER_SERVER_PREFERENCE
2322   { US"cipher_server_preference", SSL_OP_CIPHER_SERVER_PREFERENCE },
2323 #endif
2324 #ifdef SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS
2325   { US"dont_insert_empty_fragments", SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS },
2326 #endif
2327 #ifdef SSL_OP_EPHEMERAL_RSA
2328   { US"ephemeral_rsa", SSL_OP_EPHEMERAL_RSA },
2329 #endif
2330 #ifdef SSL_OP_LEGACY_SERVER_CONNECT
2331   { US"legacy_server_connect", SSL_OP_LEGACY_SERVER_CONNECT },
2332 #endif
2333 #ifdef SSL_OP_MICROSOFT_BIG_SSLV3_BUFFER
2334   { US"microsoft_big_sslv3_buffer", SSL_OP_MICROSOFT_BIG_SSLV3_BUFFER },
2335 #endif
2336 #ifdef SSL_OP_MICROSOFT_SESS_ID_BUG
2337   { US"microsoft_sess_id_bug", SSL_OP_MICROSOFT_SESS_ID_BUG },
2338 #endif
2339 #ifdef SSL_OP_MSIE_SSLV2_RSA_PADDING
2340   { US"msie_sslv2_rsa_padding", SSL_OP_MSIE_SSLV2_RSA_PADDING },
2341 #endif
2342 #ifdef SSL_OP_NETSCAPE_CHALLENGE_BUG
2343   { US"netscape_challenge_bug", SSL_OP_NETSCAPE_CHALLENGE_BUG },
2344 #endif
2345 #ifdef SSL_OP_NETSCAPE_REUSE_CIPHER_CHANGE_BUG
2346   { US"netscape_reuse_cipher_change_bug", SSL_OP_NETSCAPE_REUSE_CIPHER_CHANGE_BUG },
2347 #endif
2348 #ifdef SSL_OP_NO_COMPRESSION
2349   { US"no_compression", SSL_OP_NO_COMPRESSION },
2350 #endif
2351 #ifdef SSL_OP_NO_SESSION_RESUMPTION_ON_RENEGOTIATION
2352   { US"no_session_resumption_on_renegotiation", SSL_OP_NO_SESSION_RESUMPTION_ON_RENEGOTIATION },
2353 #endif
2354 #ifdef SSL_OP_NO_SSLv2
2355   { US"no_sslv2", SSL_OP_NO_SSLv2 },
2356 #endif
2357 #ifdef SSL_OP_NO_SSLv3
2358   { US"no_sslv3", SSL_OP_NO_SSLv3 },
2359 #endif
2360 #ifdef SSL_OP_NO_TICKET
2361   { US"no_ticket", SSL_OP_NO_TICKET },
2362 #endif
2363 #ifdef SSL_OP_NO_TLSv1
2364   { US"no_tlsv1", SSL_OP_NO_TLSv1 },
2365 #endif
2366 #ifdef SSL_OP_NO_TLSv1_1
2367 #if SSL_OP_NO_TLSv1_1 == 0x00000400L
2368   /* Error in chosen value in 1.0.1a; see first item in CHANGES for 1.0.1b */
2369 #warning OpenSSL 1.0.1a uses a bad value for SSL_OP_NO_TLSv1_1, ignoring
2370 #else
2371   { US"no_tlsv1_1", SSL_OP_NO_TLSv1_1 },
2372 #endif
2373 #endif
2374 #ifdef SSL_OP_NO_TLSv1_2
2375   { US"no_tlsv1_2", SSL_OP_NO_TLSv1_2 },
2376 #endif
2377 #ifdef SSL_OP_SAFARI_ECDHE_ECDSA_BUG
2378   { US"safari_ecdhe_ecdsa_bug", SSL_OP_SAFARI_ECDHE_ECDSA_BUG },
2379 #endif
2380 #ifdef SSL_OP_SINGLE_DH_USE
2381   { US"single_dh_use", SSL_OP_SINGLE_DH_USE },
2382 #endif
2383 #ifdef SSL_OP_SINGLE_ECDH_USE
2384   { US"single_ecdh_use", SSL_OP_SINGLE_ECDH_USE },
2385 #endif
2386 #ifdef SSL_OP_SSLEAY_080_CLIENT_DH_BUG
2387   { US"ssleay_080_client_dh_bug", SSL_OP_SSLEAY_080_CLIENT_DH_BUG },
2388 #endif
2389 #ifdef SSL_OP_SSLREF2_REUSE_CERT_TYPE_BUG
2390   { US"sslref2_reuse_cert_type_bug", SSL_OP_SSLREF2_REUSE_CERT_TYPE_BUG },
2391 #endif
2392 #ifdef SSL_OP_TLS_BLOCK_PADDING_BUG
2393   { US"tls_block_padding_bug", SSL_OP_TLS_BLOCK_PADDING_BUG },
2394 #endif
2395 #ifdef SSL_OP_TLS_D5_BUG
2396   { US"tls_d5_bug", SSL_OP_TLS_D5_BUG },
2397 #endif
2398 #ifdef SSL_OP_TLS_ROLLBACK_BUG
2399   { US"tls_rollback_bug", SSL_OP_TLS_ROLLBACK_BUG },
2400 #endif
2401 };
2402 static int exim_openssl_options_size =
2403   sizeof(exim_openssl_options)/sizeof(struct exim_openssl_option);
2404
2405
2406 static BOOL
2407 tls_openssl_one_option_parse(uschar *name, long *value)
2408 {
2409 int first = 0;
2410 int last = exim_openssl_options_size;
2411 while (last > first)
2412   {
2413   int middle = (first + last)/2;
2414   int c = Ustrcmp(name, exim_openssl_options[middle].name);
2415   if (c == 0)
2416     {
2417     *value = exim_openssl_options[middle].value;
2418     return TRUE;
2419     }
2420   else if (c > 0)
2421     first = middle + 1;
2422   else
2423     last = middle;
2424   }
2425 return FALSE;
2426 }
2427
2428
2429
2430
2431 /*************************************************
2432 *        OpenSSL option parsing logic            *
2433 *************************************************/
2434
2435 /* OpenSSL has a number of compatibility options which an administrator might
2436 reasonably wish to set.  Interpret a list similarly to decode_bits(), so that
2437 we look like log_selector.
2438
2439 Arguments:
2440   option_spec  the administrator-supplied string of options
2441   results      ptr to long storage for the options bitmap
2442 Returns        success or failure
2443 */
2444
2445 BOOL
2446 tls_openssl_options_parse(uschar *option_spec, long *results)
2447 {
2448 long result, item;
2449 uschar *s, *end;
2450 uschar keep_c;
2451 BOOL adding, item_parsed;
2452
2453 result = 0L;
2454 /* Prior to 4.80 we or'd in SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS; removed
2455  * from default because it increases BEAST susceptibility. */
2456 #ifdef SSL_OP_NO_SSLv2
2457 result |= SSL_OP_NO_SSLv2;
2458 #endif
2459
2460 if (option_spec == NULL)
2461   {
2462   *results = result;
2463   return TRUE;
2464   }
2465
2466 for (s=option_spec; *s != '\0'; /**/)
2467   {
2468   while (isspace(*s)) ++s;
2469   if (*s == '\0')
2470     break;
2471   if (*s != '+' && *s != '-')
2472     {
2473     DEBUG(D_tls) debug_printf("malformed openssl option setting: "
2474         "+ or - expected but found \"%s\"\n", s);
2475     return FALSE;
2476     }
2477   adding = *s++ == '+';
2478   for (end = s; (*end != '\0') && !isspace(*end); ++end) /**/ ;
2479   keep_c = *end;
2480   *end = '\0';
2481   item_parsed = tls_openssl_one_option_parse(s, &item);
2482   if (!item_parsed)
2483     {
2484     DEBUG(D_tls) debug_printf("openssl option setting unrecognised: \"%s\"\n", s);
2485     return FALSE;
2486     }
2487   DEBUG(D_tls) debug_printf("openssl option, %s from %lx: %lx (%s)\n",
2488       adding ? "adding" : "removing", result, item, s);
2489   if (adding)
2490     result |= item;
2491   else
2492     result &= ~item;
2493   *end = keep_c;
2494   s = end;
2495   }
2496
2497 *results = result;
2498 return TRUE;
2499 }
2500
2501 /* vi: aw ai sw=2
2502 */
2503 /* End of tls-openssl.c */