Builtin macros for sha3-hash and ed25519-signing support
[exim.git] / src / src / tls-openssl.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2017 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Portions Copyright (c) The OpenSSL Project 1999 */
9
10 /* This module provides the TLS (aka SSL) support for Exim using the OpenSSL
11 library. It is #included into the tls.c file when that library is used. The
12 code herein is based on a patch that was originally contributed by Steve
13 Haslam. It was adapted from stunnel, a GPL program by Michal Trojnara.
14
15 No cryptographic code is included in Exim. All this module does is to call
16 functions from the OpenSSL library. */
17
18
19 /* Heading stuff */
20
21 #include <openssl/lhash.h>
22 #include <openssl/ssl.h>
23 #include <openssl/err.h>
24 #include <openssl/rand.h>
25 #ifndef OPENSSL_NO_ECDH
26 # include <openssl/ec.h>
27 #endif
28 #ifndef DISABLE_OCSP
29 # include <openssl/ocsp.h>
30 #endif
31 #ifdef EXPERIMENTAL_DANE
32 # include "danessl.h"
33 #endif
34
35
36 #ifndef DISABLE_OCSP
37 # define EXIM_OCSP_SKEW_SECONDS (300L)
38 # define EXIM_OCSP_MAX_AGE (-1L)
39 #endif
40
41 #if OPENSSL_VERSION_NUMBER >= 0x0090806fL && !defined(OPENSSL_NO_TLSEXT)
42 # define EXIM_HAVE_OPENSSL_TLSEXT
43 #endif
44 #if OPENSSL_VERSION_NUMBER >= 0x00908000L
45 # define EXIM_HAVE_RSA_GENKEY_EX
46 #endif
47 #if OPENSSL_VERSION_NUMBER >= 0x10100000L
48 # define EXIM_HAVE_OCSP_RESP_COUNT
49 #else
50 # define EXIM_HAVE_EPHEM_RSA_KEX
51 # define EXIM_HAVE_RAND_PSEUDO
52 #endif
53 #if (OPENSSL_VERSION_NUMBER >= 0x0090800fL) && !defined(OPENSSL_NO_SHA256)
54 # define EXIM_HAVE_SHA256       /*MMMM*/
55 #endif
56
57 /*
58  * X509_check_host provides sane certificate hostname checking, but was added
59  * to OpenSSL late, after other projects forked off the code-base.  So in
60  * addition to guarding against the base version number, beware that LibreSSL
61  * does not (at this time) support this function.
62  *
63  * If LibreSSL gains a different API, perhaps via libtls, then we'll probably
64  * opt to disentangle and ask a LibreSSL user to provide glue for a third
65  * crypto provider for libtls instead of continuing to tie the OpenSSL glue
66  * into even twistier knots.  If LibreSSL gains the same API, we can just
67  * change this guard and punt the issue for a while longer.
68  */
69 #ifndef LIBRESSL_VERSION_NUMBER
70 # if OPENSSL_VERSION_NUMBER >= 0x010100000L
71 #  define EXIM_HAVE_OPENSSL_CHECKHOST
72 #  define EXIM_HAVE_OPENSSL_DH_BITS
73 # endif
74 # if OPENSSL_VERSION_NUMBER >= 0x010000000L \
75     && (OPENSSL_VERSION_NUMBER & 0x0000ff000L) >= 0x000002000L
76 #  define EXIM_HAVE_OPENSSL_CHECKHOST
77 # endif
78 #endif
79
80 #if !defined(LIBRESSL_VERSION_NUMBER) \
81     || LIBRESSL_VERSION_NUMBER >= 0x20010000L
82 # if !defined(OPENSSL_NO_ECDH)
83 #  if OPENSSL_VERSION_NUMBER >= 0x0090800fL
84 #   define EXIM_HAVE_ECDH       /*MMMM*/
85 #  endif
86 #  if OPENSSL_VERSION_NUMBER >= 0x10002000L
87 #   define EXIM_HAVE_OPENSSL_EC_NIST2NID
88 #  endif
89 # endif
90 #endif
91
92 #if !defined(EXIM_HAVE_OPENSSL_TLSEXT) && !defined(DISABLE_OCSP)
93 # warning "OpenSSL library version too old; define DISABLE_OCSP in Makefile"
94 # define DISABLE_OCSP
95 #endif
96
97 #ifdef EXIM_HAVE_OPENSSL_CHECKHOST
98 # include <openssl/x509v3.h>
99 #endif
100
101 /* Structure for collecting random data for seeding. */
102
103 typedef struct randstuff {
104   struct timeval tv;
105   pid_t          p;
106 } randstuff;
107
108 /* Local static variables */
109
110 static BOOL client_verify_callback_called = FALSE;
111 static BOOL server_verify_callback_called = FALSE;
112 static const uschar *sid_ctx = US"exim";
113
114 /* We have three different contexts to care about.
115
116 Simple case: client, `client_ctx`
117  As a client, we can be doing a callout or cut-through delivery while receiving
118  a message.  So we have a client context, which should have options initialised
119  from the SMTP Transport.
120
121 Server:
122  There are two cases: with and without ServerNameIndication from the client.
123  Given TLS SNI, we can be using different keys, certs and various other
124  configuration settings, because they're re-expanded with $tls_sni set.  This
125  allows vhosting with TLS.  This SNI is sent in the handshake.
126  A client might not send SNI, so we need a fallback, and an initial setup too.
127  So as a server, we start out using `server_ctx`.
128  If SNI is sent by the client, then we as server, mid-negotiation, try to clone
129  `server_sni` from `server_ctx` and then initialise settings by re-expanding
130  configuration.
131 */
132
133 static SSL_CTX *client_ctx = NULL;
134 static SSL_CTX *server_ctx = NULL;
135 static SSL     *client_ssl = NULL;
136 static SSL     *server_ssl = NULL;
137
138 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
139 static SSL_CTX *server_sni = NULL;
140 #endif
141
142 static char ssl_errstring[256];
143
144 static int  ssl_session_timeout = 200;
145 static BOOL client_verify_optional = FALSE;
146 static BOOL server_verify_optional = FALSE;
147
148 static BOOL reexpand_tls_files_for_sni = FALSE;
149
150
151 typedef struct tls_ext_ctx_cb {
152   uschar *certificate;
153   uschar *privatekey;
154   BOOL is_server;
155 #ifndef DISABLE_OCSP
156   STACK_OF(X509) *verify_stack;         /* chain for verifying the proof */
157   union {
158     struct {
159       uschar        *file;
160       uschar        *file_expanded;
161       OCSP_RESPONSE *response;
162     } server;
163     struct {
164       X509_STORE    *verify_store;      /* non-null if status requested */
165       BOOL          verify_required;
166     } client;
167   } u_ocsp;
168 #endif
169   uschar *dhparam;
170   /* these are cached from first expand */
171   uschar *server_cipher_list;
172   /* only passed down to tls_error: */
173   host_item *host;
174   const uschar * verify_cert_hostnames;
175 #ifndef DISABLE_EVENT
176   uschar * event_action;
177 #endif
178 } tls_ext_ctx_cb;
179
180 /* should figure out a cleanup of API to handle state preserved per
181 implementation, for various reasons, which can be void * in the APIs.
182 For now, we hack around it. */
183 tls_ext_ctx_cb *client_static_cbinfo = NULL;
184 tls_ext_ctx_cb *server_static_cbinfo = NULL;
185
186 static int
187 setup_certs(SSL_CTX *sctx, uschar *certs, uschar *crl, host_item *host, BOOL optional,
188     int (*cert_vfy_cb)(int, X509_STORE_CTX *), uschar ** errstr );
189
190 /* Callbacks */
191 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
192 static int tls_servername_cb(SSL *s, int *ad ARG_UNUSED, void *arg);
193 #endif
194 #ifndef DISABLE_OCSP
195 static int tls_server_stapling_cb(SSL *s, void *arg);
196 #endif
197
198
199 /*************************************************
200 *               Handle TLS error                 *
201 *************************************************/
202
203 /* Called from lots of places when errors occur before actually starting to do
204 the TLS handshake, that is, while the session is still in clear. Always returns
205 DEFER for a server and FAIL for a client so that most calls can use "return
206 tls_error(...)" to do this processing and then give an appropriate return. A
207 single function is used for both server and client, because it is called from
208 some shared functions.
209
210 Argument:
211   prefix    text to include in the logged error
212   host      NULL if setting up a server;
213             the connected host if setting up a client
214   msg       error message or NULL if we should ask OpenSSL
215   errstr    pointer to output error message
216
217 Returns:    OK/DEFER/FAIL
218 */
219
220 static int
221 tls_error(uschar * prefix, const host_item * host, uschar * msg, uschar ** errstr)
222 {
223 if (!msg)
224   {
225   ERR_error_string(ERR_get_error(), ssl_errstring);
226   msg = US ssl_errstring;
227   }
228
229 if (errstr) *errstr = string_sprintf("(%s): %s", prefix, msg);
230 return host ? FAIL : DEFER;
231 }
232
233
234
235 /*************************************************
236 *        Callback to generate RSA key            *
237 *************************************************/
238
239 /*
240 Arguments:
241   s          SSL connection (not used)
242   export     not used
243   keylength  keylength
244
245 Returns:     pointer to generated key
246 */
247
248 static RSA *
249 rsa_callback(SSL *s, int export, int keylength)
250 {
251 RSA *rsa_key;
252 #ifdef EXIM_HAVE_RSA_GENKEY_EX
253 BIGNUM *bn = BN_new();
254 #endif
255
256 export = export;     /* Shut picky compilers up */
257 DEBUG(D_tls) debug_printf("Generating %d bit RSA key...\n", keylength);
258
259 #ifdef EXIM_HAVE_RSA_GENKEY_EX
260 if (  !BN_set_word(bn, (unsigned long)RSA_F4)
261    || !(rsa_key = RSA_new())
262    || !RSA_generate_key_ex(rsa_key, keylength, bn, NULL)
263    )
264 #else
265 if (!(rsa_key = RSA_generate_key(keylength, RSA_F4, NULL, NULL)))
266 #endif
267
268   {
269   ERR_error_string(ERR_get_error(), ssl_errstring);
270   log_write(0, LOG_MAIN|LOG_PANIC, "TLS error (RSA_generate_key): %s",
271     ssl_errstring);
272   return NULL;
273   }
274 return rsa_key;
275 }
276
277
278
279 /* Extreme debug
280 #ifndef DISABLE_OCSP
281 void
282 x509_store_dump_cert_s_names(X509_STORE * store)
283 {
284 STACK_OF(X509_OBJECT) * roots= store->objs;
285 int i;
286 static uschar name[256];
287
288 for(i= 0; i<sk_X509_OBJECT_num(roots); i++)
289   {
290   X509_OBJECT * tmp_obj= sk_X509_OBJECT_value(roots, i);
291   if(tmp_obj->type == X509_LU_X509)
292     {
293     X509 * current_cert= tmp_obj->data.x509;
294     X509_NAME_oneline(X509_get_subject_name(current_cert), CS name, sizeof(name));
295         name[sizeof(name)-1] = '\0';
296     debug_printf(" %s\n", name);
297     }
298   }
299 }
300 #endif
301 */
302
303
304 #ifndef DISABLE_EVENT
305 static int
306 verify_event(tls_support * tlsp, X509 * cert, int depth, const uschar * dn,
307   BOOL *calledp, const BOOL *optionalp, const uschar * what)
308 {
309 uschar * ev;
310 uschar * yield;
311 X509 * old_cert;
312
313 ev = tlsp == &tls_out ? client_static_cbinfo->event_action : event_action;
314 if (ev)
315   {
316   DEBUG(D_tls) debug_printf("verify_event: %s %d\n", what, depth);
317   old_cert = tlsp->peercert;
318   tlsp->peercert = X509_dup(cert);
319   /* NB we do not bother setting peerdn */
320   if ((yield = event_raise(ev, US"tls:cert", string_sprintf("%d", depth))))
321     {
322     log_write(0, LOG_MAIN, "[%s] %s verify denied by event-action: "
323                 "depth=%d cert=%s: %s",
324               tlsp == &tls_out ? deliver_host_address : sender_host_address,
325               what, depth, dn, yield);
326     *calledp = TRUE;
327     if (!*optionalp)
328       {
329       if (old_cert) tlsp->peercert = old_cert;  /* restore 1st failing cert */
330       return 1;                     /* reject (leaving peercert set) */
331       }
332     DEBUG(D_tls) debug_printf("Event-action verify failure overridden "
333       "(host in tls_try_verify_hosts)\n");
334     }
335   X509_free(tlsp->peercert);
336   tlsp->peercert = old_cert;
337   }
338 return 0;
339 }
340 #endif
341
342 /*************************************************
343 *        Callback for verification               *
344 *************************************************/
345
346 /* The SSL library does certificate verification if set up to do so. This
347 callback has the current yes/no state is in "state". If verification succeeded,
348 we set the certificate-verified flag. If verification failed, what happens
349 depends on whether the client is required to present a verifiable certificate
350 or not.
351
352 If verification is optional, we change the state to yes, but still log the
353 verification error. For some reason (it really would help to have proper
354 documentation of OpenSSL), this callback function then gets called again, this
355 time with state = 1.  We must take care not to set the private verified flag on
356 the second time through.
357
358 Note: this function is not called if the client fails to present a certificate
359 when asked. We get here only if a certificate has been received. Handling of
360 optional verification for this case is done when requesting SSL to verify, by
361 setting SSL_VERIFY_FAIL_IF_NO_PEER_CERT in the non-optional case.
362
363 May be called multiple times for different issues with a certificate, even
364 for a given "depth" in the certificate chain.
365
366 Arguments:
367   preverify_ok current yes/no state as 1/0
368   x509ctx      certificate information.
369   tlsp         per-direction (client vs. server) support data
370   calledp      has-been-called flag
371   optionalp    verification-is-optional flag
372
373 Returns:     0 if verification should fail, otherwise 1
374 */
375
376 static int
377 verify_callback(int preverify_ok, X509_STORE_CTX *x509ctx,
378   tls_support *tlsp, BOOL *calledp, BOOL *optionalp)
379 {
380 X509 * cert = X509_STORE_CTX_get_current_cert(x509ctx);
381 int depth = X509_STORE_CTX_get_error_depth(x509ctx);
382 uschar dn[256];
383
384 X509_NAME_oneline(X509_get_subject_name(cert), CS dn, sizeof(dn));
385 dn[sizeof(dn)-1] = '\0';
386
387 if (preverify_ok == 0)
388   {
389   uschar * extra = verify_mode ? string_sprintf(" (during %c-verify for [%s])",
390       *verify_mode, sender_host_address)
391     : US"";
392   log_write(0, LOG_MAIN, "[%s] SSL verify error%s: depth=%d error=%s cert=%s",
393     tlsp == &tls_out ? deliver_host_address : sender_host_address,
394     extra, depth,
395     X509_verify_cert_error_string(X509_STORE_CTX_get_error(x509ctx)), dn);
396   *calledp = TRUE;
397   if (!*optionalp)
398     {
399     if (!tlsp->peercert)
400       tlsp->peercert = X509_dup(cert);  /* record failing cert */
401     return 0;                           /* reject */
402     }
403   DEBUG(D_tls) debug_printf("SSL verify failure overridden (host in "
404     "tls_try_verify_hosts)\n");
405   }
406
407 else if (depth != 0)
408   {
409   DEBUG(D_tls) debug_printf("SSL verify ok: depth=%d SN=%s\n", depth, dn);
410 #ifndef DISABLE_OCSP
411   if (tlsp == &tls_out && client_static_cbinfo->u_ocsp.client.verify_store)
412     {   /* client, wanting stapling  */
413     /* Add the server cert's signing chain as the one
414     for the verification of the OCSP stapled information. */
415
416     if (!X509_STORE_add_cert(client_static_cbinfo->u_ocsp.client.verify_store,
417                              cert))
418       ERR_clear_error();
419     sk_X509_push(client_static_cbinfo->verify_stack, cert);
420     }
421 #endif
422 #ifndef DISABLE_EVENT
423     if (verify_event(tlsp, cert, depth, dn, calledp, optionalp, US"SSL"))
424       return 0;                         /* reject, with peercert set */
425 #endif
426   }
427 else
428   {
429   const uschar * verify_cert_hostnames;
430
431   if (  tlsp == &tls_out
432      && ((verify_cert_hostnames = client_static_cbinfo->verify_cert_hostnames)))
433         /* client, wanting hostname check */
434     {
435
436 #ifdef EXIM_HAVE_OPENSSL_CHECKHOST
437 # ifndef X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS
438 #  define X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS 0
439 # endif
440 # ifndef X509_CHECK_FLAG_SINGLE_LABEL_SUBDOMAINS
441 #  define X509_CHECK_FLAG_SINGLE_LABEL_SUBDOMAINS 0
442 # endif
443     int sep = 0;
444     const uschar * list = verify_cert_hostnames;
445     uschar * name;
446     int rc;
447     while ((name = string_nextinlist(&list, &sep, NULL, 0)))
448       if ((rc = X509_check_host(cert, CCS name, 0,
449                   X509_CHECK_FLAG_NO_PARTIAL_WILDCARDS
450                   | X509_CHECK_FLAG_SINGLE_LABEL_SUBDOMAINS,
451                   NULL)))
452         {
453         if (rc < 0)
454           {
455           log_write(0, LOG_MAIN, "[%s] SSL verify error: internal error",
456             tlsp == &tls_out ? deliver_host_address : sender_host_address);
457           name = NULL;
458           }
459         break;
460         }
461     if (!name)
462 #else
463     if (!tls_is_name_for_cert(verify_cert_hostnames, cert))
464 #endif
465       {
466       uschar * extra = verify_mode
467         ? string_sprintf(" (during %c-verify for [%s])",
468           *verify_mode, sender_host_address)
469         : US"";
470       log_write(0, LOG_MAIN,
471         "[%s] SSL verify error%s: certificate name mismatch: DN=\"%s\" H=\"%s\"",
472         tlsp == &tls_out ? deliver_host_address : sender_host_address,
473         extra, dn, verify_cert_hostnames);
474       *calledp = TRUE;
475       if (!*optionalp)
476         {
477         if (!tlsp->peercert)
478           tlsp->peercert = X509_dup(cert);      /* record failing cert */
479         return 0;                               /* reject */
480         }
481       DEBUG(D_tls) debug_printf("SSL verify failure overridden (host in "
482         "tls_try_verify_hosts)\n");
483       }
484     }
485
486 #ifndef DISABLE_EVENT
487   if (verify_event(tlsp, cert, depth, dn, calledp, optionalp, US"SSL"))
488     return 0;                           /* reject, with peercert set */
489 #endif
490
491   DEBUG(D_tls) debug_printf("SSL%s verify ok: depth=0 SN=%s\n",
492     *calledp ? "" : " authenticated", dn);
493   if (!*calledp) tlsp->certificate_verified = TRUE;
494   *calledp = TRUE;
495   }
496
497 return 1;   /* accept, at least for this level */
498 }
499
500 static int
501 verify_callback_client(int preverify_ok, X509_STORE_CTX *x509ctx)
502 {
503 return verify_callback(preverify_ok, x509ctx, &tls_out,
504   &client_verify_callback_called, &client_verify_optional);
505 }
506
507 static int
508 verify_callback_server(int preverify_ok, X509_STORE_CTX *x509ctx)
509 {
510 return verify_callback(preverify_ok, x509ctx, &tls_in,
511   &server_verify_callback_called, &server_verify_optional);
512 }
513
514
515 #ifdef EXPERIMENTAL_DANE
516
517 /* This gets called *by* the dane library verify callback, which interposes
518 itself.
519 */
520 static int
521 verify_callback_client_dane(int preverify_ok, X509_STORE_CTX * x509ctx)
522 {
523 X509 * cert = X509_STORE_CTX_get_current_cert(x509ctx);
524 uschar dn[256];
525 int depth = X509_STORE_CTX_get_error_depth(x509ctx);
526 #ifndef DISABLE_EVENT
527 BOOL dummy_called, optional = FALSE;
528 #endif
529
530 X509_NAME_oneline(X509_get_subject_name(cert), CS dn, sizeof(dn));
531 dn[sizeof(dn)-1] = '\0';
532
533 DEBUG(D_tls) debug_printf("verify_callback_client_dane: %s depth %d %s\n",
534   preverify_ok ? "ok":"BAD", depth, dn);
535
536 #ifndef DISABLE_EVENT
537   if (verify_event(&tls_out, cert, depth, dn,
538           &dummy_called, &optional, US"DANE"))
539     return 0;                           /* reject, with peercert set */
540 #endif
541
542 if (preverify_ok == 1)
543   {
544   tls_out.dane_verified = tls_out.certificate_verified = TRUE;
545 #ifndef DISABLE_OCSP
546   if (client_static_cbinfo->u_ocsp.client.verify_store)
547     {   /* client, wanting stapling  */
548     /* Add the server cert's signing chain as the one
549     for the verification of the OCSP stapled information. */
550
551     if (!X509_STORE_add_cert(client_static_cbinfo->u_ocsp.client.verify_store,
552                              cert))
553       ERR_clear_error();
554     sk_X509_push(client_static_cbinfo->verify_stack, cert);
555     }
556 #endif
557   }
558 else
559   {
560   int err = X509_STORE_CTX_get_error(x509ctx);
561   DEBUG(D_tls)
562     debug_printf(" - err %d '%s'\n", err, X509_verify_cert_error_string(err));
563   if (err == X509_V_ERR_APPLICATION_VERIFICATION)
564     preverify_ok = 1;
565   }
566 return preverify_ok;
567 }
568
569 #endif  /*EXPERIMENTAL_DANE*/
570
571
572 /*************************************************
573 *           Information callback                 *
574 *************************************************/
575
576 /* The SSL library functions call this from time to time to indicate what they
577 are doing. We copy the string to the debugging output when TLS debugging has
578 been requested.
579
580 Arguments:
581   s         the SSL connection
582   where
583   ret
584
585 Returns:    nothing
586 */
587
588 static void
589 info_callback(SSL *s, int where, int ret)
590 {
591 where = where;
592 ret = ret;
593 DEBUG(D_tls) debug_printf("SSL info: %s\n", SSL_state_string_long(s));
594 }
595
596
597
598 /*************************************************
599 *                Initialize for DH               *
600 *************************************************/
601
602 /* If dhparam is set, expand it, and load up the parameters for DH encryption.
603
604 Arguments:
605   sctx      The current SSL CTX (inbound or outbound)
606   dhparam   DH parameter file or fixed parameter identity string
607   host      connected host, if client; NULL if server
608   errstr    error string pointer
609
610 Returns:    TRUE if OK (nothing to set up, or setup worked)
611 */
612
613 static BOOL
614 init_dh(SSL_CTX *sctx, uschar *dhparam, const host_item *host, uschar ** errstr)
615 {
616 BIO *bio;
617 DH *dh;
618 uschar *dhexpanded;
619 const char *pem;
620 int dh_bitsize;
621
622 if (!expand_check(dhparam, US"tls_dhparam", &dhexpanded, errstr))
623   return FALSE;
624
625 if (!dhexpanded || !*dhexpanded)
626   bio = BIO_new_mem_buf(CS std_dh_prime_default(), -1);
627 else if (dhexpanded[0] == '/')
628   {
629   if (!(bio = BIO_new_file(CS dhexpanded, "r")))
630     {
631     tls_error(string_sprintf("could not read dhparams file %s", dhexpanded),
632           host, US strerror(errno), errstr);
633     return FALSE;
634     }
635   }
636 else
637   {
638   if (Ustrcmp(dhexpanded, "none") == 0)
639     {
640     DEBUG(D_tls) debug_printf("Requested no DH parameters.\n");
641     return TRUE;
642     }
643
644   if (!(pem = std_dh_prime_named(dhexpanded)))
645     {
646     tls_error(string_sprintf("Unknown standard DH prime \"%s\"", dhexpanded),
647         host, US strerror(errno), errstr);
648     return FALSE;
649     }
650   bio = BIO_new_mem_buf(CS pem, -1);
651   }
652
653 if (!(dh = PEM_read_bio_DHparams(bio, NULL, NULL, NULL)))
654   {
655   BIO_free(bio);
656   tls_error(string_sprintf("Could not read tls_dhparams \"%s\"", dhexpanded),
657       host, NULL, errstr);
658   return FALSE;
659   }
660
661 /* note: our default limit of 2236 is not a multiple of 8; the limit comes from
662  * an NSS limit, and the GnuTLS APIs handle bit-sizes fine, so we went with
663  * 2236.  But older OpenSSL can only report in bytes (octets), not bits.
664  * If someone wants to dance at the edge, then they can raise the limit or use
665  * current libraries. */
666 #ifdef EXIM_HAVE_OPENSSL_DH_BITS
667 /* Added in commit 26c79d5641d; `git describe --contains` says OpenSSL_1_1_0-pre1~1022
668  * This predates OpenSSL_1_1_0 (before a, b, ...) so is in all 1.1.0 */
669 dh_bitsize = DH_bits(dh);
670 #else
671 dh_bitsize = 8 * DH_size(dh);
672 #endif
673
674 /* Even if it is larger, we silently return success rather than cause things
675  * to fail out, so that a too-large DH will not knock out all TLS; it's a
676  * debatable choice. */
677 if (dh_bitsize > tls_dh_max_bits)
678   {
679   DEBUG(D_tls)
680     debug_printf("dhparams file %d bits, is > tls_dh_max_bits limit of %d\n",
681         dh_bitsize, tls_dh_max_bits);
682   }
683 else
684   {
685   SSL_CTX_set_tmp_dh(sctx, dh);
686   DEBUG(D_tls)
687     debug_printf("Diffie-Hellman initialized from %s with %d-bit prime\n",
688       dhexpanded ? dhexpanded : US"default", dh_bitsize);
689   }
690
691 DH_free(dh);
692 BIO_free(bio);
693
694 return TRUE;
695 }
696
697
698
699
700 /*************************************************
701 *               Initialize for ECDH              *
702 *************************************************/
703
704 /* Load parameters for ECDH encryption.
705
706 For now, we stick to NIST P-256 because: it's simple and easy to configure;
707 it avoids any patent issues that might bite redistributors; despite events in
708 the news and concerns over curve choices, we're not cryptographers, we're not
709 pretending to be, and this is "good enough" to be better than no support,
710 protecting against most adversaries.  Given another year or two, there might
711 be sufficient clarity about a "right" way forward to let us make an informed
712 decision, instead of a knee-jerk reaction.
713
714 Longer-term, we should look at supporting both various named curves and
715 external files generated with "openssl ecparam", much as we do for init_dh().
716 We should also support "none" as a value, to explicitly avoid initialisation.
717
718 Patches welcome.
719
720 Arguments:
721   sctx      The current SSL CTX (inbound or outbound)
722   host      connected host, if client; NULL if server
723   errstr    error string pointer
724
725 Returns:    TRUE if OK (nothing to set up, or setup worked)
726 */
727
728 static BOOL
729 init_ecdh(SSL_CTX * sctx, host_item * host, uschar ** errstr)
730 {
731 #ifdef OPENSSL_NO_ECDH
732 return TRUE;
733 #else
734
735 EC_KEY * ecdh;
736 uschar * exp_curve;
737 int nid;
738 BOOL rv;
739
740 if (host)       /* No ECDH setup for clients, only for servers */
741   return TRUE;
742
743 # ifndef EXIM_HAVE_ECDH
744 DEBUG(D_tls)
745   debug_printf("No OpenSSL API to define ECDH parameters, skipping\n");
746 return TRUE;
747 # else
748
749 if (!expand_check(tls_eccurve, US"tls_eccurve", &exp_curve, errstr))
750   return FALSE;
751 if (!exp_curve || !*exp_curve)
752   return TRUE;
753
754 /* "auto" needs to be handled carefully.
755  * OpenSSL <  1.0.2: we do not select anything, but fallback to prime256v1
756  * OpenSSL <  1.1.0: we have to call SSL_CTX_set_ecdh_auto
757  *                   (openssl/ssl.h defines SSL_CTRL_SET_ECDH_AUTO)
758  * OpenSSL >= 1.1.0: we do not set anything, the libray does autoselection
759  *                   https://github.com/openssl/openssl/commit/fe6ef2472db933f01b59cad82aa925736935984b
760  */
761 if (Ustrcmp(exp_curve, "auto") == 0)
762   {
763 #if OPENSSL_VERSION_NUMBER < 0x10002000L
764   DEBUG(D_tls) debug_printf(
765     "ECDH OpenSSL < 1.0.2: temp key parameter settings: overriding \"auto\" with \"prime256v1\"\n");
766   exp_curve = US"prime256v1";
767 #else
768 # if defined SSL_CTRL_SET_ECDH_AUTO
769   DEBUG(D_tls) debug_printf(
770     "ECDH OpenSSL 1.0.2+ temp key parameter settings: autoselection\n");
771   SSL_CTX_set_ecdh_auto(sctx, 1);
772   return TRUE;
773 # else
774   DEBUG(D_tls) debug_printf(
775     "ECDH OpenSSL 1.1.0+ temp key parameter settings: default selection\n");
776   return TRUE;
777 # endif
778 #endif
779   }
780
781 DEBUG(D_tls) debug_printf("ECDH: curve '%s'\n", exp_curve);
782 if (  (nid = OBJ_sn2nid       (CCS exp_curve)) == NID_undef
783 #   ifdef EXIM_HAVE_OPENSSL_EC_NIST2NID
784    && (nid = EC_curve_nist2nid(CCS exp_curve)) == NID_undef
785 #   endif
786    )
787   {
788   tls_error(string_sprintf("Unknown curve name tls_eccurve '%s'", exp_curve),
789     host, NULL, errstr);
790   return FALSE;
791   }
792
793 if (!(ecdh = EC_KEY_new_by_curve_name(nid)))
794   {
795   tls_error(US"Unable to create ec curve", host, NULL, errstr);
796   return FALSE;
797   }
798
799 /* The "tmp" in the name here refers to setting a temporary key
800 not to the stability of the interface. */
801
802 if ((rv = SSL_CTX_set_tmp_ecdh(sctx, ecdh) == 0))
803   tls_error(string_sprintf("Error enabling '%s' curve", exp_curve), host, NULL, errstr);
804 else
805   DEBUG(D_tls) debug_printf("ECDH: enabled '%s' curve\n", exp_curve);
806
807 EC_KEY_free(ecdh);
808 return !rv;
809
810 # endif /*EXIM_HAVE_ECDH*/
811 #endif /*OPENSSL_NO_ECDH*/
812 }
813
814
815
816
817 #ifndef DISABLE_OCSP
818 /*************************************************
819 *       Load OCSP information into state         *
820 *************************************************/
821 /* Called to load the server OCSP response from the given file into memory, once
822 caller has determined this is needed.  Checks validity.  Debugs a message
823 if invalid.
824
825 ASSUMES: single response, for single cert.
826
827 Arguments:
828   sctx            the SSL_CTX* to update
829   cbinfo          various parts of session state
830   expanded        the filename putatively holding an OCSP response
831
832 */
833
834 static void
835 ocsp_load_response(SSL_CTX *sctx, tls_ext_ctx_cb *cbinfo, const uschar *expanded)
836 {
837 BIO * bio;
838 OCSP_RESPONSE * resp;
839 OCSP_BASICRESP * basic_response;
840 OCSP_SINGLERESP * single_response;
841 ASN1_GENERALIZEDTIME * rev, * thisupd, * nextupd;
842 STACK_OF(X509) * sk;
843 unsigned long verify_flags;
844 int status, reason, i;
845
846 cbinfo->u_ocsp.server.file_expanded = string_copy(expanded);
847 if (cbinfo->u_ocsp.server.response)
848   {
849   OCSP_RESPONSE_free(cbinfo->u_ocsp.server.response);
850   cbinfo->u_ocsp.server.response = NULL;
851   }
852
853 if (!(bio = BIO_new_file(CS cbinfo->u_ocsp.server.file_expanded, "rb")))
854   {
855   DEBUG(D_tls) debug_printf("Failed to open OCSP response file \"%s\"\n",
856       cbinfo->u_ocsp.server.file_expanded);
857   return;
858   }
859
860 resp = d2i_OCSP_RESPONSE_bio(bio, NULL);
861 BIO_free(bio);
862 if (!resp)
863   {
864   DEBUG(D_tls) debug_printf("Error reading OCSP response.\n");
865   return;
866   }
867
868 if ((status = OCSP_response_status(resp)) != OCSP_RESPONSE_STATUS_SUCCESSFUL)
869   {
870   DEBUG(D_tls) debug_printf("OCSP response not valid: %s (%d)\n",
871       OCSP_response_status_str(status), status);
872   goto bad;
873   }
874
875 if (!(basic_response = OCSP_response_get1_basic(resp)))
876   {
877   DEBUG(D_tls)
878     debug_printf("OCSP response parse error: unable to extract basic response.\n");
879   goto bad;
880   }
881
882 sk = cbinfo->verify_stack;
883 verify_flags = OCSP_NOVERIFY; /* check sigs, but not purpose */
884
885 /* May need to expose ability to adjust those flags?
886 OCSP_NOSIGS OCSP_NOVERIFY OCSP_NOCHAIN OCSP_NOCHECKS OCSP_NOEXPLICIT
887 OCSP_TRUSTOTHER OCSP_NOINTERN */
888
889 /* This does a full verify on the OCSP proof before we load it for serving
890 up; possibly overkill - just date-checks might be nice enough.
891
892 OCSP_basic_verify takes a "store" arg, but does not
893 use it for the chain verification, which is all we do
894 when OCSP_NOVERIFY is set.  The content from the wire
895 "basic_response" and a cert-stack "sk" are all that is used.
896
897 We have a stack, loaded in setup_certs() if tls_verify_certificates
898 was a file (not a directory, or "system").  It is unfortunate we
899 cannot used the connection context store, as that would neatly
900 handle the "system" case too, but there seems to be no library
901 function for getting a stack from a store.
902 [ In OpenSSL 1.1 - ?  X509_STORE_CTX_get0_chain(ctx) ? ]
903 We do not free the stack since it could be needed a second time for
904 SNI handling.
905
906 Separately we might try to replace using OCSP_basic_verify() - which seems to not
907 be a public interface into the OpenSSL library (there's no manual entry) - 
908 But what with?  We also use OCSP_basic_verify in the client stapling callback.
909 And there we NEED it; we must verify that status... unless the
910 library does it for us anyway?  */
911
912 if ((i = OCSP_basic_verify(basic_response, sk, NULL, verify_flags)) < 0)
913   {
914   DEBUG(D_tls)
915     {
916     ERR_error_string(ERR_get_error(), ssl_errstring);
917     debug_printf("OCSP response verify failure: %s\n", US ssl_errstring);
918     }
919   goto bad;
920   }
921
922 /* Here's the simplifying assumption: there's only one response, for the
923 one certificate we use, and nothing for anything else in a chain.  If this
924 proves false, we need to extract a cert id from our issued cert
925 (tls_certificate) and use that for OCSP_resp_find_status() (which finds the
926 right cert in the stack and then calls OCSP_single_get0_status()).
927
928 I'm hoping to avoid reworking a bunch more of how we handle state here. */
929
930 if (!(single_response = OCSP_resp_get0(basic_response, 0)))
931   {
932   DEBUG(D_tls)
933     debug_printf("Unable to get first response from OCSP basic response.\n");
934   goto bad;
935   }
936
937 status = OCSP_single_get0_status(single_response, &reason, &rev, &thisupd, &nextupd);
938 if (status != V_OCSP_CERTSTATUS_GOOD)
939   {
940   DEBUG(D_tls) debug_printf("OCSP response bad cert status: %s (%d) %s (%d)\n",
941       OCSP_cert_status_str(status), status,
942       OCSP_crl_reason_str(reason), reason);
943   goto bad;
944   }
945
946 if (!OCSP_check_validity(thisupd, nextupd, EXIM_OCSP_SKEW_SECONDS, EXIM_OCSP_MAX_AGE))
947   {
948   DEBUG(D_tls) debug_printf("OCSP status invalid times.\n");
949   goto bad;
950   }
951
952 supply_response:
953   cbinfo->u_ocsp.server.response = resp;        /*XXX stack?*/
954 return;
955
956 bad:
957   if (running_in_test_harness)
958     {
959     extern char ** environ;
960     uschar ** p;
961     if (environ) for (p = USS environ; *p; p++)
962       if (Ustrncmp(*p, "EXIM_TESTHARNESS_DISABLE_OCSPVALIDITYCHECK", 42) == 0)
963         {
964         DEBUG(D_tls) debug_printf("Supplying known bad OCSP response\n");
965         goto supply_response;
966         }
967     }
968 return;
969 }
970 #endif  /*!DISABLE_OCSP*/
971
972
973
974
975 /* Create and install a selfsigned certificate, for use in server mode */
976
977 static int
978 tls_install_selfsign(SSL_CTX * sctx, uschar ** errstr)
979 {
980 X509 * x509 = NULL;
981 EVP_PKEY * pkey;
982 RSA * rsa;
983 X509_NAME * name;
984 uschar * where;
985
986 where = US"allocating pkey";
987 if (!(pkey = EVP_PKEY_new()))
988   goto err;
989
990 where = US"allocating cert";
991 if (!(x509 = X509_new()))
992   goto err;
993
994 where = US"generating pkey";
995 if (!(rsa = rsa_callback(NULL, 0, 1024)))
996   goto err;
997
998 where = US"assigning pkey";
999 if (!EVP_PKEY_assign_RSA(pkey, rsa))
1000   goto err;
1001
1002 X509_set_version(x509, 2);                              /* N+1 - version 3 */
1003 ASN1_INTEGER_set(X509_get_serialNumber(x509), 0);
1004 X509_gmtime_adj(X509_get_notBefore(x509), 0);
1005 X509_gmtime_adj(X509_get_notAfter(x509), (long)60 * 60);        /* 1 hour */
1006 X509_set_pubkey(x509, pkey);
1007
1008 name = X509_get_subject_name(x509);
1009 X509_NAME_add_entry_by_txt(name, "C",
1010                           MBSTRING_ASC, CUS "UK", -1, -1, 0);
1011 X509_NAME_add_entry_by_txt(name, "O",
1012                           MBSTRING_ASC, CUS "Exim Developers", -1, -1, 0);
1013 X509_NAME_add_entry_by_txt(name, "CN",
1014                           MBSTRING_ASC, CUS smtp_active_hostname, -1, -1, 0);
1015 X509_set_issuer_name(x509, name);
1016
1017 where = US"signing cert";
1018 if (!X509_sign(x509, pkey, EVP_md5()))
1019   goto err;
1020
1021 where = US"installing selfsign cert";
1022 if (!SSL_CTX_use_certificate(sctx, x509))
1023   goto err;
1024
1025 where = US"installing selfsign key";
1026 if (!SSL_CTX_use_PrivateKey(sctx, pkey))
1027   goto err;
1028
1029 return OK;
1030
1031 err:
1032   (void) tls_error(where, NULL, NULL, errstr);
1033   if (x509) X509_free(x509);
1034   if (pkey) EVP_PKEY_free(pkey);
1035   return DEFER;
1036 }
1037
1038
1039
1040
1041 static int
1042 tls_add_certfile(SSL_CTX * sctx, tls_ext_ctx_cb * cbinfo, uschar * file,
1043   uschar ** errstr)
1044 {
1045 DEBUG(D_tls) debug_printf("tls_certificate file %s\n", file);
1046 if (!SSL_CTX_use_certificate_chain_file(sctx, CS file))
1047   return tls_error(string_sprintf(
1048     "SSL_CTX_use_certificate_chain_file file=%s", file),
1049       cbinfo->host, NULL, errstr);
1050 return 0;
1051 }
1052
1053 static int
1054 tls_add_pkeyfile(SSL_CTX * sctx, tls_ext_ctx_cb * cbinfo, uschar * file,
1055   uschar ** errstr)
1056 {
1057 DEBUG(D_tls) debug_printf("tls_privatekey file %s\n", file);
1058 if (!SSL_CTX_use_PrivateKey_file(sctx, CS file, SSL_FILETYPE_PEM))
1059   return tls_error(string_sprintf(
1060     "SSL_CTX_use_PrivateKey_file file=%s", file), cbinfo->host, NULL, errstr);
1061 return 0;
1062 }
1063
1064
1065 /*************************************************
1066 *        Expand key and cert file specs          *
1067 *************************************************/
1068
1069 /* Called once during tls_init and possibly again during TLS setup, for a
1070 new context, if Server Name Indication was used and tls_sni was seen in
1071 the certificate string.
1072
1073 Arguments:
1074   sctx            the SSL_CTX* to update
1075   cbinfo          various parts of session state
1076   errstr          error string pointer
1077
1078 Returns:          OK/DEFER/FAIL
1079 */
1080
1081 static int
1082 tls_expand_session_files(SSL_CTX *sctx, tls_ext_ctx_cb *cbinfo,
1083   uschar ** errstr)
1084 {
1085 uschar *expanded;
1086
1087 if (!cbinfo->certificate)
1088   {
1089   if (!cbinfo->is_server)               /* client */
1090     return OK;
1091                                         /* server */
1092   if (tls_install_selfsign(sctx, errstr) != OK)
1093     return DEFER;
1094   }
1095 else
1096   {
1097   int err;
1098
1099   if (Ustrstr(cbinfo->certificate, US"tls_sni") ||
1100       Ustrstr(cbinfo->certificate, US"tls_in_sni") ||
1101       Ustrstr(cbinfo->certificate, US"tls_out_sni")
1102      )
1103     reexpand_tls_files_for_sni = TRUE;
1104
1105   if (!expand_check(cbinfo->certificate, US"tls_certificate", &expanded, errstr))
1106     return DEFER;
1107
1108   if (expanded)
1109     if (cbinfo->is_server)
1110       {
1111       const uschar * file_list = expanded;
1112       int sep = 0;
1113       uschar * file;
1114
1115       while (file = string_nextinlist(&file_list, &sep, NULL, 0))
1116         if ((err = tls_add_certfile(sctx, cbinfo, file, errstr)))
1117           return err;
1118       }
1119     else        /* would there ever be a need for multiple client certs? */
1120       if ((err = tls_add_certfile(sctx, cbinfo, expanded, errstr)))
1121         return err;
1122
1123   if (cbinfo->privatekey != NULL &&
1124       !expand_check(cbinfo->privatekey, US"tls_privatekey", &expanded, errstr))
1125     return DEFER;
1126
1127   /* If expansion was forced to fail, key_expanded will be NULL. If the result
1128   of the expansion is an empty string, ignore it also, and assume the private
1129   key is in the same file as the certificate. */
1130
1131   if (expanded && *expanded)
1132     if (cbinfo->is_server)
1133       {
1134       const uschar * file_list = expanded;
1135       int sep = 0;
1136       uschar * file;
1137
1138       while (file = string_nextinlist(&file_list, &sep, NULL, 0))
1139         if ((err = tls_add_pkeyfile(sctx, cbinfo, file, errstr)))
1140           return err;
1141       }
1142     else        /* would there ever be a need for multiple client certs? */
1143       if ((err = tls_add_pkeyfile(sctx, cbinfo, expanded, errstr)))
1144         return err;
1145   }
1146
1147 #ifndef DISABLE_OCSP
1148 if (cbinfo->is_server && cbinfo->u_ocsp.server.file)
1149   {
1150   /*XXX stack*/
1151   if (!expand_check(cbinfo->u_ocsp.server.file, US"tls_ocsp_file", &expanded, errstr))
1152     return DEFER;
1153
1154   if (expanded && *expanded)
1155     {
1156     DEBUG(D_tls) debug_printf("tls_ocsp_file %s\n", expanded);
1157     if (  cbinfo->u_ocsp.server.file_expanded
1158        && (Ustrcmp(expanded, cbinfo->u_ocsp.server.file_expanded) == 0))
1159       {
1160       DEBUG(D_tls) debug_printf(" - value unchanged, using existing values\n");
1161       }
1162     else
1163       ocsp_load_response(sctx, cbinfo, expanded);
1164     }
1165   }
1166 #endif
1167
1168 return OK;
1169 }
1170
1171
1172
1173
1174 /*************************************************
1175 *            Callback to handle SNI              *
1176 *************************************************/
1177
1178 /* Called when acting as server during the TLS session setup if a Server Name
1179 Indication extension was sent by the client.
1180
1181 API documentation is OpenSSL s_server.c implementation.
1182
1183 Arguments:
1184   s               SSL* of the current session
1185   ad              unknown (part of OpenSSL API) (unused)
1186   arg             Callback of "our" registered data
1187
1188 Returns:          SSL_TLSEXT_ERR_{OK,ALERT_WARNING,ALERT_FATAL,NOACK}
1189 */
1190
1191 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
1192 static int
1193 tls_servername_cb(SSL *s, int *ad ARG_UNUSED, void *arg)
1194 {
1195 const char *servername = SSL_get_servername(s, TLSEXT_NAMETYPE_host_name);
1196 tls_ext_ctx_cb *cbinfo = (tls_ext_ctx_cb *) arg;
1197 int rc;
1198 int old_pool = store_pool;
1199 uschar * dummy_errstr;
1200
1201 if (!servername)
1202   return SSL_TLSEXT_ERR_OK;
1203
1204 DEBUG(D_tls) debug_printf("Received TLS SNI \"%s\"%s\n", servername,
1205     reexpand_tls_files_for_sni ? "" : " (unused for certificate selection)");
1206
1207 /* Make the extension value available for expansion */
1208 store_pool = POOL_PERM;
1209 tls_in.sni = string_copy(US servername);
1210 store_pool = old_pool;
1211
1212 if (!reexpand_tls_files_for_sni)
1213   return SSL_TLSEXT_ERR_OK;
1214
1215 /* Can't find an SSL_CTX_clone() or equivalent, so we do it manually;
1216 not confident that memcpy wouldn't break some internal reference counting.
1217 Especially since there's a references struct member, which would be off. */
1218
1219 if (!(server_sni = SSL_CTX_new(SSLv23_server_method())))
1220   {
1221   ERR_error_string(ERR_get_error(), ssl_errstring);
1222   DEBUG(D_tls) debug_printf("SSL_CTX_new() failed: %s\n", ssl_errstring);
1223   return SSL_TLSEXT_ERR_NOACK;
1224   }
1225
1226 /* Not sure how many of these are actually needed, since SSL object
1227 already exists.  Might even need this selfsame callback, for reneg? */
1228
1229 SSL_CTX_set_info_callback(server_sni, SSL_CTX_get_info_callback(server_ctx));
1230 SSL_CTX_set_mode(server_sni, SSL_CTX_get_mode(server_ctx));
1231 SSL_CTX_set_options(server_sni, SSL_CTX_get_options(server_ctx));
1232 SSL_CTX_set_timeout(server_sni, SSL_CTX_get_timeout(server_ctx));
1233 SSL_CTX_set_tlsext_servername_callback(server_sni, tls_servername_cb);
1234 SSL_CTX_set_tlsext_servername_arg(server_sni, cbinfo);
1235
1236 if (  !init_dh(server_sni, cbinfo->dhparam, NULL, &dummy_errstr)
1237    || !init_ecdh(server_sni, NULL, &dummy_errstr)
1238    )
1239   return SSL_TLSEXT_ERR_NOACK;
1240
1241 if (cbinfo->server_cipher_list)
1242   SSL_CTX_set_cipher_list(server_sni, CS cbinfo->server_cipher_list);
1243 #ifndef DISABLE_OCSP
1244 if (cbinfo->u_ocsp.server.file)
1245   {
1246   SSL_CTX_set_tlsext_status_cb(server_sni, tls_server_stapling_cb);
1247   SSL_CTX_set_tlsext_status_arg(server_sni, cbinfo);
1248   }
1249 #endif
1250
1251 if ((rc = setup_certs(server_sni, tls_verify_certificates, tls_crl, NULL, FALSE,
1252                       verify_callback_server, &dummy_errstr)) != OK)
1253   return SSL_TLSEXT_ERR_NOACK;
1254
1255 /* do this after setup_certs, because this can require the certs for verifying
1256 OCSP information. */
1257 if ((rc = tls_expand_session_files(server_sni, cbinfo, &dummy_errstr)) != OK)
1258   return SSL_TLSEXT_ERR_NOACK;
1259
1260 DEBUG(D_tls) debug_printf("Switching SSL context.\n");
1261 SSL_set_SSL_CTX(s, server_sni);
1262
1263 return SSL_TLSEXT_ERR_OK;
1264 }
1265 #endif /* EXIM_HAVE_OPENSSL_TLSEXT */
1266
1267
1268
1269
1270 #ifndef DISABLE_OCSP
1271
1272 /*************************************************
1273 *        Callback to handle OCSP Stapling        *
1274 *************************************************/
1275
1276 /* Called when acting as server during the TLS session setup if the client
1277 requests OCSP information with a Certificate Status Request.
1278
1279 Documentation via openssl s_server.c and the Apache patch from the OpenSSL
1280 project.
1281
1282 */
1283
1284 static int
1285 tls_server_stapling_cb(SSL *s, void *arg)
1286 {
1287 const tls_ext_ctx_cb *cbinfo = (tls_ext_ctx_cb *) arg;
1288 uschar *response_der;   /*XXX blob */
1289 int response_der_len;
1290
1291 /*XXX stack: use SSL_get_certificate() to see which cert; from that work
1292 out which ocsp blob to send.  Unfortunately, SSL_get_certificate is known
1293 buggy in current OpenSSL; it returns the last cert loaded always rather than
1294 the one actually presented.  So we can't support a stack of OCSP proofs at
1295 this time. */
1296
1297 DEBUG(D_tls)
1298   debug_printf("Received TLS status request (OCSP stapling); %s response\n",
1299     cbinfo->u_ocsp.server.response ? "have" : "lack");
1300
1301 tls_in.ocsp = OCSP_NOT_RESP;
1302 if (!cbinfo->u_ocsp.server.response)
1303   return SSL_TLSEXT_ERR_NOACK;
1304
1305 response_der = NULL;
1306 response_der_len = i2d_OCSP_RESPONSE(cbinfo->u_ocsp.server.response,    /*XXX stack*/
1307                       &response_der);
1308 if (response_der_len <= 0)
1309   return SSL_TLSEXT_ERR_NOACK;
1310
1311 SSL_set_tlsext_status_ocsp_resp(server_ssl, response_der, response_der_len);
1312 tls_in.ocsp = OCSP_VFIED;
1313 return SSL_TLSEXT_ERR_OK;
1314 }
1315
1316
1317 static void
1318 time_print(BIO * bp, const char * str, ASN1_GENERALIZEDTIME * time)
1319 {
1320 BIO_printf(bp, "\t%s: ", str);
1321 ASN1_GENERALIZEDTIME_print(bp, time);
1322 BIO_puts(bp, "\n");
1323 }
1324
1325 static int
1326 tls_client_stapling_cb(SSL *s, void *arg)
1327 {
1328 tls_ext_ctx_cb * cbinfo = arg;
1329 const unsigned char * p;
1330 int len;
1331 OCSP_RESPONSE * rsp;
1332 OCSP_BASICRESP * bs;
1333 int i;
1334
1335 DEBUG(D_tls) debug_printf("Received TLS status response (OCSP stapling):");
1336 len = SSL_get_tlsext_status_ocsp_resp(s, &p);
1337 if(!p)
1338  {
1339   /* Expect this when we requested ocsp but got none */
1340   if (cbinfo->u_ocsp.client.verify_required && LOGGING(tls_cipher))
1341     log_write(0, LOG_MAIN, "Received TLS status callback, null content");
1342   else
1343     DEBUG(D_tls) debug_printf(" null\n");
1344   return cbinfo->u_ocsp.client.verify_required ? 0 : 1;
1345  }
1346
1347 if(!(rsp = d2i_OCSP_RESPONSE(NULL, &p, len)))
1348  {
1349   tls_out.ocsp = OCSP_FAILED;
1350   if (LOGGING(tls_cipher))
1351     log_write(0, LOG_MAIN, "Received TLS cert status response, parse error");
1352   else
1353     DEBUG(D_tls) debug_printf(" parse error\n");
1354   return 0;
1355  }
1356
1357 if(!(bs = OCSP_response_get1_basic(rsp)))
1358   {
1359   tls_out.ocsp = OCSP_FAILED;
1360   if (LOGGING(tls_cipher))
1361     log_write(0, LOG_MAIN, "Received TLS cert status response, error parsing response");
1362   else
1363     DEBUG(D_tls) debug_printf(" error parsing response\n");
1364   OCSP_RESPONSE_free(rsp);
1365   return 0;
1366   }
1367
1368 /* We'd check the nonce here if we'd put one in the request. */
1369 /* However that would defeat cacheability on the server so we don't. */
1370
1371 /* This section of code reworked from OpenSSL apps source;
1372    The OpenSSL Project retains copyright:
1373    Copyright (c) 1999 The OpenSSL Project.  All rights reserved.
1374 */
1375   {
1376     BIO * bp = NULL;
1377     int status, reason;
1378     ASN1_GENERALIZEDTIME *rev, *thisupd, *nextupd;
1379
1380     DEBUG(D_tls) bp = BIO_new_fp(debug_file, BIO_NOCLOSE);
1381
1382     /*OCSP_RESPONSE_print(bp, rsp, 0);   extreme debug: stapling content */
1383
1384     /* Use the chain that verified the server cert to verify the stapled info */
1385     /* DEBUG(D_tls) x509_store_dump_cert_s_names(cbinfo->u_ocsp.client.verify_store); */
1386
1387     if ((i = OCSP_basic_verify(bs, cbinfo->verify_stack,
1388               cbinfo->u_ocsp.client.verify_store, 0)) <= 0)
1389       {
1390       tls_out.ocsp = OCSP_FAILED;
1391       if (LOGGING(tls_cipher)) log_write(0, LOG_MAIN,
1392               "Received TLS cert status response, itself unverifiable: %s",
1393               ERR_reason_error_string(ERR_peek_error()));
1394       BIO_printf(bp, "OCSP response verify failure\n");
1395       ERR_print_errors(bp);
1396       OCSP_RESPONSE_print(bp, rsp, 0);
1397       goto failed;
1398       }
1399
1400     BIO_printf(bp, "OCSP response well-formed and signed OK\n");
1401
1402     /*XXX So we have a good stapled OCSP status.  How do we know
1403     it is for the cert of interest?  OpenSSL 1.1.0 has a routine
1404     OCSP_resp_find_status() which matches on a cert id, which presumably
1405     we should use. Making an id needs OCSP_cert_id_new(), which takes
1406     issuerName, issuerKey, serialNumber.  Are they all in the cert?
1407
1408     For now, carry on blindly accepting the resp. */
1409
1410       {
1411       OCSP_SINGLERESP * single;
1412
1413 #ifdef EXIM_HAVE_OCSP_RESP_COUNT
1414       if (OCSP_resp_count(bs) != 1)
1415 #else
1416       STACK_OF(OCSP_SINGLERESP) * sresp = bs->tbsResponseData->responses;
1417       if (sk_OCSP_SINGLERESP_num(sresp) != 1)
1418 #endif
1419         {
1420         tls_out.ocsp = OCSP_FAILED;
1421         log_write(0, LOG_MAIN, "OCSP stapling "
1422             "with multiple responses not handled");
1423         goto failed;
1424         }
1425       single = OCSP_resp_get0(bs, 0);
1426       status = OCSP_single_get0_status(single, &reason, &rev,
1427                   &thisupd, &nextupd);
1428       }
1429
1430     DEBUG(D_tls) time_print(bp, "This OCSP Update", thisupd);
1431     DEBUG(D_tls) if(nextupd) time_print(bp, "Next OCSP Update", nextupd);
1432     if (!OCSP_check_validity(thisupd, nextupd,
1433           EXIM_OCSP_SKEW_SECONDS, EXIM_OCSP_MAX_AGE))
1434       {
1435       tls_out.ocsp = OCSP_FAILED;
1436       DEBUG(D_tls) ERR_print_errors(bp);
1437       log_write(0, LOG_MAIN, "Server OSCP dates invalid");
1438       }
1439     else
1440       {
1441       DEBUG(D_tls) BIO_printf(bp, "Certificate status: %s\n",
1442                     OCSP_cert_status_str(status));
1443       switch(status)
1444         {
1445         case V_OCSP_CERTSTATUS_GOOD:
1446           tls_out.ocsp = OCSP_VFIED;
1447           i = 1;
1448           goto good;
1449         case V_OCSP_CERTSTATUS_REVOKED:
1450           tls_out.ocsp = OCSP_FAILED;
1451           log_write(0, LOG_MAIN, "Server certificate revoked%s%s",
1452               reason != -1 ? "; reason: " : "",
1453               reason != -1 ? OCSP_crl_reason_str(reason) : "");
1454           DEBUG(D_tls) time_print(bp, "Revocation Time", rev);
1455           break;
1456         default:
1457           tls_out.ocsp = OCSP_FAILED;
1458           log_write(0, LOG_MAIN,
1459               "Server certificate status unknown, in OCSP stapling");
1460           break;
1461         }
1462       }
1463   failed:
1464     i = cbinfo->u_ocsp.client.verify_required ? 0 : 1;
1465   good:
1466     BIO_free(bp);
1467   }
1468
1469 OCSP_RESPONSE_free(rsp);
1470 return i;
1471 }
1472 #endif  /*!DISABLE_OCSP*/
1473
1474
1475 /*************************************************
1476 *            Initialize for TLS                  *
1477 *************************************************/
1478
1479 /* Called from both server and client code, to do preliminary initialization
1480 of the library.  We allocate and return a context structure.
1481
1482 Arguments:
1483   ctxp            returned SSL context
1484   host            connected host, if client; NULL if server
1485   dhparam         DH parameter file
1486   certificate     certificate file
1487   privatekey      private key
1488   ocsp_file       file of stapling info (server); flag for require ocsp (client)
1489   addr            address if client; NULL if server (for some randomness)
1490   cbp             place to put allocated callback context
1491   errstr          error string pointer
1492
1493 Returns:          OK/DEFER/FAIL
1494 */
1495
1496 static int
1497 tls_init(SSL_CTX **ctxp, host_item *host, uschar *dhparam, uschar *certificate,
1498   uschar *privatekey,
1499 #ifndef DISABLE_OCSP
1500   uschar *ocsp_file,    /*XXX stack, in server*/
1501 #endif
1502   address_item *addr, tls_ext_ctx_cb ** cbp, uschar ** errstr)
1503 {
1504 SSL_CTX * ctx;
1505 long init_options;
1506 int rc;
1507 tls_ext_ctx_cb * cbinfo;
1508
1509 cbinfo = store_malloc(sizeof(tls_ext_ctx_cb));
1510 cbinfo->certificate = certificate;
1511 cbinfo->privatekey = privatekey;
1512 cbinfo->is_server = host==NULL;
1513 #ifndef DISABLE_OCSP
1514 cbinfo->verify_stack = NULL;
1515 if (!host)
1516   {
1517   cbinfo->u_ocsp.server.file = ocsp_file;
1518   cbinfo->u_ocsp.server.file_expanded = NULL;
1519   cbinfo->u_ocsp.server.response = NULL;
1520   }
1521 else
1522   cbinfo->u_ocsp.client.verify_store = NULL;
1523 #endif
1524 cbinfo->dhparam = dhparam;
1525 cbinfo->server_cipher_list = NULL;
1526 cbinfo->host = host;
1527 #ifndef DISABLE_EVENT
1528 cbinfo->event_action = NULL;
1529 #endif
1530
1531 SSL_load_error_strings();          /* basic set up */
1532 OpenSSL_add_ssl_algorithms();
1533
1534 #ifdef EXIM_HAVE_SHA256
1535 /* SHA256 is becoming ever more popular. This makes sure it gets added to the
1536 list of available digests. */
1537 EVP_add_digest(EVP_sha256());
1538 #endif
1539
1540 /* Create a context.
1541 The OpenSSL docs in 1.0.1b have not been updated to clarify TLS variant
1542 negotiation in the different methods; as far as I can tell, the only
1543 *_{server,client}_method which allows negotiation is SSLv23, which exists even
1544 when OpenSSL is built without SSLv2 support.
1545 By disabling with openssl_options, we can let admins re-enable with the
1546 existing knob. */
1547
1548 if (!(ctx = SSL_CTX_new(host ? SSLv23_client_method() : SSLv23_server_method())))
1549   return tls_error(US"SSL_CTX_new", host, NULL, errstr);
1550
1551 /* It turns out that we need to seed the random number generator this early in
1552 order to get the full complement of ciphers to work. It took me roughly a day
1553 of work to discover this by experiment.
1554
1555 On systems that have /dev/urandom, SSL may automatically seed itself from
1556 there. Otherwise, we have to make something up as best we can. Double check
1557 afterwards. */
1558
1559 if (!RAND_status())
1560   {
1561   randstuff r;
1562   gettimeofday(&r.tv, NULL);
1563   r.p = getpid();
1564
1565   RAND_seed(US (&r), sizeof(r));
1566   RAND_seed(US big_buffer, big_buffer_size);
1567   if (addr != NULL) RAND_seed(US addr, sizeof(addr));
1568
1569   if (!RAND_status())
1570     return tls_error(US"RAND_status", host,
1571       US"unable to seed random number generator", errstr);
1572   }
1573
1574 /* Set up the information callback, which outputs if debugging is at a suitable
1575 level. */
1576
1577 DEBUG(D_tls) SSL_CTX_set_info_callback(ctx, (void (*)())info_callback);
1578
1579 /* Automatically re-try reads/writes after renegotiation. */
1580 (void) SSL_CTX_set_mode(ctx, SSL_MODE_AUTO_RETRY);
1581
1582 /* Apply administrator-supplied work-arounds.
1583 Historically we applied just one requested option,
1584 SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS, but when bug 994 requested a second, we
1585 moved to an administrator-controlled list of options to specify and
1586 grandfathered in the first one as the default value for "openssl_options".
1587
1588 No OpenSSL version number checks: the options we accept depend upon the
1589 availability of the option value macros from OpenSSL.  */
1590
1591 if (!tls_openssl_options_parse(openssl_options, &init_options))
1592   return tls_error(US"openssl_options parsing failed", host, NULL, errstr);
1593
1594 if (init_options)
1595   {
1596   DEBUG(D_tls) debug_printf("setting SSL CTX options: %#lx\n", init_options);
1597   if (!(SSL_CTX_set_options(ctx, init_options)))
1598     return tls_error(string_sprintf(
1599           "SSL_CTX_set_option(%#lx)", init_options), host, NULL, errstr);
1600   }
1601 else
1602   DEBUG(D_tls) debug_printf("no SSL CTX options to set\n");
1603
1604 /* Disable session cache unconditionally */
1605
1606 (void) SSL_CTX_set_session_cache_mode(ctx, SSL_SESS_CACHE_OFF);
1607
1608 /* Initialize with DH parameters if supplied */
1609 /* Initialize ECDH temp key parameter selection */
1610
1611 if (  !init_dh(ctx, dhparam, host, errstr)
1612    || !init_ecdh(ctx, host, errstr)
1613    )
1614   return DEFER;
1615
1616 /* Set up certificate and key (and perhaps OCSP info) */
1617
1618 if ((rc = tls_expand_session_files(ctx, cbinfo, errstr)) != OK)
1619   return rc;
1620
1621 /* If we need to handle SNI or OCSP, do so */
1622
1623 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
1624 # ifndef DISABLE_OCSP
1625   if (!(cbinfo->verify_stack = sk_X509_new_null()))
1626     {
1627     DEBUG(D_tls) debug_printf("failed to create stack for stapling verify\n");
1628     return FAIL;
1629     }
1630 # endif
1631
1632 if (host == NULL)               /* server */
1633   {
1634 # ifndef DISABLE_OCSP
1635   /* We check u_ocsp.server.file, not server.response, because we care about if
1636   the option exists, not what the current expansion might be, as SNI might
1637   change the certificate and OCSP file in use between now and the time the
1638   callback is invoked. */
1639   if (cbinfo->u_ocsp.server.file)
1640     {
1641     SSL_CTX_set_tlsext_status_cb(ctx, tls_server_stapling_cb);
1642     SSL_CTX_set_tlsext_status_arg(ctx, cbinfo);
1643     }
1644 # endif
1645   /* We always do this, so that $tls_sni is available even if not used in
1646   tls_certificate */
1647   SSL_CTX_set_tlsext_servername_callback(ctx, tls_servername_cb);
1648   SSL_CTX_set_tlsext_servername_arg(ctx, cbinfo);
1649   }
1650 # ifndef DISABLE_OCSP
1651 else                    /* client */
1652   if(ocsp_file)         /* wanting stapling */
1653     {
1654     if (!(cbinfo->u_ocsp.client.verify_store = X509_STORE_new()))
1655       {
1656       DEBUG(D_tls) debug_printf("failed to create store for stapling verify\n");
1657       return FAIL;
1658       }
1659     SSL_CTX_set_tlsext_status_cb(ctx, tls_client_stapling_cb);
1660     SSL_CTX_set_tlsext_status_arg(ctx, cbinfo);
1661     }
1662 # endif
1663 #endif
1664
1665 cbinfo->verify_cert_hostnames = NULL;
1666
1667 #ifdef EXIM_HAVE_EPHEM_RSA_KEX
1668 /* Set up the RSA callback */
1669 SSL_CTX_set_tmp_rsa_callback(ctx, rsa_callback);
1670 #endif
1671
1672 /* Finally, set the timeout, and we are done */
1673
1674 SSL_CTX_set_timeout(ctx, ssl_session_timeout);
1675 DEBUG(D_tls) debug_printf("Initialized TLS\n");
1676
1677 *cbp = cbinfo;
1678 *ctxp = ctx;
1679
1680 return OK;
1681 }
1682
1683
1684
1685
1686 /*************************************************
1687 *           Get name of cipher in use            *
1688 *************************************************/
1689
1690 /*
1691 Argument:   pointer to an SSL structure for the connection
1692             buffer to use for answer
1693             size of buffer
1694             pointer to number of bits for cipher
1695 Returns:    nothing
1696 */
1697
1698 static void
1699 construct_cipher_name(SSL *ssl, uschar *cipherbuf, int bsize, int *bits)
1700 {
1701 /* With OpenSSL 1.0.0a, this needs to be const but the documentation doesn't
1702 yet reflect that.  It should be a safe change anyway, even 0.9.8 versions have
1703 the accessor functions use const in the prototype. */
1704 const SSL_CIPHER *c;
1705 const uschar *ver;
1706
1707 ver = (const uschar *)SSL_get_version(ssl);
1708
1709 c = (const SSL_CIPHER *) SSL_get_current_cipher(ssl);
1710 SSL_CIPHER_get_bits(c, bits);
1711
1712 string_format(cipherbuf, bsize, "%s:%s:%u", ver,
1713   SSL_CIPHER_get_name(c), *bits);
1714
1715 DEBUG(D_tls) debug_printf("Cipher: %s\n", cipherbuf);
1716 }
1717
1718
1719 static void
1720 peer_cert(SSL * ssl, tls_support * tlsp, uschar * peerdn, unsigned bsize)
1721 {
1722 /*XXX we might consider a list-of-certs variable for the cert chain.
1723 SSL_get_peer_cert_chain(SSL*).  We'd need a new variable type and support
1724 in list-handling functions, also consider the difference between the entire
1725 chain and the elements sent by the peer. */
1726
1727 /* Will have already noted peercert on a verify fail; possibly not the leaf */
1728 if (!tlsp->peercert)
1729   tlsp->peercert = SSL_get_peer_certificate(ssl);
1730 /* Beware anonymous ciphers which lead to server_cert being NULL */
1731 if (tlsp->peercert)
1732   {
1733   X509_NAME_oneline(X509_get_subject_name(tlsp->peercert), CS peerdn, bsize);
1734   peerdn[bsize-1] = '\0';
1735   tlsp->peerdn = peerdn;                /*XXX a static buffer... */
1736   }
1737 else
1738   tlsp->peerdn = NULL;
1739 }
1740
1741
1742
1743
1744
1745 /*************************************************
1746 *        Set up for verifying certificates       *
1747 *************************************************/
1748
1749 /* Load certs from file, return TRUE on success */
1750
1751 static BOOL
1752 chain_from_pem_file(const uschar * file, STACK_OF(X509) * verify_stack)
1753 {
1754 BIO * bp;
1755 X509 * x;
1756
1757 if (!(bp = BIO_new_file(CS file, "r"))) return FALSE;
1758 while ((x = PEM_read_bio_X509(bp, NULL, 0, NULL)))
1759   sk_X509_push(verify_stack, x);
1760 BIO_free(bp);
1761 return TRUE;
1762 }
1763
1764
1765
1766 /* Called by both client and server startup
1767
1768 Arguments:
1769   sctx          SSL_CTX* to initialise
1770   certs         certs file or NULL
1771   crl           CRL file or NULL
1772   host          NULL in a server; the remote host in a client
1773   optional      TRUE if called from a server for a host in tls_try_verify_hosts;
1774                 otherwise passed as FALSE
1775   cert_vfy_cb   Callback function for certificate verification
1776   errstr        error string pointer
1777
1778 Returns:        OK/DEFER/FAIL
1779 */
1780
1781 static int
1782 setup_certs(SSL_CTX *sctx, uschar *certs, uschar *crl, host_item *host, BOOL optional,
1783     int (*cert_vfy_cb)(int, X509_STORE_CTX *), uschar ** errstr)
1784 {
1785 uschar *expcerts, *expcrl;
1786
1787 if (!expand_check(certs, US"tls_verify_certificates", &expcerts, errstr))
1788   return DEFER;
1789 DEBUG(D_tls) debug_printf("tls_verify_certificates: %s\n", expcerts);
1790
1791 if (expcerts && *expcerts)
1792   {
1793   /* Tell the library to use its compiled-in location for the system default
1794   CA bundle. Then add the ones specified in the config, if any. */
1795
1796   if (!SSL_CTX_set_default_verify_paths(sctx))
1797     return tls_error(US"SSL_CTX_set_default_verify_paths", host, NULL, errstr);
1798
1799   if (Ustrcmp(expcerts, "system") != 0)
1800     {
1801     struct stat statbuf;
1802
1803     if (Ustat(expcerts, &statbuf) < 0)
1804       {
1805       log_write(0, LOG_MAIN|LOG_PANIC,
1806         "failed to stat %s for certificates", expcerts);
1807       return DEFER;
1808       }
1809     else
1810       {
1811       uschar *file, *dir;
1812       if ((statbuf.st_mode & S_IFMT) == S_IFDIR)
1813         { file = NULL; dir = expcerts; }
1814       else
1815         {
1816         file = expcerts; dir = NULL;
1817 #ifndef DISABLE_OCSP
1818         /* In the server if we will be offering an OCSP proof, load chain from
1819         file for verifying the OCSP proof at load time. */
1820
1821         if (  !host
1822            && statbuf.st_size > 0
1823            && server_static_cbinfo->u_ocsp.server.file
1824            && !chain_from_pem_file(file, server_static_cbinfo->verify_stack)
1825            )
1826           {
1827           log_write(0, LOG_MAIN|LOG_PANIC,
1828             "failed to load cert chain from %s", file);
1829           return DEFER;
1830           }
1831 #endif
1832         }
1833
1834       /* If a certificate file is empty, the next function fails with an
1835       unhelpful error message. If we skip it, we get the correct behaviour (no
1836       certificates are recognized, but the error message is still misleading (it
1837       says no certificate was supplied).  But this is better. */
1838
1839       if (  (!file || statbuf.st_size > 0)
1840          && !SSL_CTX_load_verify_locations(sctx, CS file, CS dir))
1841         return tls_error(US"SSL_CTX_load_verify_locations", host, NULL, errstr);
1842
1843       /* Load the list of CAs for which we will accept certs, for sending
1844       to the client.  This is only for the one-file tls_verify_certificates
1845       variant.
1846       If a list isn't loaded into the server, but
1847       some verify locations are set, the server end appears to make
1848       a wildcard request for client certs.
1849       Meanwhile, the client library as default behaviour *ignores* the list
1850       we send over the wire - see man SSL_CTX_set_client_cert_cb.
1851       Because of this, and that the dir variant is likely only used for
1852       the public-CA bundle (not for a private CA), not worth fixing.
1853       */
1854       if (file)
1855         {
1856         STACK_OF(X509_NAME) * names = SSL_load_client_CA_file(CS file);
1857
1858         DEBUG(D_tls) debug_printf("Added %d certificate authorities.\n",
1859                                     sk_X509_NAME_num(names));
1860         SSL_CTX_set_client_CA_list(sctx, names);
1861         }
1862       }
1863     }
1864
1865   /* Handle a certificate revocation list. */
1866
1867 #if OPENSSL_VERSION_NUMBER > 0x00907000L
1868
1869   /* This bit of code is now the version supplied by Lars Mainka. (I have
1870   merely reformatted it into the Exim code style.)
1871
1872   "From here I changed the code to add support for multiple crl's
1873   in pem format in one file or to support hashed directory entries in
1874   pem format instead of a file. This method now uses the library function
1875   X509_STORE_load_locations to add the CRL location to the SSL context.
1876   OpenSSL will then handle the verify against CA certs and CRLs by
1877   itself in the verify callback." */
1878
1879   if (!expand_check(crl, US"tls_crl", &expcrl, errstr)) return DEFER;
1880   if (expcrl && *expcrl)
1881     {
1882     struct stat statbufcrl;
1883     if (Ustat(expcrl, &statbufcrl) < 0)
1884       {
1885       log_write(0, LOG_MAIN|LOG_PANIC,
1886         "failed to stat %s for certificates revocation lists", expcrl);
1887       return DEFER;
1888       }
1889     else
1890       {
1891       /* is it a file or directory? */
1892       uschar *file, *dir;
1893       X509_STORE *cvstore = SSL_CTX_get_cert_store(sctx);
1894       if ((statbufcrl.st_mode & S_IFMT) == S_IFDIR)
1895         {
1896         file = NULL;
1897         dir = expcrl;
1898         DEBUG(D_tls) debug_printf("SSL CRL value is a directory %s\n", dir);
1899         }
1900       else
1901         {
1902         file = expcrl;
1903         dir = NULL;
1904         DEBUG(D_tls) debug_printf("SSL CRL value is a file %s\n", file);
1905         }
1906       if (X509_STORE_load_locations(cvstore, CS file, CS dir) == 0)
1907         return tls_error(US"X509_STORE_load_locations", host, NULL, errstr);
1908
1909       /* setting the flags to check against the complete crl chain */
1910
1911       X509_STORE_set_flags(cvstore,
1912         X509_V_FLAG_CRL_CHECK|X509_V_FLAG_CRL_CHECK_ALL);
1913       }
1914     }
1915
1916 #endif  /* OPENSSL_VERSION_NUMBER > 0x00907000L */
1917
1918   /* If verification is optional, don't fail if no certificate */
1919
1920   SSL_CTX_set_verify(sctx,
1921     SSL_VERIFY_PEER | (optional? 0 : SSL_VERIFY_FAIL_IF_NO_PEER_CERT),
1922     cert_vfy_cb);
1923   }
1924
1925 return OK;
1926 }
1927
1928
1929
1930 /*************************************************
1931 *       Start a TLS session in a server          *
1932 *************************************************/
1933
1934 /* This is called when Exim is running as a server, after having received
1935 the STARTTLS command. It must respond to that command, and then negotiate
1936 a TLS session.
1937
1938 Arguments:
1939   require_ciphers   allowed ciphers
1940   errstr            pointer to error message
1941
1942 Returns:            OK on success
1943                     DEFER for errors before the start of the negotiation
1944                     FAIL for errors during the negotiation; the server can't
1945                       continue running.
1946 */
1947
1948 int
1949 tls_server_start(const uschar * require_ciphers, uschar ** errstr)
1950 {
1951 int rc;
1952 uschar * expciphers;
1953 tls_ext_ctx_cb * cbinfo;
1954 static uschar peerdn[256];
1955 static uschar cipherbuf[256];
1956
1957 /* Check for previous activation */
1958
1959 if (tls_in.active >= 0)
1960   {
1961   tls_error(US"STARTTLS received after TLS started", NULL, US"", errstr);
1962   smtp_printf("554 Already in TLS\r\n", FALSE);
1963   return FAIL;
1964   }
1965
1966 /* Initialize the SSL library. If it fails, it will already have logged
1967 the error. */
1968
1969 rc = tls_init(&server_ctx, NULL, tls_dhparam, tls_certificate, tls_privatekey,
1970 #ifndef DISABLE_OCSP
1971     tls_ocsp_file,      /*XXX stack*/
1972 #endif
1973     NULL, &server_static_cbinfo, errstr);
1974 if (rc != OK) return rc;
1975 cbinfo = server_static_cbinfo;
1976
1977 if (!expand_check(require_ciphers, US"tls_require_ciphers", &expciphers, errstr))
1978   return FAIL;
1979
1980 /* In OpenSSL, cipher components are separated by hyphens. In GnuTLS, they
1981 were historically separated by underscores. So that I can use either form in my
1982 tests, and also for general convenience, we turn underscores into hyphens here.
1983 */
1984
1985 if (expciphers)
1986   {
1987   uschar * s = expciphers;
1988   while (*s != 0) { if (*s == '_') *s = '-'; s++; }
1989   DEBUG(D_tls) debug_printf("required ciphers: %s\n", expciphers);
1990   if (!SSL_CTX_set_cipher_list(server_ctx, CS expciphers))
1991     return tls_error(US"SSL_CTX_set_cipher_list", NULL, NULL, errstr);
1992   cbinfo->server_cipher_list = expciphers;
1993   }
1994
1995 /* If this is a host for which certificate verification is mandatory or
1996 optional, set up appropriately. */
1997
1998 tls_in.certificate_verified = FALSE;
1999 #ifdef EXPERIMENTAL_DANE
2000 tls_in.dane_verified = FALSE;
2001 #endif
2002 server_verify_callback_called = FALSE;
2003
2004 if (verify_check_host(&tls_verify_hosts) == OK)
2005   {
2006   rc = setup_certs(server_ctx, tls_verify_certificates, tls_crl, NULL,
2007                         FALSE, verify_callback_server, errstr);
2008   if (rc != OK) return rc;
2009   server_verify_optional = FALSE;
2010   }
2011 else if (verify_check_host(&tls_try_verify_hosts) == OK)
2012   {
2013   rc = setup_certs(server_ctx, tls_verify_certificates, tls_crl, NULL,
2014                         TRUE, verify_callback_server, errstr);
2015   if (rc != OK) return rc;
2016   server_verify_optional = TRUE;
2017   }
2018
2019 /* Prepare for new connection */
2020
2021 if (!(server_ssl = SSL_new(server_ctx)))
2022   return tls_error(US"SSL_new", NULL, NULL, errstr);
2023
2024 /* Warning: we used to SSL_clear(ssl) here, it was removed.
2025  *
2026  * With the SSL_clear(), we get strange interoperability bugs with
2027  * OpenSSL 1.0.1b and TLS1.1/1.2.  It looks as though this may be a bug in
2028  * OpenSSL itself, as a clear should not lead to inability to follow protocols.
2029  *
2030  * The SSL_clear() call is to let an existing SSL* be reused, typically after
2031  * session shutdown.  In this case, we have a brand new object and there's no
2032  * obvious reason to immediately clear it.  I'm guessing that this was
2033  * originally added because of incomplete initialisation which the clear fixed,
2034  * in some historic release.
2035  */
2036
2037 /* Set context and tell client to go ahead, except in the case of TLS startup
2038 on connection, where outputting anything now upsets the clients and tends to
2039 make them disconnect. We need to have an explicit fflush() here, to force out
2040 the response. Other smtp_printf() calls do not need it, because in non-TLS
2041 mode, the fflush() happens when smtp_getc() is called. */
2042
2043 SSL_set_session_id_context(server_ssl, sid_ctx, Ustrlen(sid_ctx));
2044 if (!tls_in.on_connect)
2045   {
2046   smtp_printf("220 TLS go ahead\r\n", FALSE);
2047   fflush(smtp_out);
2048   }
2049
2050 /* Now negotiate the TLS session. We put our own timer on it, since it seems
2051 that the OpenSSL library doesn't. */
2052
2053 SSL_set_wfd(server_ssl, fileno(smtp_out));
2054 SSL_set_rfd(server_ssl, fileno(smtp_in));
2055 SSL_set_accept_state(server_ssl);
2056
2057 DEBUG(D_tls) debug_printf("Calling SSL_accept\n");
2058
2059 sigalrm_seen = FALSE;
2060 if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
2061 rc = SSL_accept(server_ssl);
2062 alarm(0);
2063
2064 if (rc <= 0)
2065   {
2066   (void) tls_error(US"SSL_accept", NULL, sigalrm_seen ? US"timed out" : NULL, errstr);
2067   return FAIL;
2068   }
2069
2070 DEBUG(D_tls) debug_printf("SSL_accept was successful\n");
2071
2072 /* TLS has been set up. Adjust the input functions to read via TLS,
2073 and initialize things. */
2074
2075 peer_cert(server_ssl, &tls_in, peerdn, sizeof(peerdn));
2076
2077 construct_cipher_name(server_ssl, cipherbuf, sizeof(cipherbuf), &tls_in.bits);
2078 tls_in.cipher = cipherbuf;
2079
2080 DEBUG(D_tls)
2081   {
2082   uschar buf[2048];
2083   if (SSL_get_shared_ciphers(server_ssl, CS buf, sizeof(buf)) != NULL)
2084     debug_printf("Shared ciphers: %s\n", buf);
2085   }
2086
2087 /* Record the certificate we presented */
2088   {
2089   X509 * crt = SSL_get_certificate(server_ssl);
2090   tls_in.ourcert = crt ? X509_dup(crt) : NULL;
2091   }
2092
2093 /* Only used by the server-side tls (tls_in), including tls_getc.
2094    Client-side (tls_out) reads (seem to?) go via
2095    smtp_read_response()/ip_recv().
2096    Hence no need to duplicate for _in and _out.
2097  */
2098 ssl_xfer_buffer = store_malloc(ssl_xfer_buffer_size);
2099 ssl_xfer_buffer_lwm = ssl_xfer_buffer_hwm = 0;
2100 ssl_xfer_eof = ssl_xfer_error = 0;
2101
2102 receive_getc = tls_getc;
2103 receive_getbuf = tls_getbuf;
2104 receive_get_cache = tls_get_cache;
2105 receive_ungetc = tls_ungetc;
2106 receive_feof = tls_feof;
2107 receive_ferror = tls_ferror;
2108 receive_smtp_buffered = tls_smtp_buffered;
2109
2110 tls_in.active = fileno(smtp_out);
2111 return OK;
2112 }
2113
2114
2115
2116
2117 static int
2118 tls_client_basic_ctx_init(SSL_CTX * ctx,
2119     host_item * host, smtp_transport_options_block * ob, tls_ext_ctx_cb * cbinfo,
2120     uschar ** errstr)
2121 {
2122 int rc;
2123 /* stick to the old behaviour for compatibility if tls_verify_certificates is
2124    set but both tls_verify_hosts and tls_try_verify_hosts is not set. Check only
2125    the specified host patterns if one of them is defined */
2126
2127 if (  (  !ob->tls_verify_hosts
2128       && (!ob->tls_try_verify_hosts || !*ob->tls_try_verify_hosts)
2129       )
2130    || (verify_check_given_host(&ob->tls_verify_hosts, host) == OK)
2131    )
2132   client_verify_optional = FALSE;
2133 else if (verify_check_given_host(&ob->tls_try_verify_hosts, host) == OK)
2134   client_verify_optional = TRUE;
2135 else
2136   return OK;
2137
2138 if ((rc = setup_certs(ctx, ob->tls_verify_certificates,
2139       ob->tls_crl, host, client_verify_optional, verify_callback_client,
2140       errstr)) != OK)
2141   return rc;
2142
2143 if (verify_check_given_host(&ob->tls_verify_cert_hostnames, host) == OK)
2144   {
2145   cbinfo->verify_cert_hostnames =
2146 #ifdef SUPPORT_I18N
2147     string_domain_utf8_to_alabel(host->name, NULL);
2148 #else
2149     host->name;
2150 #endif
2151   DEBUG(D_tls) debug_printf("Cert hostname to check: \"%s\"\n",
2152                     cbinfo->verify_cert_hostnames);
2153   }
2154 return OK;
2155 }
2156
2157
2158 #ifdef EXPERIMENTAL_DANE
2159 static int
2160 dane_tlsa_load(SSL * ssl, host_item * host, dns_answer * dnsa, uschar ** errstr)
2161 {
2162 dns_record * rr;
2163 dns_scan dnss;
2164 const char * hostnames[2] = { CS host->name, NULL };
2165 int found = 0;
2166
2167 if (DANESSL_init(ssl, NULL, hostnames) != 1)
2168   return tls_error(US"hostnames load", host, NULL, errstr);
2169
2170 for (rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS);
2171      rr;
2172      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)
2173     ) if (rr->type == T_TLSA)
2174   {
2175   const uschar * p = rr->data;
2176   uint8_t usage, selector, mtype;
2177   const char * mdname;
2178
2179   usage = *p++;
2180
2181   /* Only DANE-TA(2) and DANE-EE(3) are supported */
2182   if (usage != 2 && usage != 3) continue;
2183
2184   selector = *p++;
2185   mtype = *p++;
2186
2187   switch (mtype)
2188     {
2189     default: continue;  /* Only match-types 0, 1, 2 are supported */
2190     case 0:  mdname = NULL; break;
2191     case 1:  mdname = "sha256"; break;
2192     case 2:  mdname = "sha512"; break;
2193     }
2194
2195   found++;
2196   switch (DANESSL_add_tlsa(ssl, usage, selector, mdname, p, rr->size - 3))
2197     {
2198     default:
2199       return tls_error(US"tlsa load", host, NULL, errstr);
2200     case 0:     /* action not taken */
2201     case 1:     break;
2202     }
2203
2204   tls_out.tlsa_usage |= 1<<usage;
2205   }
2206
2207 if (found)
2208   return OK;
2209
2210 log_write(0, LOG_MAIN, "DANE error: No usable TLSA records");
2211 return DEFER;
2212 }
2213 #endif  /*EXPERIMENTAL_DANE*/
2214
2215
2216
2217 /*************************************************
2218 *    Start a TLS session in a client             *
2219 *************************************************/
2220
2221 /* Called from the smtp transport after STARTTLS has been accepted.
2222
2223 Argument:
2224   fd               the fd of the connection
2225   host             connected host (for messages)
2226   addr             the first address
2227   tb               transport (always smtp)
2228   tlsa_dnsa        tlsa lookup, if DANE, else null
2229   errstr           error string pointer
2230
2231 Returns:           OK on success
2232                    FAIL otherwise - note that tls_error() will not give DEFER
2233                      because this is not a server
2234 */
2235
2236 int
2237 tls_client_start(int fd, host_item *host, address_item *addr,
2238   transport_instance * tb,
2239 #ifdef EXPERIMENTAL_DANE
2240   dns_answer * tlsa_dnsa,
2241 #endif
2242   uschar ** errstr)
2243 {
2244 smtp_transport_options_block * ob =
2245   (smtp_transport_options_block *)tb->options_block;
2246 static uschar peerdn[256];
2247 uschar * expciphers;
2248 int rc;
2249 static uschar cipherbuf[256];
2250
2251 #ifndef DISABLE_OCSP
2252 BOOL request_ocsp = FALSE;
2253 BOOL require_ocsp = FALSE;
2254 #endif
2255
2256 #ifdef EXPERIMENTAL_DANE
2257 tls_out.tlsa_usage = 0;
2258 #endif
2259
2260 #ifndef DISABLE_OCSP
2261   {
2262 # ifdef EXPERIMENTAL_DANE
2263   if (  tlsa_dnsa
2264      && ob->hosts_request_ocsp[0] == '*'
2265      && ob->hosts_request_ocsp[1] == '\0'
2266      )
2267     {
2268     /* Unchanged from default.  Use a safer one under DANE */
2269     request_ocsp = TRUE;
2270     ob->hosts_request_ocsp = US"${if or { {= {0}{$tls_out_tlsa_usage}} "
2271                                       "   {= {4}{$tls_out_tlsa_usage}} } "
2272                                  " {*}{}}";
2273     }
2274 # endif
2275
2276   if ((require_ocsp =
2277         verify_check_given_host(&ob->hosts_require_ocsp, host) == OK))
2278     request_ocsp = TRUE;
2279   else
2280 # ifdef EXPERIMENTAL_DANE
2281     if (!request_ocsp)
2282 # endif
2283       request_ocsp =
2284         verify_check_given_host(&ob->hosts_request_ocsp, host) == OK;
2285   }
2286 #endif
2287
2288 rc = tls_init(&client_ctx, host, NULL,
2289     ob->tls_certificate, ob->tls_privatekey,
2290 #ifndef DISABLE_OCSP
2291     (void *)(long)request_ocsp,
2292 #endif
2293     addr, &client_static_cbinfo, errstr);
2294 if (rc != OK) return rc;
2295
2296 tls_out.certificate_verified = FALSE;
2297 client_verify_callback_called = FALSE;
2298
2299 if (!expand_check(ob->tls_require_ciphers, US"tls_require_ciphers",
2300     &expciphers, errstr))
2301   return FAIL;
2302
2303 /* In OpenSSL, cipher components are separated by hyphens. In GnuTLS, they
2304 are separated by underscores. So that I can use either form in my tests, and
2305 also for general convenience, we turn underscores into hyphens here. */
2306
2307 if (expciphers)
2308   {
2309   uschar *s = expciphers;
2310   while (*s) { if (*s == '_') *s = '-'; s++; }
2311   DEBUG(D_tls) debug_printf("required ciphers: %s\n", expciphers);
2312   if (!SSL_CTX_set_cipher_list(client_ctx, CS expciphers))
2313     return tls_error(US"SSL_CTX_set_cipher_list", host, NULL, errstr);
2314   }
2315
2316 #ifdef EXPERIMENTAL_DANE
2317 if (tlsa_dnsa)
2318   {
2319   SSL_CTX_set_verify(client_ctx,
2320     SSL_VERIFY_PEER | SSL_VERIFY_FAIL_IF_NO_PEER_CERT,
2321     verify_callback_client_dane);
2322
2323   if (!DANESSL_library_init())
2324     return tls_error(US"library init", host, NULL, errstr);
2325   if (DANESSL_CTX_init(client_ctx) <= 0)
2326     return tls_error(US"context init", host, NULL, errstr);
2327   }
2328 else
2329
2330 #endif
2331
2332   if ((rc = tls_client_basic_ctx_init(client_ctx, host, ob,
2333       client_static_cbinfo, errstr)) != OK)
2334     return rc;
2335
2336 if ((client_ssl = SSL_new(client_ctx)) == NULL)
2337   return tls_error(US"SSL_new", host, NULL, errstr);
2338 SSL_set_session_id_context(client_ssl, sid_ctx, Ustrlen(sid_ctx));
2339 SSL_set_fd(client_ssl, fd);
2340 SSL_set_connect_state(client_ssl);
2341
2342 if (ob->tls_sni)
2343   {
2344   if (!expand_check(ob->tls_sni, US"tls_sni", &tls_out.sni, errstr))
2345     return FAIL;
2346   if (!tls_out.sni)
2347     {
2348     DEBUG(D_tls) debug_printf("Setting TLS SNI forced to fail, not sending\n");
2349     }
2350   else if (!Ustrlen(tls_out.sni))
2351     tls_out.sni = NULL;
2352   else
2353     {
2354 #ifdef EXIM_HAVE_OPENSSL_TLSEXT
2355     DEBUG(D_tls) debug_printf("Setting TLS SNI \"%s\"\n", tls_out.sni);
2356     SSL_set_tlsext_host_name(client_ssl, tls_out.sni);
2357 #else
2358     log_write(0, LOG_MAIN, "SNI unusable with this OpenSSL library version; ignoring \"%s\"\n",
2359           tls_out.sni);
2360 #endif
2361     }
2362   }
2363
2364 #ifdef EXPERIMENTAL_DANE
2365 if (tlsa_dnsa)
2366   if ((rc = dane_tlsa_load(client_ssl, host, tlsa_dnsa, errstr)) != OK)
2367     return rc;
2368 #endif
2369
2370 #ifndef DISABLE_OCSP
2371 /* Request certificate status at connection-time.  If the server
2372 does OCSP stapling we will get the callback (set in tls_init()) */
2373 # ifdef EXPERIMENTAL_DANE
2374 if (request_ocsp)
2375   {
2376   const uschar * s;
2377   if (  ((s = ob->hosts_require_ocsp) && Ustrstr(s, US"tls_out_tlsa_usage"))
2378      || ((s = ob->hosts_request_ocsp) && Ustrstr(s, US"tls_out_tlsa_usage"))
2379      )
2380     {   /* Re-eval now $tls_out_tlsa_usage is populated.  If
2381         this means we avoid the OCSP request, we wasted the setup
2382         cost in tls_init(). */
2383     require_ocsp = verify_check_given_host(&ob->hosts_require_ocsp, host) == OK;
2384     request_ocsp = require_ocsp
2385       || verify_check_given_host(&ob->hosts_request_ocsp, host) == OK;
2386     }
2387   }
2388 # endif
2389
2390 if (request_ocsp)
2391   {
2392   SSL_set_tlsext_status_type(client_ssl, TLSEXT_STATUSTYPE_ocsp);
2393   client_static_cbinfo->u_ocsp.client.verify_required = require_ocsp;
2394   tls_out.ocsp = OCSP_NOT_RESP;
2395   }
2396 #endif
2397
2398 #ifndef DISABLE_EVENT
2399 client_static_cbinfo->event_action = tb->event_action;
2400 #endif
2401
2402 /* There doesn't seem to be a built-in timeout on connection. */
2403
2404 DEBUG(D_tls) debug_printf("Calling SSL_connect\n");
2405 sigalrm_seen = FALSE;
2406 alarm(ob->command_timeout);
2407 rc = SSL_connect(client_ssl);
2408 alarm(0);
2409
2410 #ifdef EXPERIMENTAL_DANE
2411 if (tlsa_dnsa)
2412   DANESSL_cleanup(client_ssl);
2413 #endif
2414
2415 if (rc <= 0)
2416   return tls_error(US"SSL_connect", host, sigalrm_seen ? US"timed out" : NULL,
2417     errstr);
2418
2419 DEBUG(D_tls) debug_printf("SSL_connect succeeded\n");
2420
2421 peer_cert(client_ssl, &tls_out, peerdn, sizeof(peerdn));
2422
2423 construct_cipher_name(client_ssl, cipherbuf, sizeof(cipherbuf), &tls_out.bits);
2424 tls_out.cipher = cipherbuf;
2425
2426 /* Record the certificate we presented */
2427   {
2428   X509 * crt = SSL_get_certificate(client_ssl);
2429   tls_out.ourcert = crt ? X509_dup(crt) : NULL;
2430   }
2431
2432 tls_out.active = fd;
2433 return OK;
2434 }
2435
2436
2437
2438
2439
2440 static BOOL
2441 tls_refill(unsigned lim)
2442 {
2443 int error;
2444 int inbytes;
2445
2446 DEBUG(D_tls) debug_printf("Calling SSL_read(%p, %p, %u)\n", server_ssl,
2447   ssl_xfer_buffer, ssl_xfer_buffer_size);
2448
2449 if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
2450 inbytes = SSL_read(server_ssl, CS ssl_xfer_buffer,
2451                   MIN(ssl_xfer_buffer_size, lim));
2452 error = SSL_get_error(server_ssl, inbytes);
2453 alarm(0);
2454
2455 /* SSL_ERROR_ZERO_RETURN appears to mean that the SSL session has been
2456 closed down, not that the socket itself has been closed down. Revert to
2457 non-SSL handling. */
2458
2459 if (error == SSL_ERROR_ZERO_RETURN)
2460   {
2461   DEBUG(D_tls) debug_printf("Got SSL_ERROR_ZERO_RETURN\n");
2462
2463   receive_getc = smtp_getc;
2464   receive_getbuf = smtp_getbuf;
2465   receive_get_cache = smtp_get_cache;
2466   receive_ungetc = smtp_ungetc;
2467   receive_feof = smtp_feof;
2468   receive_ferror = smtp_ferror;
2469   receive_smtp_buffered = smtp_buffered;
2470
2471   SSL_free(server_ssl);
2472   server_ssl = NULL;
2473   tls_in.active = -1;
2474   tls_in.bits = 0;
2475   tls_in.cipher = NULL;
2476   tls_in.peerdn = NULL;
2477   tls_in.sni = NULL;
2478
2479   return FALSE;
2480   }
2481
2482 /* Handle genuine errors */
2483
2484 else if (error == SSL_ERROR_SSL)
2485   {
2486   ERR_error_string(ERR_get_error(), ssl_errstring);
2487   log_write(0, LOG_MAIN, "TLS error (SSL_read): %s", ssl_errstring);
2488   ssl_xfer_error = 1;
2489   return FALSE;
2490   }
2491
2492 else if (error != SSL_ERROR_NONE)
2493   {
2494   DEBUG(D_tls) debug_printf("Got SSL error %d\n", error);
2495   ssl_xfer_error = 1;
2496   return FALSE;
2497   }
2498
2499 #ifndef DISABLE_DKIM
2500 dkim_exim_verify_feed(ssl_xfer_buffer, inbytes);
2501 #endif
2502 ssl_xfer_buffer_hwm = inbytes;
2503 ssl_xfer_buffer_lwm = 0;
2504 return TRUE;
2505 }
2506
2507
2508 /*************************************************
2509 *            TLS version of getc                 *
2510 *************************************************/
2511
2512 /* This gets the next byte from the TLS input buffer. If the buffer is empty,
2513 it refills the buffer via the SSL reading function.
2514
2515 Arguments:  lim         Maximum amount to read/buffer
2516 Returns:    the next character or EOF
2517
2518 Only used by the server-side TLS.
2519 */
2520
2521 int
2522 tls_getc(unsigned lim)
2523 {
2524 if (ssl_xfer_buffer_lwm >= ssl_xfer_buffer_hwm)
2525   if (!tls_refill(lim))
2526     return ssl_xfer_error ? EOF : smtp_getc(lim);
2527
2528 /* Something in the buffer; return next uschar */
2529
2530 return ssl_xfer_buffer[ssl_xfer_buffer_lwm++];
2531 }
2532
2533 uschar *
2534 tls_getbuf(unsigned * len)
2535 {
2536 unsigned size;
2537 uschar * buf;
2538
2539 if (ssl_xfer_buffer_lwm >= ssl_xfer_buffer_hwm)
2540   if (!tls_refill(*len))
2541     {
2542     if (!ssl_xfer_error) return smtp_getbuf(len);
2543     *len = 0;
2544     return NULL;
2545     }
2546
2547 if ((size = ssl_xfer_buffer_hwm - ssl_xfer_buffer_lwm) > *len)
2548   size = *len;
2549 buf = &ssl_xfer_buffer[ssl_xfer_buffer_lwm];
2550 ssl_xfer_buffer_lwm += size;
2551 *len = size;
2552 return buf;
2553 }
2554
2555
2556 void
2557 tls_get_cache()
2558 {
2559 #ifndef DISABLE_DKIM
2560 int n = ssl_xfer_buffer_hwm - ssl_xfer_buffer_lwm;
2561 if (n > 0)
2562   dkim_exim_verify_feed(ssl_xfer_buffer+ssl_xfer_buffer_lwm, n);
2563 #endif
2564 }
2565
2566
2567 BOOL
2568 tls_could_read(void)
2569 {
2570 return ssl_xfer_buffer_lwm < ssl_xfer_buffer_hwm || SSL_pending(server_ssl) > 0;
2571 }
2572
2573
2574 /*************************************************
2575 *          Read bytes from TLS channel           *
2576 *************************************************/
2577
2578 /*
2579 Arguments:
2580   buff      buffer of data
2581   len       size of buffer
2582
2583 Returns:    the number of bytes read
2584             -1 after a failed read
2585
2586 Only used by the client-side TLS.
2587 */
2588
2589 int
2590 tls_read(BOOL is_server, uschar *buff, size_t len)
2591 {
2592 SSL *ssl = is_server ? server_ssl : client_ssl;
2593 int inbytes;
2594 int error;
2595
2596 DEBUG(D_tls) debug_printf("Calling SSL_read(%p, %p, %u)\n", ssl,
2597   buff, (unsigned int)len);
2598
2599 inbytes = SSL_read(ssl, CS buff, len);
2600 error = SSL_get_error(ssl, inbytes);
2601
2602 if (error == SSL_ERROR_ZERO_RETURN)
2603   {
2604   DEBUG(D_tls) debug_printf("Got SSL_ERROR_ZERO_RETURN\n");
2605   return -1;
2606   }
2607 else if (error != SSL_ERROR_NONE)
2608   return -1;
2609
2610 return inbytes;
2611 }
2612
2613
2614
2615
2616
2617 /*************************************************
2618 *         Write bytes down TLS channel           *
2619 *************************************************/
2620
2621 /*
2622 Arguments:
2623   is_server channel specifier
2624   buff      buffer of data
2625   len       number of bytes
2626   more      further data expected soon
2627
2628 Returns:    the number of bytes after a successful write,
2629             -1 after a failed write
2630
2631 Used by both server-side and client-side TLS.
2632 */
2633
2634 int
2635 tls_write(BOOL is_server, const uschar *buff, size_t len, BOOL more)
2636 {
2637 int outbytes, error, left;
2638 SSL *ssl = is_server ? server_ssl : client_ssl;
2639 static gstring * corked = NULL;
2640
2641 DEBUG(D_tls) debug_printf("%s(%p, %lu%s)\n", __FUNCTION__,
2642   buff, (unsigned long)len, more ? ", more" : "");
2643
2644 /* Lacking a CORK or MSG_MORE facility (such as GnuTLS has) we copy data when
2645 "more" is notified.  This hack is only ok if small amounts are involved AND only
2646 one stream does it, in one context (i.e. no store reset).  Currently it is used
2647 for the responses to the received SMTP MAIL , RCPT, DATA sequence, only. */
2648
2649 if (is_server && (more || corked))
2650   {
2651   corked = string_catn(corked, buff, len);
2652   if (more)
2653     return len;
2654   buff = CUS corked->s;
2655   len = corked->ptr;
2656   corked = NULL;
2657   }
2658
2659 for (left = len; left > 0;)
2660   {
2661   DEBUG(D_tls) debug_printf("SSL_write(SSL, %p, %d)\n", buff, left);
2662   outbytes = SSL_write(ssl, CS buff, left);
2663   error = SSL_get_error(ssl, outbytes);
2664   DEBUG(D_tls) debug_printf("outbytes=%d error=%d\n", outbytes, error);
2665   switch (error)
2666     {
2667     case SSL_ERROR_SSL:
2668       ERR_error_string(ERR_get_error(), ssl_errstring);
2669       log_write(0, LOG_MAIN, "TLS error (SSL_write): %s", ssl_errstring);
2670       return -1;
2671
2672     case SSL_ERROR_NONE:
2673       left -= outbytes;
2674       buff += outbytes;
2675       break;
2676
2677     case SSL_ERROR_ZERO_RETURN:
2678       log_write(0, LOG_MAIN, "SSL channel closed on write");
2679       return -1;
2680
2681     case SSL_ERROR_SYSCALL:
2682       log_write(0, LOG_MAIN, "SSL_write: (from %s) syscall: %s",
2683         sender_fullhost ? sender_fullhost : US"<unknown>",
2684         strerror(errno));
2685       return -1;
2686
2687     default:
2688       log_write(0, LOG_MAIN, "SSL_write error %d", error);
2689       return -1;
2690     }
2691   }
2692 return len;
2693 }
2694
2695
2696
2697 /*************************************************
2698 *         Close down a TLS session               *
2699 *************************************************/
2700
2701 /* This is also called from within a delivery subprocess forked from the
2702 daemon, to shut down the TLS library, without actually doing a shutdown (which
2703 would tamper with the SSL session in the parent process).
2704
2705 Arguments:   TRUE if SSL_shutdown is to be called
2706 Returns:     nothing
2707
2708 Used by both server-side and client-side TLS.
2709 */
2710
2711 void
2712 tls_close(BOOL is_server, BOOL shutdown)
2713 {
2714 SSL **sslp = is_server ? &server_ssl : &client_ssl;
2715 int *fdp = is_server ? &tls_in.active : &tls_out.active;
2716
2717 if (*fdp < 0) return;  /* TLS was not active */
2718
2719 if (shutdown)
2720   {
2721   DEBUG(D_tls) debug_printf("tls_close(): shutting down SSL\n");
2722   SSL_shutdown(*sslp);
2723   }
2724
2725 SSL_free(*sslp);
2726 *sslp = NULL;
2727
2728 *fdp = -1;
2729 }
2730
2731
2732
2733
2734 /*************************************************
2735 *  Let tls_require_ciphers be checked at startup *
2736 *************************************************/
2737
2738 /* The tls_require_ciphers option, if set, must be something which the
2739 library can parse.
2740
2741 Returns:     NULL on success, or error message
2742 */
2743
2744 uschar *
2745 tls_validate_require_cipher(void)
2746 {
2747 SSL_CTX *ctx;
2748 uschar *s, *expciphers, *err;
2749
2750 /* this duplicates from tls_init(), we need a better "init just global
2751 state, for no specific purpose" singleton function of our own */
2752
2753 SSL_load_error_strings();
2754 OpenSSL_add_ssl_algorithms();
2755 #if (OPENSSL_VERSION_NUMBER >= 0x0090800fL) && !defined(OPENSSL_NO_SHA256)
2756 /* SHA256 is becoming ever more popular. This makes sure it gets added to the
2757 list of available digests. */
2758 EVP_add_digest(EVP_sha256());
2759 #endif
2760
2761 if (!(tls_require_ciphers && *tls_require_ciphers))
2762   return NULL;
2763
2764 if (!expand_check(tls_require_ciphers, US"tls_require_ciphers", &expciphers,
2765                   &err))
2766   return US"failed to expand tls_require_ciphers";
2767
2768 if (!(expciphers && *expciphers))
2769   return NULL;
2770
2771 /* normalisation ripped from above */
2772 s = expciphers;
2773 while (*s != 0) { if (*s == '_') *s = '-'; s++; }
2774
2775 err = NULL;
2776
2777 ctx = SSL_CTX_new(SSLv23_server_method());
2778 if (!ctx)
2779   {
2780   ERR_error_string(ERR_get_error(), ssl_errstring);
2781   return string_sprintf("SSL_CTX_new() failed: %s", ssl_errstring);
2782   }
2783
2784 DEBUG(D_tls)
2785   debug_printf("tls_require_ciphers expands to \"%s\"\n", expciphers);
2786
2787 if (!SSL_CTX_set_cipher_list(ctx, CS expciphers))
2788   {
2789   ERR_error_string(ERR_get_error(), ssl_errstring);
2790   err = string_sprintf("SSL_CTX_set_cipher_list(%s) failed: %s",
2791                       expciphers, ssl_errstring);
2792   }
2793
2794 SSL_CTX_free(ctx);
2795
2796 return err;
2797 }
2798
2799
2800
2801
2802 /*************************************************
2803 *         Report the library versions.           *
2804 *************************************************/
2805
2806 /* There have historically been some issues with binary compatibility in
2807 OpenSSL libraries; if Exim (like many other applications) is built against
2808 one version of OpenSSL but the run-time linker picks up another version,
2809 it can result in serious failures, including crashing with a SIGSEGV.  So
2810 report the version found by the compiler and the run-time version.
2811
2812 Note: some OS vendors backport security fixes without changing the version
2813 number/string, and the version date remains unchanged.  The _build_ date
2814 will change, so we can more usefully assist with version diagnosis by also
2815 reporting the build date.
2816
2817 Arguments:   a FILE* to print the results to
2818 Returns:     nothing
2819 */
2820
2821 void
2822 tls_version_report(FILE *f)
2823 {
2824 fprintf(f, "Library version: OpenSSL: Compile: %s\n"
2825            "                          Runtime: %s\n"
2826            "                                 : %s\n",
2827            OPENSSL_VERSION_TEXT,
2828            SSLeay_version(SSLEAY_VERSION),
2829            SSLeay_version(SSLEAY_BUILT_ON));
2830 /* third line is 38 characters for the %s and the line is 73 chars long;
2831 the OpenSSL output includes a "built on: " prefix already. */
2832 }
2833
2834
2835
2836
2837 /*************************************************
2838 *            Random number generation            *
2839 *************************************************/
2840
2841 /* Pseudo-random number generation.  The result is not expected to be
2842 cryptographically strong but not so weak that someone will shoot themselves
2843 in the foot using it as a nonce in input in some email header scheme or
2844 whatever weirdness they'll twist this into.  The result should handle fork()
2845 and avoid repeating sequences.  OpenSSL handles that for us.
2846
2847 Arguments:
2848   max       range maximum
2849 Returns     a random number in range [0, max-1]
2850 */
2851
2852 int
2853 vaguely_random_number(int max)
2854 {
2855 unsigned int r;
2856 int i, needed_len;
2857 static pid_t pidlast = 0;
2858 pid_t pidnow;
2859 uschar *p;
2860 uschar smallbuf[sizeof(r)];
2861
2862 if (max <= 1)
2863   return 0;
2864
2865 pidnow = getpid();
2866 if (pidnow != pidlast)
2867   {
2868   /* Although OpenSSL documents that "OpenSSL makes sure that the PRNG state
2869   is unique for each thread", this doesn't apparently apply across processes,
2870   so our own warning from vaguely_random_number_fallback() applies here too.
2871   Fix per PostgreSQL. */
2872   if (pidlast != 0)
2873     RAND_cleanup();
2874   pidlast = pidnow;
2875   }
2876
2877 /* OpenSSL auto-seeds from /dev/random, etc, but this a double-check. */
2878 if (!RAND_status())
2879   {
2880   randstuff r;
2881   gettimeofday(&r.tv, NULL);
2882   r.p = getpid();
2883
2884   RAND_seed(US (&r), sizeof(r));
2885   }
2886 /* We're after pseudo-random, not random; if we still don't have enough data
2887 in the internal PRNG then our options are limited.  We could sleep and hope
2888 for entropy to come along (prayer technique) but if the system is so depleted
2889 in the first place then something is likely to just keep taking it.  Instead,
2890 we'll just take whatever little bit of pseudo-random we can still manage to
2891 get. */
2892
2893 needed_len = sizeof(r);
2894 /* Don't take 8 times more entropy than needed if int is 8 octets and we were
2895 asked for a number less than 10. */
2896 for (r = max, i = 0; r; ++i)
2897   r >>= 1;
2898 i = (i + 7) / 8;
2899 if (i < needed_len)
2900   needed_len = i;
2901
2902 #ifdef EXIM_HAVE_RAND_PSEUDO
2903 /* We do not care if crypto-strong */
2904 i = RAND_pseudo_bytes(smallbuf, needed_len);
2905 #else
2906 i = RAND_bytes(smallbuf, needed_len);
2907 #endif
2908
2909 if (i < 0)
2910   {
2911   DEBUG(D_all)
2912     debug_printf("OpenSSL RAND_pseudo_bytes() not supported by RAND method, using fallback.\n");
2913   return vaguely_random_number_fallback(max);
2914   }
2915
2916 r = 0;
2917 for (p = smallbuf; needed_len; --needed_len, ++p)
2918   {
2919   r *= 256;
2920   r += *p;
2921   }
2922
2923 /* We don't particularly care about weighted results; if someone wants
2924 smooth distribution and cares enough then they should submit a patch then. */
2925 return r % max;
2926 }
2927
2928
2929
2930
2931 /*************************************************
2932 *        OpenSSL option parse                    *
2933 *************************************************/
2934
2935 /* Parse one option for tls_openssl_options_parse below
2936
2937 Arguments:
2938   name    one option name
2939   value   place to store a value for it
2940 Returns   success or failure in parsing
2941 */
2942
2943 struct exim_openssl_option {
2944   uschar *name;
2945   long    value;
2946 };
2947 /* We could use a macro to expand, but we need the ifdef and not all the
2948 options document which version they were introduced in.  Policylet: include
2949 all options unless explicitly for DTLS, let the administrator choose which
2950 to apply.
2951
2952 This list is current as of:
2953   ==>  1.0.1b  <==
2954 Plus SSL_OP_SAFARI_ECDHE_ECDSA_BUG from 2013-June patch/discussion on openssl-dev
2955 */
2956 static struct exim_openssl_option exim_openssl_options[] = {
2957 /* KEEP SORTED ALPHABETICALLY! */
2958 #ifdef SSL_OP_ALL
2959   { US"all", SSL_OP_ALL },
2960 #endif
2961 #ifdef SSL_OP_ALLOW_UNSAFE_LEGACY_RENEGOTIATION
2962   { US"allow_unsafe_legacy_renegotiation", SSL_OP_ALLOW_UNSAFE_LEGACY_RENEGOTIATION },
2963 #endif
2964 #ifdef SSL_OP_CIPHER_SERVER_PREFERENCE
2965   { US"cipher_server_preference", SSL_OP_CIPHER_SERVER_PREFERENCE },
2966 #endif
2967 #ifdef SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS
2968   { US"dont_insert_empty_fragments", SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS },
2969 #endif
2970 #ifdef SSL_OP_EPHEMERAL_RSA
2971   { US"ephemeral_rsa", SSL_OP_EPHEMERAL_RSA },
2972 #endif
2973 #ifdef SSL_OP_LEGACY_SERVER_CONNECT
2974   { US"legacy_server_connect", SSL_OP_LEGACY_SERVER_CONNECT },
2975 #endif
2976 #ifdef SSL_OP_MICROSOFT_BIG_SSLV3_BUFFER
2977   { US"microsoft_big_sslv3_buffer", SSL_OP_MICROSOFT_BIG_SSLV3_BUFFER },
2978 #endif
2979 #ifdef SSL_OP_MICROSOFT_SESS_ID_BUG
2980   { US"microsoft_sess_id_bug", SSL_OP_MICROSOFT_SESS_ID_BUG },
2981 #endif
2982 #ifdef SSL_OP_MSIE_SSLV2_RSA_PADDING
2983   { US"msie_sslv2_rsa_padding", SSL_OP_MSIE_SSLV2_RSA_PADDING },
2984 #endif
2985 #ifdef SSL_OP_NETSCAPE_CHALLENGE_BUG
2986   { US"netscape_challenge_bug", SSL_OP_NETSCAPE_CHALLENGE_BUG },
2987 #endif
2988 #ifdef SSL_OP_NETSCAPE_REUSE_CIPHER_CHANGE_BUG
2989   { US"netscape_reuse_cipher_change_bug", SSL_OP_NETSCAPE_REUSE_CIPHER_CHANGE_BUG },
2990 #endif
2991 #ifdef SSL_OP_NO_COMPRESSION
2992   { US"no_compression", SSL_OP_NO_COMPRESSION },
2993 #endif
2994 #ifdef SSL_OP_NO_SESSION_RESUMPTION_ON_RENEGOTIATION
2995   { US"no_session_resumption_on_renegotiation", SSL_OP_NO_SESSION_RESUMPTION_ON_RENEGOTIATION },
2996 #endif
2997 #ifdef SSL_OP_NO_SSLv2
2998   { US"no_sslv2", SSL_OP_NO_SSLv2 },
2999 #endif
3000 #ifdef SSL_OP_NO_SSLv3
3001   { US"no_sslv3", SSL_OP_NO_SSLv3 },
3002 #endif
3003 #ifdef SSL_OP_NO_TICKET
3004   { US"no_ticket", SSL_OP_NO_TICKET },
3005 #endif
3006 #ifdef SSL_OP_NO_TLSv1
3007   { US"no_tlsv1", SSL_OP_NO_TLSv1 },
3008 #endif
3009 #ifdef SSL_OP_NO_TLSv1_1
3010 #if SSL_OP_NO_TLSv1_1 == 0x00000400L
3011   /* Error in chosen value in 1.0.1a; see first item in CHANGES for 1.0.1b */
3012 #warning OpenSSL 1.0.1a uses a bad value for SSL_OP_NO_TLSv1_1, ignoring
3013 #else
3014   { US"no_tlsv1_1", SSL_OP_NO_TLSv1_1 },
3015 #endif
3016 #endif
3017 #ifdef SSL_OP_NO_TLSv1_2
3018   { US"no_tlsv1_2", SSL_OP_NO_TLSv1_2 },
3019 #endif
3020 #ifdef SSL_OP_SAFARI_ECDHE_ECDSA_BUG
3021   { US"safari_ecdhe_ecdsa_bug", SSL_OP_SAFARI_ECDHE_ECDSA_BUG },
3022 #endif
3023 #ifdef SSL_OP_SINGLE_DH_USE
3024   { US"single_dh_use", SSL_OP_SINGLE_DH_USE },
3025 #endif
3026 #ifdef SSL_OP_SINGLE_ECDH_USE
3027   { US"single_ecdh_use", SSL_OP_SINGLE_ECDH_USE },
3028 #endif
3029 #ifdef SSL_OP_SSLEAY_080_CLIENT_DH_BUG
3030   { US"ssleay_080_client_dh_bug", SSL_OP_SSLEAY_080_CLIENT_DH_BUG },
3031 #endif
3032 #ifdef SSL_OP_SSLREF2_REUSE_CERT_TYPE_BUG
3033   { US"sslref2_reuse_cert_type_bug", SSL_OP_SSLREF2_REUSE_CERT_TYPE_BUG },
3034 #endif
3035 #ifdef SSL_OP_TLS_BLOCK_PADDING_BUG
3036   { US"tls_block_padding_bug", SSL_OP_TLS_BLOCK_PADDING_BUG },
3037 #endif
3038 #ifdef SSL_OP_TLS_D5_BUG
3039   { US"tls_d5_bug", SSL_OP_TLS_D5_BUG },
3040 #endif
3041 #ifdef SSL_OP_TLS_ROLLBACK_BUG
3042   { US"tls_rollback_bug", SSL_OP_TLS_ROLLBACK_BUG },
3043 #endif
3044 };
3045 static int exim_openssl_options_size =
3046   sizeof(exim_openssl_options)/sizeof(struct exim_openssl_option);
3047
3048
3049 static BOOL
3050 tls_openssl_one_option_parse(uschar *name, long *value)
3051 {
3052 int first = 0;
3053 int last = exim_openssl_options_size;
3054 while (last > first)
3055   {
3056   int middle = (first + last)/2;
3057   int c = Ustrcmp(name, exim_openssl_options[middle].name);
3058   if (c == 0)
3059     {
3060     *value = exim_openssl_options[middle].value;
3061     return TRUE;
3062     }
3063   else if (c > 0)
3064     first = middle + 1;
3065   else
3066     last = middle;
3067   }
3068 return FALSE;
3069 }
3070
3071
3072
3073
3074 /*************************************************
3075 *        OpenSSL option parsing logic            *
3076 *************************************************/
3077
3078 /* OpenSSL has a number of compatibility options which an administrator might
3079 reasonably wish to set.  Interpret a list similarly to decode_bits(), so that
3080 we look like log_selector.
3081
3082 Arguments:
3083   option_spec  the administrator-supplied string of options
3084   results      ptr to long storage for the options bitmap
3085 Returns        success or failure
3086 */
3087
3088 BOOL
3089 tls_openssl_options_parse(uschar *option_spec, long *results)
3090 {
3091 long result, item;
3092 uschar *s, *end;
3093 uschar keep_c;
3094 BOOL adding, item_parsed;
3095
3096 result = SSL_OP_NO_TICKET;
3097 /* Prior to 4.80 we or'd in SSL_OP_DONT_INSERT_EMPTY_FRAGMENTS; removed
3098  * from default because it increases BEAST susceptibility. */
3099 #ifdef SSL_OP_NO_SSLv2
3100 result |= SSL_OP_NO_SSLv2;
3101 #endif
3102 #ifdef SSL_OP_SINGLE_DH_USE
3103 result |= SSL_OP_SINGLE_DH_USE;
3104 #endif
3105
3106 if (!option_spec)
3107   {
3108   *results = result;
3109   return TRUE;
3110   }
3111
3112 for (s=option_spec; *s != '\0'; /**/)
3113   {
3114   while (isspace(*s)) ++s;
3115   if (*s == '\0')
3116     break;
3117   if (*s != '+' && *s != '-')
3118     {
3119     DEBUG(D_tls) debug_printf("malformed openssl option setting: "
3120         "+ or - expected but found \"%s\"\n", s);
3121     return FALSE;
3122     }
3123   adding = *s++ == '+';
3124   for (end = s; (*end != '\0') && !isspace(*end); ++end) /**/ ;
3125   keep_c = *end;
3126   *end = '\0';
3127   item_parsed = tls_openssl_one_option_parse(s, &item);
3128   *end = keep_c;
3129   if (!item_parsed)
3130     {
3131     DEBUG(D_tls) debug_printf("openssl option setting unrecognised: \"%s\"\n", s);
3132     return FALSE;
3133     }
3134   DEBUG(D_tls) debug_printf("openssl option, %s from %lx: %lx (%s)\n",
3135       adding ? "adding" : "removing", result, item, s);
3136   if (adding)
3137     result |= item;
3138   else
3139     result &= ~item;
3140   s = end;
3141   }
3142
3143 *results = result;
3144 return TRUE;
3145 }
3146
3147 /* vi: aw ai sw=2
3148 */
3149 /* End of tls-openssl.c */