Header-wrap expansion. Bug 2843
[exim.git] / src / src / tls-gnu.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) The Exim Maintainers 2020 - 2022 */
6 /* Copyright (c) University of Cambridge 1995 - 2018 */
7 /* Copyright (c) Phil Pennock 2012 */
8 /* See the file NOTICE for conditions of use and distribution. */
9 /* SPDX-License-Identifier: GPL-2.0-or-later */
10
11 /* This file provides TLS/SSL support for Exim using the GnuTLS library,
12 one of the available supported implementations.  This file is #included into
13 tls.c when USE_GNUTLS has been set.
14
15 The code herein is a revamp of GnuTLS integration using the current APIs; the
16 original tls-gnu.c was based on a patch which was contributed by Nikos
17 Mavrogiannopoulos.  The revamp is partially a rewrite, partially cut&paste as
18 appropriate.
19
20 APIs current as of GnuTLS 2.12.18; note that the GnuTLS manual is for GnuTLS 3,
21 which is not widely deployed by OS vendors.  Will note issues below, which may
22 assist in updating the code in the future.  Another sources of hints is
23 mod_gnutls for Apache (SNI callback registration and handling).
24
25 Keeping client and server variables more split than before and is currently
26 the norm, in anticipation of TLS in ACL callouts.
27
28 I wanted to switch to gnutls_certificate_set_verify_function() so that
29 certificate rejection could happen during handshake where it belongs, rather
30 than being dropped afterwards, but that was introduced in 2.10.0 and Debian
31 (6.0.5) is still on 2.8.6.  So for now we have to stick with sub-par behaviour.
32
33 (I wasn't looking for libraries quite that old, when updating to get rid of
34 compiler warnings of deprecated APIs.  If it turns out that a lot of the rest
35 require current GnuTLS, then we'll drop support for the ancient libraries).
36 */
37
38 #include <gnutls/gnutls.h>
39 /* needed for cert checks in verification and DN extraction: */
40 #include <gnutls/x509.h>
41 /* man-page is incorrect, gnutls_rnd() is not in gnutls.h: */
42 #include <gnutls/crypto.h>
43
44 /* needed to disable PKCS11 autoload unless requested */
45 #if GNUTLS_VERSION_NUMBER >= 0x020c00
46 # include <gnutls/pkcs11.h>
47 # define SUPPORT_PARAM_TO_PK_BITS
48 #endif
49 #if GNUTLS_VERSION_NUMBER < 0x030103 && !defined(DISABLE_OCSP)
50 # warning "GnuTLS library version too old; define DISABLE_OCSP in Makefile"
51 # define DISABLE_OCSP
52 #endif
53 #if GNUTLS_VERSION_NUMBER < 0x020a00 && !defined(DISABLE_EVENT)
54 # warning "GnuTLS library version too old; tls:cert event unsupported"
55 # define DISABLE_EVENT
56 #endif
57 #if GNUTLS_VERSION_NUMBER >= 0x030000
58 # define SUPPORT_SELFSIGN       /* Uncertain what version is first usable but 2.12.23 is not */
59 #endif
60 #if GNUTLS_VERSION_NUMBER >= 0x030306
61 # define SUPPORT_CA_DIR
62 #else
63 # undef  SUPPORT_CA_DIR
64 #endif
65 #if GNUTLS_VERSION_NUMBER >= 0x030014
66 # define SUPPORT_SYSDEFAULT_CABUNDLE
67 #endif
68 #if GNUTLS_VERSION_NUMBER >= 0x030104
69 # define GNUTLS_CERT_VFY_STATUS_PRINT
70 #endif
71 #if GNUTLS_VERSION_NUMBER >= 0x030109
72 # define SUPPORT_CORK
73 #endif
74 #if GNUTLS_VERSION_NUMBER >= 0x03010a
75 # define SUPPORT_GNUTLS_SESS_DESC
76 #endif
77 #if GNUTLS_VERSION_NUMBER >= 0x030300
78 # define GNUTLS_AUTO_GLOBAL_INIT
79 # define GNUTLS_AUTO_PKCS11_MANUAL
80 #endif
81 #if (GNUTLS_VERSION_NUMBER >= 0x030404) \
82   || (GNUTLS_VERSION_NUMBER >= 0x030311) && (GNUTLS_VERSION_NUMBER & 0xffff00 == 0x030300)
83 # ifndef DISABLE_OCSP
84 #  define EXIM_HAVE_OCSP
85 # endif
86 #endif
87 #if GNUTLS_VERSION_NUMBER >= 0x030500
88 # define SUPPORT_GNUTLS_KEYLOG
89 #endif
90 #if GNUTLS_VERSION_NUMBER >= 0x030506 && !defined(DISABLE_OCSP)
91 # define SUPPORT_SRV_OCSP_STACK
92 #endif
93 #if GNUTLS_VERSION_NUMBER >= 0x030603
94 # define EXIM_HAVE_TLS1_3
95 # define SUPPORT_GNUTLS_EXT_RAW_PARSE
96 # define GNUTLS_OCSP_STATUS_REQUEST_GET2
97 #endif
98
99 #ifdef SUPPORT_DANE
100 # if GNUTLS_VERSION_NUMBER >= 0x030000
101 #  define DANESSL_USAGE_DANE_TA 2
102 #  define DANESSL_USAGE_DANE_EE 3
103 # else
104 #  error GnuTLS version too early for DANE
105 # endif
106 # if GNUTLS_VERSION_NUMBER < 0x999999
107 #  define GNUTLS_BROKEN_DANE_VALIDATION
108 # endif
109 #endif
110
111 #ifndef DISABLE_TLS_RESUME
112 # if GNUTLS_VERSION_NUMBER >= 0x030603
113 #  define EXIM_HAVE_TLS_RESUME
114 # else
115 #  warning "GnuTLS library version too old; resumption unsupported"
116 # endif
117 #endif
118
119 #if GNUTLS_VERSION_NUMBER >= 0x030200
120 # ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
121 #  define EXIM_HAVE_ALPN
122 # endif
123 #endif
124
125 #if GNUTLS_VERSION_NUMBER >= 0x030702
126 # define HAVE_GNUTLS_EXPORTER
127 #endif
128
129 #ifndef DISABLE_OCSP
130 # include <gnutls/ocsp.h>
131 #endif
132 #ifdef SUPPORT_DANE
133 # include <gnutls/dane.h>
134 #endif
135
136 #include "tls-cipher-stdname.c"
137
138
139 #ifdef MACRO_PREDEF
140 void
141 options_tls(void)
142 {
143 # ifndef DISABLE_TLS_RESUME
144 builtin_macro_create_var(US"_RESUME_DECODE", RESUME_DECODE_STRING );
145 # endif
146 # ifdef EXIM_HAVE_TLS1_3
147 builtin_macro_create(US"_HAVE_TLS1_3");
148 # endif
149 # ifdef EXIM_HAVE_OCSP
150 builtin_macro_create(US"_HAVE_TLS_OCSP");
151 # endif
152 # ifdef SUPPORT_SRV_OCSP_STACK
153 builtin_macro_create(US"_HAVE_TLS_OCSP_LIST");
154 # endif
155 #if defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT)
156 builtin_macro_create(US"_HAVE_TLS_CA_CACHE");
157 # endif
158 # ifdef EXIM_HAVE_ALPN
159 builtin_macro_create(US"_HAVE_TLS_ALPN");
160 # endif
161 }
162 #else
163
164
165 /* GnuTLS 2 vs 3
166
167 GnuTLS 3 only:
168   gnutls_global_set_audit_log_function()
169
170 Changes:
171   gnutls_certificate_verify_peers2(): is new, drop the 2 for old version
172 */
173
174 /* Local static variables for GnuTLS */
175
176 /* Values for verify_requirement */
177
178 enum peer_verify_requirement
179   { VERIFY_NONE, VERIFY_OPTIONAL, VERIFY_REQUIRED, VERIFY_DANE };
180
181 /* This holds most state for server or client; with this, we can set up an
182 outbound TLS-enabled connection in an ACL callout, while not stomping all
183 over the TLS variables available for expansion.
184
185 Some of these correspond to variables in globals.c; those variables will
186 be set to point to content in one of these instances, as appropriate for
187 the stage of the process lifetime.
188
189 Not handled here: global tlsp->tls_channelbinding.
190 */
191
192 typedef struct exim_gnutls_state {
193   gnutls_session_t      session;
194
195   exim_tlslib_state     lib_state;
196 #define x509_cred               libdata0
197 #define pri_cache               libdata1
198
199   enum peer_verify_requirement verify_requirement;
200   int                   fd_in;
201   int                   fd_out;
202
203   BOOL                  peer_cert_verified:1;
204   BOOL                  peer_dane_verified:1;
205   BOOL                  trigger_sni_changes:1;
206   BOOL                  have_set_peerdn:1;
207   BOOL                  xfer_eof:1;     /*XXX never gets set! */
208   BOOL                  xfer_error:1;
209 #ifdef SUPPORT_CORK
210   BOOL                  corked:1;
211 #endif
212
213   const struct host_item *host;         /* NULL if server */
214   gnutls_x509_crt_t     peercert;
215   uschar                *peerdn;
216   uschar                *ciphersuite;
217   uschar                *received_sni;
218
219   const uschar *tls_certificate;
220   const uschar *tls_privatekey;
221   const uschar *tls_sni; /* client send only, not received */
222   const uschar *tls_verify_certificates;
223   const uschar *tls_crl;
224   const uschar *tls_require_ciphers;
225
226   uschar *exp_tls_certificate;
227   uschar *exp_tls_privatekey;
228   uschar *exp_tls_verify_certificates;
229   uschar *exp_tls_crl;
230   uschar *exp_tls_require_ciphers;
231   const uschar *exp_tls_verify_cert_hostnames;
232 #ifndef DISABLE_EVENT
233   uschar *event_action;
234 #endif
235 #ifdef SUPPORT_DANE
236   char * const *        dane_data;
237   const int *           dane_data_len;
238 #endif
239
240   tls_support *tlsp;    /* set in tls_init() */
241
242   uschar *xfer_buffer;
243   int xfer_buffer_lwm;
244   int xfer_buffer_hwm;
245 } exim_gnutls_state_st;
246
247 static const exim_gnutls_state_st exim_gnutls_state_init = {
248   /* all elements not explicitly intialised here get 0/NULL/FALSE */
249   .fd_in =              -1,
250   .fd_out =             -1,
251 };
252
253 /* Not only do we have our own APIs which don't pass around state, assuming
254 it's held in globals, GnuTLS doesn't appear to let us register callback data
255 for callbacks, or as part of the session, so we have to keep a "this is the
256 context we're currently dealing with" pointer and rely upon being
257 single-threaded to keep from processing data on an inbound TLS connection while
258 talking to another TLS connection for an outbound check.  This does mean that
259 there's no way for heart-beats to be responded to, for the duration of the
260 second connection.
261 XXX But see gnutls_session_get_ptr()
262 */
263
264 static exim_gnutls_state_st state_server = {
265   /* all elements not explicitly intialised here get 0/NULL/FALSE */
266   .fd_in =              -1,
267   .fd_out =             -1,
268 };
269
270 /* dh_params are initialised once within the lifetime of a process using TLS;
271 if we used TLS in a long-lived daemon, we'd have to reconsider this.  But we
272 don't want to repeat this. */
273
274 static gnutls_dh_params_t dh_server_params = NULL;
275
276 static int ssl_session_timeout = 7200;  /* Two hours */
277
278 static const uschar * const exim_default_gnutls_priority = US"NORMAL";
279
280 /* Guard library core initialisation */
281
282 static BOOL exim_gnutls_base_init_done = FALSE;
283
284 #ifndef DISABLE_OCSP
285 static BOOL gnutls_buggy_ocsp = FALSE;
286 static BOOL exim_testharness_disable_ocsp_validity_check = FALSE;
287 #endif
288
289 #ifdef EXIM_HAVE_ALPN
290 static int server_seen_alpn = -1;       /* count of names */
291 #endif
292 #ifdef EXIM_HAVE_TLS_RESUME
293 static gnutls_datum_t server_sessticket_key;
294 #endif
295
296
297 /* ------------------------------------------------------------------------ */
298 /* macros */
299
300 #define MAX_HOST_LEN 255
301
302 /* Set this to control gnutls_global_set_log_level(); values 0 to 9 will setup
303 the library logging; a value less than 0 disables the calls to set up logging
304 callbacks.  GNuTLS also looks for an environment variable - except not for
305 setuid binaries, making it useless - "GNUTLS_DEBUG_LEVEL".
306 Allegedly the testscript line "GNUTLS_DEBUG_LEVEL=9 sudo exim ..." would work,
307 but the env var must be added to /etc/sudoers too. */
308 #ifndef EXIM_GNUTLS_LIBRARY_LOG_LEVEL
309 # define EXIM_GNUTLS_LIBRARY_LOG_LEVEL -1
310 #endif
311
312 #ifndef EXIM_CLIENT_DH_MIN_BITS
313 # define EXIM_CLIENT_DH_MIN_BITS 1024
314 #endif
315
316 /* With GnuTLS 2.12.x+ we have gnutls_sec_param_to_pk_bits() with which we
317 can ask for a bit-strength.  Without that, we stick to the constant we had
318 before, for now. */
319 #ifndef EXIM_SERVER_DH_BITS_PRE2_12
320 # define EXIM_SERVER_DH_BITS_PRE2_12 1024
321 #endif
322
323 #define Expand_check_tlsvar(Varname, errstr) \
324   expand_check(state->Varname, US #Varname, &state->exp_##Varname, errstr)
325
326 #if GNUTLS_VERSION_NUMBER >= 0x020c00
327 # define HAVE_GNUTLS_SESSION_CHANNEL_BINDING
328 # define HAVE_GNUTLS_SEC_PARAM_CONSTANTS
329 # define HAVE_GNUTLS_RND
330 /* The security fix we provide with the gnutls_allow_auto_pkcs11 option
331  * (4.82 PP/09) introduces a compatibility regression. The symbol simply
332  * isn't available sometimes, so this needs to become a conditional
333  * compilation; the sanest way to deal with this being a problem on
334  * older OSes is to block it in the Local/Makefile with this compiler
335  * definition  */
336 # ifndef AVOID_GNUTLS_PKCS11
337 #  define HAVE_GNUTLS_PKCS11
338 # endif /* AVOID_GNUTLS_PKCS11 */
339 #endif
340
341 #if GNUTLS_VERSION_NUMBER >= 0x030404
342 # define HAVE_GNUTLS_PRF_RFC5705
343 #endif
344
345
346
347 /* ------------------------------------------------------------------------ */
348 /* Callback declarations */
349
350 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
351 static void exim_gnutls_logger_cb(int level, const char *message);
352 #endif
353
354 static int exim_sni_handling_cb(gnutls_session_t session);
355
356 #ifdef EXIM_HAVE_TLS_RESUME
357 static int
358 tls_server_ticket_cb(gnutls_session_t sess, u_int htype, unsigned when,
359   unsigned incoming, const gnutls_datum_t * msg);
360 #endif
361
362
363 /*************************************************
364 *               Handle TLS error                 *
365 *************************************************/
366
367 /* Called from lots of places when errors occur before actually starting to do
368 the TLS handshake, that is, while the session is still in clear. Always returns
369 DEFER for a server and FAIL for a client so that most calls can use "return
370 tls_error(...)" to do this processing and then give an appropriate return. A
371 single function is used for both server and client, because it is called from
372 some shared functions.
373
374 Argument:
375   prefix    text to include in the logged error
376   msg       additional error string (may be NULL)
377             usually obtained from gnutls_strerror()
378   host      NULL if setting up a server;
379             the connected host if setting up a client
380   errstr    pointer to returned error string
381
382 Returns:    DEFER/FAIL
383 */
384
385 static int
386 tls_error(const uschar *prefix, const uschar *msg, const host_item *host,
387   uschar ** errstr)
388 {
389 if (errstr)
390   *errstr = string_sprintf("(%s)%s%s", prefix, msg ? ": " : "", msg ? msg : US"");
391 return host ? FAIL : DEFER;
392 }
393
394
395 /* Returns:    DEFER/FAIL */
396 static int
397 tls_error_gnu(exim_gnutls_state_st * state, const uschar *prefix, int err,
398   uschar ** errstr)
399 {
400 return tls_error(prefix,
401   state && err == GNUTLS_E_FATAL_ALERT_RECEIVED
402   ? string_sprintf("rxd alert: %s",
403                   US gnutls_alert_get_name(gnutls_alert_get(state->session)))
404   : US gnutls_strerror(err),
405   state ? state->host : NULL,
406   errstr);
407 }
408
409 static int
410 tls_error_sys(const uschar *prefix, int err, const host_item *host,
411   uschar ** errstr)
412 {
413 return tls_error(prefix, US strerror(err), host, errstr);
414 }
415
416
417 /* ------------------------------------------------------------------------ */
418 /* Initialisation */
419
420 #ifndef DISABLE_OCSP
421
422 static BOOL
423 tls_is_buggy_ocsp(void)
424 {
425 const uschar * s;
426 uschar maj, mid, mic;
427
428 s = CUS gnutls_check_version(NULL);
429 maj = atoi(CCS s);
430 if (maj == 3)
431   {
432   while (*s && *s != '.') s++;
433   mid = atoi(CCS ++s);
434   if (mid <= 2)
435     return TRUE;
436   else if (mid >= 5)
437     return FALSE;
438   else
439     {
440     while (*s && *s != '.') s++;
441     mic = atoi(CCS ++s);
442     return mic <= (mid == 3 ? 16 : 3);
443     }
444   }
445 return FALSE;
446 }
447
448 #endif
449
450
451 static int
452 tls_g_init(uschar ** errstr)
453 {
454 int rc;
455 DEBUG(D_tls) debug_printf("GnuTLS global init required\n");
456
457 #if defined(HAVE_GNUTLS_PKCS11) && !defined(GNUTLS_AUTO_PKCS11_MANUAL)
458 /* By default, gnutls_global_init will init PKCS11 support in auto mode,
459 which loads modules from a config file, which sounds good and may be wanted
460 by some sysadmin, but also means in common configurations that GNOME keyring
461 environment variables are used and so breaks for users calling mailq.
462 To prevent this, we init PKCS11 first, which is the documented approach. */
463
464 if (!gnutls_allow_auto_pkcs11)
465   if ((rc = gnutls_pkcs11_init(GNUTLS_PKCS11_FLAG_MANUAL, NULL)))
466     return tls_error_gnu(NULL, US"gnutls_pkcs11_init", rc, errstr);
467 #endif
468
469 #ifndef GNUTLS_AUTO_GLOBAL_INIT
470 if ((rc = gnutls_global_init()))
471   return tls_error_gnu(NULL, US"gnutls_global_init", rc, errstr);
472 #endif
473
474 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
475 DEBUG(D_tls)
476   {
477   gnutls_global_set_log_function(exim_gnutls_logger_cb);
478   /* arbitrarily chosen level; bump up to 9 for more */
479   gnutls_global_set_log_level(EXIM_GNUTLS_LIBRARY_LOG_LEVEL);
480   }
481 #endif
482
483 #ifndef DISABLE_OCSP
484 if (tls_ocsp_file && (gnutls_buggy_ocsp = tls_is_buggy_ocsp()))
485   log_write(0, LOG_MAIN, "OCSP unusable with this GnuTLS library version");
486 #endif
487
488 exim_gnutls_base_init_done = TRUE;
489 return OK;
490 }
491
492
493
494 /* Daemon-call before each connection.  Nothing to do for GnuTLS. */
495
496 static void
497 tls_per_lib_daemon_tick(void)
498 {
499 }
500
501 /* Daemon one-time initialisation */
502
503 static void
504 tls_per_lib_daemon_init(void)
505 {
506 uschar * dummy_errstr;
507 static BOOL once = FALSE;
508
509 if (!exim_gnutls_base_init_done)
510   tls_g_init(&dummy_errstr);
511
512 if (!once)
513   {
514   once = TRUE;
515
516 #ifdef EXIM_HAVE_TLS_RESUME
517   /* We are dependent on the GnuTLS implementation of the Session Ticket
518   encryption; both the strength and the key rotation period.  We hope that
519   the strength at least matches that of the ciphersuite (but GnuTLS does not
520   document this). */
521
522   gnutls_session_ticket_key_generate(&server_sessticket_key);   /* >= 2.10.0 */
523   if (f.running_in_test_harness) ssl_session_timeout = 6;
524 #endif
525
526   tls_daemon_creds_reload();
527   }
528 }
529
530 /* ------------------------------------------------------------------------ */
531
532 /*************************************************
533 *    Deal with logging errors during I/O         *
534 *************************************************/
535
536 /* We have to get the identity of the peer from saved data.
537
538 Argument:
539   state    the current GnuTLS exim state container
540   rc       the GnuTLS error code, or 0 if it's a local error
541   when     text identifying read or write
542   text     local error text when rc is 0
543
544 Returns:   nothing
545 */
546
547 static void
548 record_io_error(exim_gnutls_state_st *state, int rc, uschar *when, uschar *text)
549 {
550 const uschar * msg;
551 uschar * errstr;
552
553 msg = rc == GNUTLS_E_FATAL_ALERT_RECEIVED
554   ? string_sprintf("A TLS fatal alert has been received: %s",
555       US gnutls_alert_get_name(gnutls_alert_get(state->session)))
556 #ifdef GNUTLS_E_PREMATURE_TERMINATION
557   : rc == GNUTLS_E_PREMATURE_TERMINATION && errno
558   ? string_sprintf("%s: syscall: %s", US gnutls_strerror(rc), strerror(errno))
559 #endif
560   : US gnutls_strerror(rc);
561
562 (void) tls_error(when, msg, state->host, &errstr);
563
564 if (state->host)
565   log_write(0, LOG_MAIN, "H=%s [%s] TLS error on connection %s",
566     state->host->name, state->host->address, errstr);
567 else
568   {
569   uschar * conn_info = smtp_get_connection_info();
570   if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
571   /* I'd like to get separated H= here, but too hard for now */
572   log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
573   }
574 }
575
576
577
578
579 /*************************************************
580 *        Set various Exim expansion vars         *
581 *************************************************/
582
583 #define exim_gnutls_cert_err(Label) \
584   do \
585     { \
586     if (rc != GNUTLS_E_SUCCESS) \
587       { \
588       DEBUG(D_tls) debug_printf("TLS: cert problem: %s: %s\n", \
589         (Label), gnutls_strerror(rc)); \
590       return rc; \
591       } \
592     } while (0)
593
594 static int
595 import_cert(const gnutls_datum_t * cert, gnutls_x509_crt_t * crtp)
596 {
597 int rc;
598
599 rc = gnutls_x509_crt_init(crtp);
600 exim_gnutls_cert_err(US"gnutls_x509_crt_init (crt)");
601
602 rc = gnutls_x509_crt_import(*crtp, cert, GNUTLS_X509_FMT_DER);
603 exim_gnutls_cert_err(US"failed to import certificate [gnutls_x509_crt_import(cert)]");
604
605 return rc;
606 }
607
608 #undef exim_gnutls_cert_err
609
610
611 /* We set various Exim global variables from the state, once a session has
612 been established.  With TLS callouts, may need to change this to stack
613 variables, or just re-call it with the server state after client callout
614 has finished.
615
616 Make sure anything set here is unset in tls_getc().
617
618 Sets:
619   tls_active                fd
620   tls_bits                  strength indicator
621   tls_certificate_verified  bool indicator
622   tls_channelbinding        for some SASL mechanisms
623   tls_ver                   a string
624   tls_cipher                a string
625   tls_peercert              pointer to library internal
626   tls_peerdn                a string
627   tls_sni                   a (UTF-8) string
628   tls_ourcert               pointer to library internal
629
630 Argument:
631   state      the relevant exim_gnutls_state_st *
632 */
633
634 static void
635 extract_exim_vars_from_tls_state(exim_gnutls_state_st * state)
636 {
637 tls_support * tlsp = state->tlsp;
638
639 tlsp->active.sock = state->fd_out;
640 tlsp->active.tls_ctx = state;
641
642 DEBUG(D_tls) debug_printf("cipher: %s\n", state->ciphersuite);
643
644 tlsp->certificate_verified = state->peer_cert_verified;
645 #ifdef SUPPORT_DANE
646 tlsp->dane_verified = state->peer_dane_verified;
647 #endif
648
649 /* note that tls_channelbinding is not saved to the spool file, since it's
650 only available for use for authenticators while this TLS session is running. */
651
652 tlsp->channelbinding = NULL;
653 #ifdef HAVE_GNUTLS_SESSION_CHANNEL_BINDING
654   {
655   gnutls_datum_t channel = {.data = NULL, .size = 0};
656   int rc;
657
658 # ifdef HAVE_GNUTLS_EXPORTER
659   if (gnutls_protocol_get_version(state->session) >= GNUTLS_TLS1_3)
660     {
661     rc = gnutls_session_channel_binding(state->session, GNUTLS_CB_TLS_EXPORTER, &channel);
662     tlsp->channelbind_exporter = TRUE;
663     }
664   else
665 # elif defined(HAVE_GNUTLS_PRF_RFC5705)
666   /* Older libraries may not have GNUTLS_TLS1_3 defined! */
667   if (gnutls_protocol_get_version(state->session) > GNUTLS_TLS1_2)
668     {
669     uschar * buf = store_get(32, state->host ? GET_TAINTED : GET_UNTAINTED);
670     rc = gnutls_prf_rfc5705(state->session,
671                                 (size_t)24,  "EXPORTER-Channel-Binding", (size_t)0, "",
672                                 32, CS buf);
673     channel.data = buf;
674     channel.size = 32;
675     }
676   else
677 # endif
678     rc = gnutls_session_channel_binding(state->session, GNUTLS_CB_TLS_UNIQUE, &channel);
679
680   if (rc)
681     { DEBUG(D_tls) debug_printf("extracting channel binding: %s\n", gnutls_strerror(rc)); }
682   else
683     {
684     int old_pool = store_pool;
685     /* Declare the taintedness of the binding info.  On server, untainted; on
686     client, tainted if we used the Finish msg from the server. */
687
688     store_pool = POOL_PERM;
689     tlsp->channelbinding = b64encode_taint(CUS channel.data, (int)channel.size,
690                 !tlsp->channelbind_exporter && state->host ? GET_TAINTED : GET_UNTAINTED);
691     store_pool = old_pool;
692     DEBUG(D_tls) debug_printf("Have channel bindings cached for possible auth usage\n");
693     }
694   }
695 #endif
696
697 /* peercert is set in peer_status() */
698 tlsp->peerdn = state->peerdn;
699
700 /* do not corrupt sni sent by client; record sni rxd by server */
701 if (!state->host)
702   tlsp->sni = state->received_sni;
703
704 /* record our certificate */
705   {
706   const gnutls_datum_t * cert = gnutls_certificate_get_ours(state->session);
707   gnutls_x509_crt_t crt;
708
709   tlsp->ourcert = cert && import_cert(cert, &crt)==0 ? crt : NULL;
710   }
711 }
712
713
714
715
716 /*************************************************
717 *            Setup up DH parameters              *
718 *************************************************/
719
720 /* Generating the D-H parameters may take a long time. They only need to
721 be re-generated every so often, depending on security policy. What we do is to
722 keep these parameters in a file in the spool directory. If the file does not
723 exist, we generate them. This means that it is easy to cause a regeneration.
724
725 The new file is written as a temporary file and renamed, so that an incomplete
726 file is never present. If two processes both compute some new parameters, you
727 waste a bit of effort, but it doesn't seem worth messing around with locking to
728 prevent this.
729
730 Returns:     OK/DEFER/FAIL
731 */
732
733 static int
734 init_server_dh(uschar ** errstr)
735 {
736 int fd, rc;
737 unsigned int dh_bits;
738 gnutls_datum_t m;
739 uschar filename_buf[PATH_MAX];
740 uschar *filename = NULL;
741 size_t sz;
742 uschar *exp_tls_dhparam;
743 BOOL use_file_in_spool = FALSE;
744 host_item *host = NULL; /* dummy for macros */
745
746 DEBUG(D_tls) debug_printf("Initialising GnuTLS server params\n");
747
748 if ((rc = gnutls_dh_params_init(&dh_server_params)))
749   return tls_error_gnu(NULL, US"gnutls_dh_params_init", rc, errstr);
750
751 m.data = NULL;
752 m.size = 0;
753
754 if (!expand_check(tls_dhparam, US"tls_dhparam", &exp_tls_dhparam, errstr))
755   return DEFER;
756
757 if (!exp_tls_dhparam)
758   {
759   DEBUG(D_tls) debug_printf("Loading default hard-coded DH params\n");
760   m.data = US std_dh_prime_default();
761   m.size = Ustrlen(m.data);
762   }
763 else if (Ustrcmp(exp_tls_dhparam, "historic") == 0)
764   use_file_in_spool = TRUE;
765 else if (Ustrcmp(exp_tls_dhparam, "none") == 0)
766   {
767   DEBUG(D_tls) debug_printf("Requested no DH parameters\n");
768   return OK;
769   }
770 else if (exp_tls_dhparam[0] != '/')
771   {
772   if (!(m.data = US std_dh_prime_named(exp_tls_dhparam)))
773     return tls_error(US"No standard prime named", exp_tls_dhparam, NULL, errstr);
774   m.size = Ustrlen(m.data);
775   }
776 else
777   filename = exp_tls_dhparam;
778
779 if (m.data)
780   {
781   if ((rc = gnutls_dh_params_import_pkcs3(dh_server_params, &m, GNUTLS_X509_FMT_PEM)))
782     return tls_error_gnu(NULL, US"gnutls_dh_params_import_pkcs3", rc, errstr);
783   DEBUG(D_tls) debug_printf("Loaded fixed standard D-H parameters\n");
784   return OK;
785   }
786
787 #ifdef HAVE_GNUTLS_SEC_PARAM_CONSTANTS
788 /* If you change this constant, also change dh_param_fn_ext so that we can use a
789 different filename and ensure we have sufficient bits. */
790
791 if (!(dh_bits = gnutls_sec_param_to_pk_bits(GNUTLS_PK_DH, GNUTLS_SEC_PARAM_NORMAL)))
792   return tls_error(US"gnutls_sec_param_to_pk_bits() failed", NULL, NULL, errstr);
793 DEBUG(D_tls)
794   debug_printf("GnuTLS tells us that for D-H PK, NORMAL is %d bits\n",
795       dh_bits);
796 #else
797 dh_bits = EXIM_SERVER_DH_BITS_PRE2_12;
798 DEBUG(D_tls)
799   debug_printf("GnuTLS lacks gnutls_sec_param_to_pk_bits(), using %d bits\n",
800       dh_bits);
801 #endif
802
803 /* Some clients have hard-coded limits. */
804 if (dh_bits > tls_dh_max_bits)
805   {
806   DEBUG(D_tls)
807     debug_printf("tls_dh_max_bits clamping override, using %d bits instead\n",
808         tls_dh_max_bits);
809   dh_bits = tls_dh_max_bits;
810   }
811
812 if (use_file_in_spool)
813   {
814   if (!string_format(filename_buf, sizeof(filename_buf),
815         "%s/gnutls-params-%d", spool_directory, dh_bits))
816     return tls_error(US"overlong filename", NULL, NULL, errstr);
817   filename = filename_buf;
818   }
819
820 /* Open the cache file for reading and if successful, read it and set up the
821 parameters. */
822
823 if ((fd = Uopen(filename, O_RDONLY, 0)) >= 0)
824   {
825   struct stat statbuf;
826   FILE *fp;
827   int saved_errno;
828
829   if (fstat(fd, &statbuf) < 0)  /* EIO */
830     {
831     saved_errno = errno;
832     (void)close(fd);
833     return tls_error_sys(US"TLS cache stat failed", saved_errno, NULL, errstr);
834     }
835   if (!S_ISREG(statbuf.st_mode))
836     {
837     (void)close(fd);
838     return tls_error(US"TLS cache not a file", NULL, NULL, errstr);
839     }
840   if (!(fp = fdopen(fd, "rb")))
841     {
842     saved_errno = errno;
843     (void)close(fd);
844     return tls_error_sys(US"fdopen(TLS cache stat fd) failed",
845         saved_errno, NULL, errstr);
846     }
847
848   m.size = statbuf.st_size;
849   if (!(m.data = store_malloc(m.size)))
850     {
851     fclose(fp);
852     return tls_error_sys(US"malloc failed", errno, NULL, errstr);
853     }
854   if (!(sz = fread(m.data, m.size, 1, fp)))
855     {
856     saved_errno = errno;
857     fclose(fp);
858     store_free(m.data);
859     return tls_error_sys(US"fread failed", saved_errno, NULL, errstr);
860     }
861   fclose(fp);
862
863   rc = gnutls_dh_params_import_pkcs3(dh_server_params, &m, GNUTLS_X509_FMT_PEM);
864   store_free(m.data);
865   if (rc)
866     return tls_error_gnu(NULL, US"gnutls_dh_params_import_pkcs3", rc, errstr);
867   DEBUG(D_tls) debug_printf("read D-H parameters from file \"%s\"\n", filename);
868   }
869
870 /* If the file does not exist, fall through to compute new data and cache it.
871 If there was any other opening error, it is serious. */
872
873 else if (errno == ENOENT)
874   {
875   rc = -1;
876   DEBUG(D_tls)
877     debug_printf("D-H parameter cache file \"%s\" does not exist\n", filename);
878   }
879 else
880   return tls_error(string_open_failed("\"%s\" for reading", filename),
881       NULL, NULL, errstr);
882
883 /* If ret < 0, either the cache file does not exist, or the data it contains
884 is not useful. One particular case of this is when upgrading from an older
885 release of Exim in which the data was stored in a different format. We don't
886 try to be clever and support both formats; we just regenerate new data in this
887 case. */
888
889 if (rc < 0)
890   {
891   uschar *temp_fn;
892   unsigned int dh_bits_gen = dh_bits;
893
894   if ((PATH_MAX - Ustrlen(filename)) < 10)
895     return tls_error(US"Filename too long to generate replacement",
896         filename, NULL, errstr);
897
898   temp_fn = string_copy(US"exim-dh.XXXXXXX");
899   if ((fd = mkstemp(CS temp_fn)) < 0)   /* modifies temp_fn */
900     return tls_error_sys(US"Unable to open temp file", errno, NULL, errstr);
901   (void)exim_chown(temp_fn, exim_uid, exim_gid);   /* Probably not necessary */
902
903   /* GnuTLS overshoots!
904    * If we ask for 2236, we might get 2237 or more.
905    * But there's no way to ask GnuTLS how many bits there really are.
906    * We can ask how many bits were used in a TLS session, but that's it!
907    * The prime itself is hidden behind too much abstraction.
908    * So we ask for less, and proceed on a wing and a prayer.
909    * First attempt, subtracted 3 for 2233 and got 2240.
910    */
911   if (dh_bits >= EXIM_CLIENT_DH_MIN_BITS + 10)
912     {
913     dh_bits_gen = dh_bits - 10;
914     DEBUG(D_tls)
915       debug_printf("being paranoid about DH generation, make it '%d' bits'\n",
916           dh_bits_gen);
917     }
918
919   DEBUG(D_tls)
920     debug_printf("requesting generation of %d bit Diffie-Hellman prime ...\n",
921         dh_bits_gen);
922   if ((rc = gnutls_dh_params_generate2(dh_server_params, dh_bits_gen)))
923     return tls_error_gnu(NULL, US"gnutls_dh_params_generate2", rc, errstr);
924
925   /* gnutls_dh_params_export_pkcs3() will tell us the exact size, every time,
926   and I confirmed that a NULL call to get the size first is how the GnuTLS
927   sample apps handle this. */
928
929   sz = 0;
930   m.data = NULL;
931   if (  (rc = gnutls_dh_params_export_pkcs3(dh_server_params,
932                 GNUTLS_X509_FMT_PEM, m.data, &sz))
933      && rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
934     return tls_error_gnu(NULL, US"gnutls_dh_params_export_pkcs3(NULL) sizing",
935               rc, errstr);
936   m.size = sz;
937   if (!(m.data = store_malloc(m.size)))
938     return tls_error_sys(US"memory allocation failed", errno, NULL, errstr);
939
940   /* this will return a size 1 less than the allocation size above */
941   if ((rc = gnutls_dh_params_export_pkcs3(dh_server_params, GNUTLS_X509_FMT_PEM,
942       m.data, &sz)))
943     {
944     store_free(m.data);
945     return tls_error_gnu(NULL, US"gnutls_dh_params_export_pkcs3() real", rc, errstr);
946     }
947   m.size = sz; /* shrink by 1, probably */
948
949   if ((sz = write_to_fd_buf(fd, m.data, (size_t) m.size)) != m.size)
950     {
951     store_free(m.data);
952     return tls_error_sys(US"TLS cache write D-H params failed",
953         errno, NULL, errstr);
954     }
955   store_free(m.data);
956   if ((sz = write_to_fd_buf(fd, US"\n", 1)) != 1)
957     return tls_error_sys(US"TLS cache write D-H params final newline failed",
958         errno, NULL, errstr);
959
960   if ((rc = close(fd)))
961     return tls_error_sys(US"TLS cache write close() failed", errno, NULL, errstr);
962
963   if (Urename(temp_fn, filename) < 0)
964     return tls_error_sys(string_sprintf("failed to rename \"%s\" as \"%s\"",
965           temp_fn, filename), errno, NULL, errstr);
966
967   DEBUG(D_tls) debug_printf("wrote D-H parameters to file \"%s\"\n", filename);
968   }
969
970 DEBUG(D_tls) debug_printf("initialized server D-H parameters\n");
971 return OK;
972 }
973
974
975
976
977 /* Create and install a selfsigned certificate, for use in server mode. */
978
979 static int
980 tls_install_selfsign(exim_gnutls_state_st * state, uschar ** errstr)
981 {
982 gnutls_x509_crt_t cert = NULL;
983 time_t now;
984 gnutls_x509_privkey_t pkey = NULL;
985 const uschar * where;
986 int rc;
987
988 #ifndef SUPPORT_SELFSIGN
989 where = US"library too old";
990 rc = GNUTLS_E_NO_CERTIFICATE_FOUND;
991 if (TRUE) goto err;
992 #endif
993
994 DEBUG(D_tls) debug_printf("TLS: generating selfsigned server cert\n");
995 where = US"initialising pkey";
996 if ((rc = gnutls_x509_privkey_init(&pkey))) goto err;
997
998 where = US"initialising cert";
999 if ((rc = gnutls_x509_crt_init(&cert))) goto err;
1000
1001 where = US"generating pkey";    /* Hangs on 2.12.23 */
1002 if ((rc = gnutls_x509_privkey_generate(pkey, GNUTLS_PK_RSA,
1003 #ifdef SUPPORT_PARAM_TO_PK_BITS
1004 # ifndef GNUTLS_SEC_PARAM_MEDIUM
1005 #  define GNUTLS_SEC_PARAM_MEDIUM GNUTLS_SEC_PARAM_HIGH
1006 # endif
1007             gnutls_sec_param_to_pk_bits(GNUTLS_PK_RSA, GNUTLS_SEC_PARAM_MEDIUM),
1008 #else
1009             2048,
1010 #endif
1011             0)))
1012   goto err;
1013
1014 where = US"configuring cert";
1015 now = 1;
1016 if (  (rc = gnutls_x509_crt_set_version(cert, 3))
1017    || (rc = gnutls_x509_crt_set_serial(cert, &now, sizeof(now)))
1018    || (rc = gnutls_x509_crt_set_activation_time(cert, now = time(NULL)))
1019    || (rc = gnutls_x509_crt_set_expiration_time(cert, (long)2 * 60 * 60))       /* 2 hour */
1020    || (rc = gnutls_x509_crt_set_key(cert, pkey))
1021
1022    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
1023               GNUTLS_OID_X520_COUNTRY_NAME, 0, "UK", 2))
1024    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
1025               GNUTLS_OID_X520_ORGANIZATION_NAME, 0, "Exim Developers", 15))
1026    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
1027               GNUTLS_OID_X520_COMMON_NAME, 0,
1028               smtp_active_hostname, Ustrlen(smtp_active_hostname)))
1029    )
1030   goto err;
1031
1032 where = US"signing cert";
1033 if ((rc = gnutls_x509_crt_sign(cert, cert, pkey))) goto err;
1034
1035 where = US"installing selfsign cert";
1036                                         /* Since: 2.4.0 */
1037 if ((rc = gnutls_certificate_set_x509_key(state->lib_state.x509_cred,
1038     &cert, 1, pkey)))
1039   goto err;
1040
1041 rc = OK;
1042
1043 out:
1044   if (cert) gnutls_x509_crt_deinit(cert);
1045   if (pkey) gnutls_x509_privkey_deinit(pkey);
1046   return rc;
1047
1048 err:
1049   rc = tls_error_gnu(state, where, rc, errstr);
1050   goto out;
1051 }
1052
1053
1054
1055
1056 /* Add certificate and key, from files.
1057
1058 Return:
1059   Zero or negative: good.  Negate value for certificate index if < 0.
1060   Greater than zero: FAIL or DEFER code.
1061 */
1062
1063 static int
1064 tls_add_certfile(exim_gnutls_state_st * state, const host_item * host,
1065   const uschar * certfile, const uschar * keyfile, uschar ** errstr)
1066 {
1067 int rc = gnutls_certificate_set_x509_key_file(state->lib_state.x509_cred,
1068     CCS certfile, CCS keyfile, GNUTLS_X509_FMT_PEM);
1069 if (rc < 0)
1070   return tls_error_gnu(state,
1071     string_sprintf("cert/key setup: cert=%s key=%s", certfile, keyfile),
1072     rc, errstr);
1073 return -rc;
1074 }
1075
1076
1077 #if !defined(DISABLE_OCSP) && !defined(SUPPORT_GNUTLS_EXT_RAW_PARSE)
1078 /* Load an OCSP proof from file for sending by the server.  Called
1079 on getting a status-request handshake message, for earlier versions
1080 of GnuTLS. */
1081
1082 static int
1083 server_ocsp_stapling_cb(gnutls_session_t session, void * ptr,
1084   gnutls_datum_t * ocsp_response)
1085 {
1086 int ret;
1087 DEBUG(D_tls) debug_printf("OCSP stapling callback: %s\n", US ptr);
1088
1089 if ((ret = gnutls_load_file(ptr, ocsp_response)) < 0)
1090   {
1091   DEBUG(D_tls) debug_printf("Failed to load ocsp stapling file %s\n",
1092                               CS ptr);
1093   tls_in.ocsp = OCSP_NOT_RESP;
1094   return GNUTLS_E_NO_CERTIFICATE_STATUS;
1095   }
1096
1097 tls_in.ocsp = OCSP_VFY_NOT_TRIED;
1098 return 0;
1099 }
1100 #endif
1101
1102
1103 #ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
1104 /* Make a note that we saw a status-request */
1105 static int
1106 tls_server_clienthello_ext(void * ctx, unsigned tls_id,
1107   const uschar * data, unsigned size)
1108 {
1109 /* The values for tls_id are documented here:
1110 https://www.iana.org/assignments/tls-extensiontype-values/tls-extensiontype-values.xhtml */
1111 switch (tls_id)
1112   {
1113   case 5:       /* Status Request */
1114     DEBUG(D_tls) debug_printf("Seen status_request extension from client\n");
1115     tls_in.ocsp = OCSP_NOT_RESP;
1116     break;
1117 #ifdef EXIM_HAVE_ALPN
1118   case 16:      /* Application Layer Protocol Notification */
1119     /* The format of "data" here doesn't seem to be documented, but appears
1120     to be a 2-byte field with a (redundant, given the "size" arg) total length
1121     then a sequence of one-byte size then string (not nul-term) names.  The
1122     latter is as described in OpenSSL documentation.
1123     Note that we do not get called for a match_fail, making it hard to log
1124     a single bad ALPN being offered (the common case). */
1125     {
1126     gstring * g = NULL;
1127
1128     DEBUG(D_tls) debug_printf("Seen ALPN extension from client (s=%u):", size);
1129     for (const uschar * s = data+2; s-data < size-1; s += *s + 1)
1130       {
1131       server_seen_alpn++;
1132       g = string_append_listele_n(g, ':', s+1, *s);
1133       DEBUG(D_tls) debug_printf(" '%.*s'", (int)*s, s+1);
1134       }
1135     DEBUG(D_tls) debug_printf("\n");
1136     if (server_seen_alpn > 1)
1137       {
1138       log_write(0, LOG_MAIN, "TLS ALPN (%s) rejected", string_from_gstring(g));
1139       DEBUG(D_tls) debug_printf("TLS: too many ALPNs presented in handshake\n");
1140       return GNUTLS_E_NO_APPLICATION_PROTOCOL;
1141       }
1142     break;
1143     }
1144 #endif
1145   }
1146 return 0;
1147 }
1148
1149 /* Callback for client-hello, on server, if we think we might serve stapled-OCSP */
1150 static int
1151 tls_server_clienthello_cb(gnutls_session_t session, unsigned int htype,
1152   unsigned when, unsigned int incoming, const gnutls_datum_t * msg)
1153 {
1154 /* Call fn for each extension seen.  3.6.3 onwards */
1155 int rc = gnutls_ext_raw_parse(NULL, tls_server_clienthello_ext, msg,
1156                            GNUTLS_EXT_RAW_FLAG_TLS_CLIENT_HELLO);
1157 return rc == GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE ? 0 : rc;
1158 }
1159
1160
1161 # ifdef notdef_crashes
1162 /* Make a note that we saw a status-response */
1163 static int
1164 tls_server_servercerts_ext(void * ctx, unsigned tls_id,
1165   const unsigned char *data, unsigned size)
1166 {
1167 /* debug_printf("%s %u\n", __FUNCTION__, tls_id); */
1168 /* https://www.iana.org/assignments/tls-extensiontype-values/tls-extensiontype-values.xhtml */
1169 if (FALSE && tls_id == 5)       /* status_request */
1170   {
1171   DEBUG(D_tls) debug_printf("Seen status_request extension\n");
1172   tls_in.ocsp = exim_testharness_disable_ocsp_validity_check
1173     ? OCSP_VFY_NOT_TRIED : OCSP_VFIED;  /* We know that GnuTLS verifies responses */
1174   }
1175 return 0;
1176 }
1177 # endif
1178
1179 /* Callback for certificates packet, on server, if we think we might serve stapled-OCSP */
1180 static int
1181 tls_server_servercerts_cb(gnutls_session_t session, unsigned int htype,
1182   unsigned when, unsigned int incoming, const gnutls_datum_t * msg)
1183 {
1184 /* Call fn for each extension seen.  3.6.3 onwards */
1185 # ifdef notdef_crashes
1186                                 /*XXX crashes */
1187 return gnutls_ext_raw_parse(NULL, tls_server_servercerts_ext, msg, 0);
1188 # endif
1189 }
1190 #endif /*SUPPORT_GNUTLS_EXT_RAW_PARSE*/
1191
1192 /*XXX in tls1.3 the cert-status travel as an extension next to the cert, in the
1193  "Handshake Protocol: Certificate" record.
1194 So we need to spot the Certificate handshake message, parse it and spot any status_request extension(s)
1195
1196 This is different to tls1.2 - where it is a separate record (wireshark term) / handshake message (gnutls term).
1197 */
1198
1199 #if defined(EXIM_HAVE_TLS_RESUME) || defined(SUPPORT_GNUTLS_EXT_RAW_PARSE)
1200 /* Callback for certificate-status, on server. We sent stapled OCSP. */
1201 static int
1202 tls_server_certstatus_cb(gnutls_session_t session, unsigned int htype,
1203   unsigned when, unsigned int incoming, const gnutls_datum_t * msg)
1204 {
1205 DEBUG(D_tls) debug_printf("Sending certificate-status\n");              /*XXX we get this for tls1.2 but not for 1.3 */
1206 # ifdef SUPPORT_SRV_OCSP_STACK
1207 tls_in.ocsp = exim_testharness_disable_ocsp_validity_check
1208   ? OCSP_VFY_NOT_TRIED : OCSP_VFIED;    /* We know that GnuTLS verifies responses */
1209 # else
1210 tls_in.ocsp = OCSP_VFY_NOT_TRIED;
1211 # endif
1212 return 0;
1213 }
1214
1215 /* Callback for handshake messages, on server */
1216 static int
1217 tls_server_hook_cb(gnutls_session_t sess, u_int htype, unsigned when,
1218   unsigned incoming, const gnutls_datum_t * msg)
1219 {
1220 /* debug_printf("%s: htype %u\n", __FUNCTION__, htype); */
1221 switch (htype)
1222   {
1223 # ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
1224   case GNUTLS_HANDSHAKE_CLIENT_HELLO:
1225     return tls_server_clienthello_cb(sess, htype, when, incoming, msg);
1226   case GNUTLS_HANDSHAKE_CERTIFICATE_PKT:
1227     return tls_server_servercerts_cb(sess, htype, when, incoming, msg);
1228 # endif
1229   case GNUTLS_HANDSHAKE_CERTIFICATE_STATUS:
1230     return tls_server_certstatus_cb(sess, htype, when, incoming, msg);
1231 # ifdef EXIM_HAVE_TLS_RESUME
1232   case GNUTLS_HANDSHAKE_NEW_SESSION_TICKET:
1233     return tls_server_ticket_cb(sess, htype, when, incoming, msg);
1234 # endif
1235   default:
1236     return 0;
1237   }
1238 }
1239 #endif
1240
1241
1242 #if !defined(DISABLE_OCSP) && defined(SUPPORT_GNUTLS_EXT_RAW_PARSE)
1243 static void
1244 tls_server_testharness_ocsp_fiddle(void)
1245 {
1246 extern char ** environ;
1247 if (environ) for (uschar ** p = USS environ; *p; p++)
1248   if (Ustrncmp(*p, "EXIM_TESTHARNESS_DISABLE_OCSPVALIDITYCHECK", 42) == 0)
1249     {
1250     DEBUG(D_tls) debug_printf("Permitting known bad OCSP response\n");
1251     exim_testharness_disable_ocsp_validity_check = TRUE;
1252     }
1253 }
1254 #endif
1255
1256 /**************************************************
1257 * One-time init credentials for server and client *
1258 **************************************************/
1259
1260 static void
1261 creds_basic_init(gnutls_certificate_credentials_t x509_cred, BOOL server)
1262 {
1263 #ifdef SUPPORT_SRV_OCSP_STACK
1264 gnutls_certificate_set_flags(x509_cred, GNUTLS_CERTIFICATE_API_V2);
1265
1266 # if !defined(DISABLE_OCSP) && defined(SUPPORT_GNUTLS_EXT_RAW_PARSE)
1267 if (server && tls_ocsp_file)
1268   {
1269   if (f.running_in_test_harness)
1270     tls_server_testharness_ocsp_fiddle();
1271
1272   if (exim_testharness_disable_ocsp_validity_check)
1273     gnutls_certificate_set_flags(x509_cred,
1274       GNUTLS_CERTIFICATE_API_V2 | GNUTLS_CERTIFICATE_SKIP_OCSP_RESPONSE_CHECK);
1275   }
1276 # endif
1277 #endif
1278 DEBUG(D_tls)
1279   debug_printf("TLS: basic cred init, %s\n", server ? "server" : "client");
1280 }
1281
1282 /* Returns OK/DEFER/FAIL */
1283 static int
1284 creds_load_server_certs(exim_gnutls_state_st * state, const uschar * cert,
1285   const uschar * pkey, const uschar * ocsp, uschar ** errstr)
1286 {
1287 const uschar * clist = cert;
1288 const uschar * klist = pkey;
1289 const uschar * olist;
1290 int csep = 0, ksep = 0, osep = 0, cnt = 0, rc;
1291 uschar * cfile, * kfile, * ofile;
1292 #ifndef DISABLE_OCSP
1293 # ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
1294 gnutls_x509_crt_fmt_t ocsp_fmt = GNUTLS_X509_FMT_DER;
1295 # endif
1296
1297 if (!expand_check(ocsp, US"tls_ocsp_file", &ofile, errstr))
1298   return DEFER;
1299 olist = ofile;
1300 #endif
1301
1302 while (cfile = string_nextinlist(&clist, &csep, NULL, 0))
1303
1304   if (!(kfile = string_nextinlist(&klist, &ksep, NULL, 0)))
1305     return tls_error(US"cert/key setup: out of keys", NULL, NULL, errstr);
1306   else if ((rc = tls_add_certfile(state, NULL, cfile, kfile, errstr)) > OK)
1307     return rc;
1308   else
1309     {
1310     int gnutls_cert_index = -rc;
1311     DEBUG(D_tls) debug_printf("TLS: cert/key %d %s registered\n",
1312                               gnutls_cert_index, cfile);
1313
1314 #ifndef DISABLE_OCSP
1315     if (ocsp)
1316       {
1317       /* Set the OCSP stapling server info */
1318       if (gnutls_buggy_ocsp)
1319         {
1320         DEBUG(D_tls)
1321           debug_printf("GnuTLS library is buggy for OCSP; avoiding\n");
1322         }
1323       else if ((ofile = string_nextinlist(&olist, &osep, NULL, 0)))
1324         {
1325         DEBUG(D_tls) debug_printf("OCSP response file %d  = %s\n",
1326                                   gnutls_cert_index, ofile);
1327 # ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
1328         if (Ustrncmp(ofile, US"PEM ", 4) == 0)
1329           {
1330           ocsp_fmt = GNUTLS_X509_FMT_PEM;
1331           ofile += 4;
1332           }
1333         else if (Ustrncmp(ofile, US"DER ", 4) == 0)
1334           {
1335           ocsp_fmt = GNUTLS_X509_FMT_DER;
1336           ofile += 4;
1337           }
1338
1339         if  ((rc = gnutls_certificate_set_ocsp_status_request_file2(
1340                   state->lib_state.x509_cred, CCS ofile, gnutls_cert_index,
1341                   ocsp_fmt)) < 0)
1342           return tls_error_gnu(state,
1343                   US"gnutls_certificate_set_ocsp_status_request_file2",
1344                   rc, errstr);
1345         DEBUG(D_tls)
1346           debug_printf(" %d response%s loaded\n", rc, rc>1 ? "s":"");
1347
1348         /* Arrange callbacks for OCSP request observability */
1349
1350         if (state->session)
1351           gnutls_handshake_set_hook_function(state->session,
1352             GNUTLS_HANDSHAKE_ANY, GNUTLS_HOOK_POST, tls_server_hook_cb);
1353         else
1354           state->lib_state.ocsp_hook = TRUE;
1355
1356
1357 # else
1358 #  if defined(SUPPORT_SRV_OCSP_STACK)
1359         if ((rc = gnutls_certificate_set_ocsp_status_request_function2(
1360                      state->lib_state.x509_cred, gnutls_cert_index,
1361                      server_ocsp_stapling_cb, ofile)))
1362             return tls_error_gnu(state,
1363                   US"gnutls_certificate_set_ocsp_status_request_function2",
1364                   rc, errstr);
1365         else
1366 #  endif
1367           {
1368           if (cnt++ > 0)
1369             {
1370             DEBUG(D_tls)
1371               debug_printf("oops; multiple OCSP files not supported\n");
1372             break;
1373             }
1374           gnutls_certificate_set_ocsp_status_request_function(
1375             state->lib_state.x509_cred, server_ocsp_stapling_cb, ofile);
1376           }
1377 # endif /* SUPPORT_GNUTLS_EXT_RAW_PARSE */
1378         }
1379       else
1380         DEBUG(D_tls) debug_printf("ran out of OCSP response files in list\n");
1381       }
1382 #endif /* DISABLE_OCSP */
1383     }
1384 return OK;
1385 }
1386
1387 static int
1388 creds_load_client_certs(exim_gnutls_state_st * state, const host_item * host,
1389   const uschar * cert, const uschar * pkey, uschar ** errstr)
1390 {
1391 int rc = tls_add_certfile(state, host, cert, pkey, errstr);
1392 if (rc > 0) return rc;
1393 DEBUG(D_tls) debug_printf("TLS: cert/key registered\n");
1394 return OK;
1395 }
1396
1397 static int
1398 creds_load_cabundle(exim_gnutls_state_st * state, const uschar * bundle,
1399   const host_item * host, uschar ** errstr)
1400 {
1401 int cert_count;
1402 struct stat statbuf;
1403
1404 #ifdef SUPPORT_SYSDEFAULT_CABUNDLE
1405 if (Ustrcmp(bundle, "system") == 0 || Ustrncmp(bundle, "system,", 7) == 0)
1406   cert_count = gnutls_certificate_set_x509_system_trust(state->lib_state.x509_cred);
1407 else
1408 #endif
1409   {
1410   if (Ustat(bundle, &statbuf) < 0)
1411     {
1412     log_write(0, LOG_MAIN|LOG_PANIC, "could not stat '%s' "
1413         "(tls_verify_certificates): %s", bundle, strerror(errno));
1414     return DEFER;
1415     }
1416
1417 #ifndef SUPPORT_CA_DIR
1418   /* The test suite passes in /dev/null; we could check for that path explicitly,
1419   but who knows if someone has some weird FIFO which always dumps some certs, or
1420   other weirdness.  The thing we really want to check is that it's not a
1421   directory, since while OpenSSL supports that, GnuTLS does not.
1422   So s/!S_ISREG/S_ISDIR/ and change some messaging ... */
1423   if (S_ISDIR(statbuf.st_mode))
1424     {
1425     log_write(0, LOG_MAIN|LOG_PANIC,
1426         "tls_verify_certificates \"%s\" is a directory", bundle);
1427     return DEFER;
1428     }
1429 #endif
1430
1431   DEBUG(D_tls) debug_printf("verify certificates = %s size=" OFF_T_FMT "\n",
1432           bundle, statbuf.st_size);
1433
1434   if (statbuf.st_size == 0)
1435     {
1436     DEBUG(D_tls)
1437       debug_printf("cert file empty, no certs, no verification, ignoring any CRL\n");
1438     return OK;
1439     }
1440
1441   cert_count =
1442
1443 #ifdef SUPPORT_CA_DIR
1444     (statbuf.st_mode & S_IFMT) == S_IFDIR
1445     ?
1446     gnutls_certificate_set_x509_trust_dir(state->lib_state.x509_cred,
1447       CS bundle, GNUTLS_X509_FMT_PEM)
1448     :
1449 #endif
1450     gnutls_certificate_set_x509_trust_file(state->lib_state.x509_cred,
1451       CS bundle, GNUTLS_X509_FMT_PEM);
1452
1453 #ifdef SUPPORT_CA_DIR
1454   /* Mimic the behaviour with OpenSSL of not advertising a usable-cert list
1455   when using the directory-of-certs config model. */
1456
1457   if ((statbuf.st_mode & S_IFMT) == S_IFDIR)
1458     if (state->session)
1459       gnutls_certificate_send_x509_rdn_sequence(state->session, 1);
1460     else
1461       state->lib_state.ca_rdn_emulate = TRUE;
1462 #endif
1463   }
1464
1465 if (cert_count < 0)
1466   return tls_error_gnu(state, US"setting certificate trust", cert_count, errstr);
1467 DEBUG(D_tls)
1468   debug_printf("Added %d certificate authorities\n", cert_count);
1469
1470 return OK;
1471 }
1472
1473
1474 static int
1475 creds_load_crl(exim_gnutls_state_st * state, const uschar * crl, uschar ** errstr)
1476 {
1477 int cert_count;
1478 DEBUG(D_tls) debug_printf("loading CRL file = %s\n", crl);
1479 if ((cert_count = gnutls_certificate_set_x509_crl_file(state->lib_state.x509_cred,
1480     CS crl, GNUTLS_X509_FMT_PEM)) < 0)
1481   return tls_error_gnu(state, US"gnutls_certificate_set_x509_crl_file",
1482             cert_count, errstr);
1483
1484 DEBUG(D_tls) debug_printf("Processed %d CRLs\n", cert_count);
1485 return OK;
1486 }
1487
1488
1489 static int
1490 creds_load_pristring(exim_gnutls_state_st * state, const uschar * p,
1491   const char ** errpos)
1492 {
1493 if (!p)
1494   {
1495   p = exim_default_gnutls_priority;
1496   DEBUG(D_tls)
1497     debug_printf("GnuTLS using default session cipher/priority \"%s\"\n", p);
1498   }
1499 return gnutls_priority_init( (gnutls_priority_t *) &state->lib_state.pri_cache,
1500   CCS p, errpos);
1501 }
1502
1503 static unsigned
1504 tls_server_creds_init(void)
1505 {
1506 uschar * dummy_errstr;
1507 unsigned lifetime = 0;
1508
1509 state_server.lib_state = null_tls_preload;
1510 if (gnutls_certificate_allocate_credentials(
1511       (gnutls_certificate_credentials_t *) &state_server.lib_state.x509_cred))
1512   {
1513   state_server.lib_state.x509_cred = NULL;
1514   return lifetime;
1515   }
1516 creds_basic_init(state_server.lib_state.x509_cred, TRUE);
1517
1518 #if defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT)
1519 /* If tls_certificate has any $ indicating expansions, it is not good.
1520 If tls_privatekey is set but has $, not good.  Likewise for tls_ocsp_file.
1521 If all good (and tls_certificate set), load the cert(s). */
1522
1523 if (  opt_set_and_noexpand(tls_certificate)
1524 # ifndef DISABLE_OCSP
1525    && opt_unset_or_noexpand(tls_ocsp_file)
1526 # endif
1527    && opt_unset_or_noexpand(tls_privatekey))
1528   {
1529   /* Set watches on the filenames.  The implementation does de-duplication
1530   so we can just blindly do them all.
1531   */
1532
1533   if (  tls_set_watch(tls_certificate, TRUE)
1534 # ifndef DISABLE_OCSP
1535      && tls_set_watch(tls_ocsp_file, TRUE)
1536 # endif
1537      && tls_set_watch(tls_privatekey, TRUE))
1538     {
1539     DEBUG(D_tls) debug_printf("TLS: preloading server certs\n");
1540     if (creds_load_server_certs(&state_server, tls_certificate,
1541           tls_privatekey && *tls_privatekey ? tls_privatekey : tls_certificate,
1542 # ifdef DISABLE_OCSP
1543           NULL,
1544 # else
1545           tls_ocsp_file,
1546 # endif
1547           &dummy_errstr) == 0)
1548       state_server.lib_state.conn_certs = TRUE;
1549     }
1550   }
1551 else if (  !tls_certificate && !tls_privatekey
1552 # ifndef DISABLE_OCSP
1553         && !tls_ocsp_file
1554 # endif
1555         )
1556   {             /* Generate & preload a selfsigned cert. No files to watch. */
1557   if ((tls_install_selfsign(&state_server, &dummy_errstr)) == OK)
1558     {
1559     state_server.lib_state.conn_certs = TRUE;
1560     lifetime = f.running_in_test_harness ? 2 : 60 * 60;         /* 1 hour */
1561     }
1562   }
1563 else
1564   DEBUG(D_tls) debug_printf("TLS: not preloading server certs\n");
1565
1566 /* If tls_verify_certificates is non-empty and has no $, load CAs.
1567 If none was configured and we can't handle "system", treat as empty. */
1568
1569 if (  opt_set_and_noexpand(tls_verify_certificates)
1570 #ifndef SUPPORT_SYSDEFAULT_CABUNDLE
1571    && Ustrcmp(tls_verify_certificates, "system") != 0
1572 #endif
1573    )
1574   {
1575   if (tls_set_watch(tls_verify_certificates, FALSE))
1576     {
1577     DEBUG(D_tls) debug_printf("TLS: preloading CA bundle for server\n");
1578     if (creds_load_cabundle(&state_server, tls_verify_certificates,
1579                             NULL, &dummy_errstr) != OK)
1580       return lifetime;
1581     state_server.lib_state.cabundle = TRUE;
1582
1583     /* If CAs loaded and tls_crl is non-empty and has no $, load it */
1584
1585     if (opt_set_and_noexpand(tls_crl))
1586       {
1587       if (tls_set_watch(tls_crl, FALSE))
1588         {
1589         DEBUG(D_tls) debug_printf("TLS: preloading CRL for server\n");
1590         if (creds_load_crl(&state_server, tls_crl, &dummy_errstr) != OK)
1591           return lifetime;
1592         state_server.lib_state.crl = TRUE;
1593         }
1594       }
1595     else
1596       DEBUG(D_tls) debug_printf("TLS: not preloading CRL for server\n");
1597     }
1598   }
1599 else
1600   DEBUG(D_tls) debug_printf("TLS: not preloading CA bundle for server\n");
1601 #endif  /* EXIM_HAVE_INOTIFY */
1602
1603 /* If tls_require_ciphers is non-empty and has no $, load the
1604 ciphers priority cache.  If unset, load with the default.
1605 (server-only as the client one depends on non/DANE) */
1606
1607 if (!tls_require_ciphers || opt_set_and_noexpand(tls_require_ciphers))
1608   {
1609   const char * dummy_errpos;
1610   DEBUG(D_tls) debug_printf("TLS: preloading cipher list for server: %s\n",
1611                   tls_require_ciphers);
1612   if (  creds_load_pristring(&state_server, tls_require_ciphers, &dummy_errpos)
1613      == OK)
1614     state_server.lib_state.pri_string = TRUE;
1615   }
1616 else
1617   DEBUG(D_tls) debug_printf("TLS: not preloading cipher list for server\n");
1618 return lifetime;
1619 }
1620
1621
1622 /* Preload whatever creds are static, onto a transport.  The client can then
1623 just copy the pointer as it starts up. */
1624
1625 /*XXX this is not called for a cmdline send. But one needing to use >1 conn would benefit,
1626 and there seems little downside. */
1627
1628 static void
1629 tls_client_creds_init(transport_instance * t, BOOL watch)
1630 {
1631 smtp_transport_options_block * ob = t->options_block;
1632 exim_gnutls_state_st tpt_dummy_state;
1633 host_item * dummy_host = (host_item *)1;
1634 uschar * dummy_errstr;
1635
1636 if (  !exim_gnutls_base_init_done
1637    && tls_g_init(&dummy_errstr) != OK)
1638   return;
1639
1640 ob->tls_preload = null_tls_preload;
1641 if (gnutls_certificate_allocate_credentials(
1642   (struct gnutls_certificate_credentials_st **)&ob->tls_preload.x509_cred))
1643   {
1644   ob->tls_preload.x509_cred = NULL;
1645   return;
1646   }
1647 creds_basic_init(ob->tls_preload.x509_cred, FALSE);
1648
1649 tpt_dummy_state.session = NULL;
1650 tpt_dummy_state.lib_state = ob->tls_preload;
1651
1652 #if defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT)
1653 if (  opt_set_and_noexpand(ob->tls_certificate)
1654    && opt_unset_or_noexpand(ob->tls_privatekey))
1655   {
1656   if (  !watch
1657      || (  tls_set_watch(ob->tls_certificate, FALSE)
1658         && tls_set_watch(ob->tls_privatekey, FALSE)
1659      )  )
1660     {
1661     const uschar * pkey = ob->tls_privatekey;
1662
1663     DEBUG(D_tls)
1664       debug_printf("TLS: preloading client certs for transport '%s'\n", t->name);
1665
1666     /* The state->lib_state.x509_cred is used for the certs load, and is the sole
1667     structure element used.  So we can set up a dummy.  The hoat arg only
1668     selects a retcode in case of fail, so any value */
1669
1670     if (creds_load_client_certs(&tpt_dummy_state, dummy_host,
1671           ob->tls_certificate, pkey ? pkey : ob->tls_certificate,
1672           &dummy_errstr) == OK)
1673       ob->tls_preload.conn_certs = TRUE;
1674     }
1675   }
1676 else
1677   DEBUG(D_tls)
1678     debug_printf("TLS: not preloading client certs, for transport '%s'\n", t->name);
1679
1680 /* If tls_verify_certificates is non-empty and has no $, load CAs.
1681 If none was configured and we can't handle "system", treat as empty. */
1682
1683 if (  opt_set_and_noexpand(ob->tls_verify_certificates)
1684 #ifndef SUPPORT_SYSDEFAULT_CABUNDLE
1685    && Ustrcmp(ob->tls_verify_certificates, "system") != 0
1686 #endif
1687    )
1688   {
1689   if (!watch || tls_set_watch(ob->tls_verify_certificates, FALSE))
1690     {
1691     DEBUG(D_tls)
1692       debug_printf("TLS: preloading CA bundle for transport '%s'\n", t->name);
1693     if (creds_load_cabundle(&tpt_dummy_state, ob->tls_verify_certificates,
1694                             dummy_host, &dummy_errstr) != OK)
1695       return;
1696     ob->tls_preload.cabundle = TRUE;
1697
1698     if (opt_set_and_noexpand(ob->tls_crl))
1699       {
1700       if (!watch || tls_set_watch(ob->tls_crl, FALSE))
1701         {
1702         DEBUG(D_tls) debug_printf("TLS: preloading CRL for transport '%s'\n", t->name);
1703         if (creds_load_crl(&tpt_dummy_state, ob->tls_crl, &dummy_errstr) != OK)
1704           return;
1705         ob->tls_preload.crl = TRUE;
1706         }
1707       }
1708     else
1709       DEBUG(D_tls) debug_printf("TLS: not preloading CRL, for transport '%s'\n", t->name);
1710     }
1711   }
1712 else
1713   DEBUG(D_tls)
1714       debug_printf("TLS: not preloading CA bundle, for transport '%s'\n", t->name);
1715
1716 /* We do not preload tls_require_ciphers to to the transport as it implicitly
1717 depends on DANE or plain usage. */
1718
1719 #endif
1720 }
1721
1722
1723 #if defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT)
1724 /* Invalidate the creds cached, by dropping the current ones.
1725 Call when we notice one of the source files has changed. */
1726  
1727 static void
1728 tls_server_creds_invalidate(void)
1729 {
1730 if (state_server.lib_state.pri_cache)
1731   gnutls_priority_deinit(state_server.lib_state.pri_cache);
1732 state_server.lib_state.pri_cache = NULL;
1733
1734 if (state_server.lib_state.x509_cred)
1735   gnutls_certificate_free_credentials(state_server.lib_state.x509_cred);
1736 state_server.lib_state = null_tls_preload;
1737 }
1738
1739
1740 static void
1741 tls_client_creds_invalidate(transport_instance * t)
1742 {
1743 smtp_transport_options_block * ob = t->options_block;
1744 if (ob->tls_preload.x509_cred)
1745   gnutls_certificate_free_credentials(ob->tls_preload.x509_cred);
1746 ob->tls_preload = null_tls_preload;
1747 }
1748 #endif
1749
1750
1751 /*************************************************
1752 *       Variables re-expanded post-SNI           *
1753 *************************************************/
1754
1755 /* Called from both server and client code, via tls_init(), and also from
1756 the SNI callback after receiving an SNI, if tls_certificate includes "tls_sni".
1757
1758 We can tell the two apart by state->received_sni being non-NULL in callback.
1759
1760 The callback should not call us unless state->trigger_sni_changes is true,
1761 which we are responsible for setting on the first pass through.
1762
1763 Arguments:
1764   state           exim_gnutls_state_st *
1765   errstr          error string pointer
1766
1767 Returns:          OK/DEFER/FAIL
1768 */
1769
1770 static int
1771 tls_expand_session_files(exim_gnutls_state_st * state, uschar ** errstr)
1772 {
1773 int rc;
1774 const host_item *host = state->host;  /* macro should be reconsidered? */
1775 const uschar *saved_tls_certificate = NULL;
1776 const uschar *saved_tls_privatekey = NULL;
1777 const uschar *saved_tls_verify_certificates = NULL;
1778 const uschar *saved_tls_crl = NULL;
1779 int cert_count;
1780
1781 /* We check for tls_sni *before* expansion. */
1782 if (!host)      /* server */
1783   if (!state->received_sni)
1784     {
1785     if (  state->tls_certificate
1786        && (  Ustrstr(state->tls_certificate, US"tls_sni")
1787           || Ustrstr(state->tls_certificate, US"tls_in_sni")
1788           || Ustrstr(state->tls_certificate, US"tls_out_sni")
1789        )  )
1790       {
1791       DEBUG(D_tls) debug_printf("We will re-expand TLS session files if we receive SNI\n");
1792       state->trigger_sni_changes = TRUE;
1793       }
1794     }
1795   else  /* SNI callback case */
1796     {
1797     /* useful for debugging */
1798     saved_tls_certificate = state->exp_tls_certificate;
1799     saved_tls_privatekey = state->exp_tls_privatekey;
1800     saved_tls_verify_certificates = state->exp_tls_verify_certificates;
1801     saved_tls_crl = state->exp_tls_crl;
1802     }
1803
1804 if (!state->lib_state.x509_cred)
1805   {
1806   if ((rc = gnutls_certificate_allocate_credentials(
1807         (gnutls_certificate_credentials_t *) &state->lib_state.x509_cred)))
1808     return tls_error_gnu(state, US"gnutls_certificate_allocate_credentials",
1809             rc, errstr);
1810   creds_basic_init(state->lib_state.x509_cred, !host);
1811   }
1812
1813
1814 /* remember: Expand_check_tlsvar() is expand_check() but fiddling with
1815 state members, assuming consistent naming; and expand_check() returns
1816 false if expansion failed, unless expansion was forced to fail. */
1817
1818 /* check if we at least have a certificate, before doing expensive
1819 D-H generation. */
1820
1821 if (!state->lib_state.conn_certs)
1822   {
1823   if (  !Expand_check_tlsvar(tls_certificate, errstr)
1824      || f.expand_string_forcedfail)
1825     {
1826     if (f.expand_string_forcedfail)
1827       *errstr = US"expansion of tls_certificate failed";
1828     return DEFER;
1829     }
1830
1831   /* certificate is mandatory in server, optional in client */
1832
1833   if (  !state->exp_tls_certificate
1834      || !*state->exp_tls_certificate
1835      )
1836     if (!host)
1837       return tls_install_selfsign(state, errstr);
1838     else
1839       DEBUG(D_tls) debug_printf("TLS: no client certificate specified; okay\n");
1840
1841   if (  state->tls_privatekey && !Expand_check_tlsvar(tls_privatekey, errstr)
1842      || f.expand_string_forcedfail
1843      )
1844     {
1845     if (f.expand_string_forcedfail)
1846       *errstr = US"expansion of tls_privatekey failed";
1847     return DEFER;
1848     }
1849
1850   /* tls_privatekey is optional, defaulting to same file as certificate */
1851
1852   if (!state->tls_privatekey || !*state->tls_privatekey)
1853     {
1854     state->tls_privatekey = state->tls_certificate;
1855     state->exp_tls_privatekey = state->exp_tls_certificate;
1856     }
1857
1858   if (state->exp_tls_certificate && *state->exp_tls_certificate)
1859     {
1860     BOOL load = TRUE;
1861     DEBUG(D_tls) debug_printf("certificate file = %s\nkey file = %s\n",
1862         state->exp_tls_certificate, state->exp_tls_privatekey);
1863
1864     if (state->received_sni)
1865       if (  Ustrcmp(state->exp_tls_certificate, saved_tls_certificate) == 0
1866          && Ustrcmp(state->exp_tls_privatekey,  saved_tls_privatekey)  == 0
1867          )
1868         {
1869         DEBUG(D_tls) debug_printf("TLS SNI: cert and key unchanged\n");
1870         load = FALSE;   /* avoid re-loading the same certs */
1871         }
1872       else              /* unload the pre-SNI certs before loading new ones */
1873         {
1874         DEBUG(D_tls) debug_printf("TLS SNI: have a changed cert/key pair\n");
1875         gnutls_certificate_free_keys(state->lib_state.x509_cred);
1876         }
1877
1878     if (  load
1879        && (rc = host
1880           ? creds_load_client_certs(state, host, state->exp_tls_certificate,
1881                               state->exp_tls_privatekey, errstr)
1882           : creds_load_server_certs(state, state->exp_tls_certificate,
1883                               state->exp_tls_privatekey,
1884 #ifdef DISABLE_OCSP
1885                               NULL,
1886 #else
1887                               tls_ocsp_file,
1888 #endif
1889                               errstr)
1890        )  )
1891       {
1892       DEBUG(D_tls) debug_printf("load-cert: '%s'\n", *errstr);
1893       return rc;
1894       }
1895     }
1896   }
1897 else
1898   {
1899   DEBUG(D_tls)
1900     debug_printf("%s certs were preloaded\n", host ? "client" : "server");
1901
1902   if (!state->tls_privatekey) state->tls_privatekey = state->tls_certificate;
1903   state->exp_tls_certificate = US state->tls_certificate;
1904   state->exp_tls_privatekey = US state->tls_privatekey;
1905
1906 #ifdef SUPPORT_GNUTLS_EXT_RAW_PARSE
1907   if (state->lib_state.ocsp_hook)
1908      gnutls_handshake_set_hook_function(state->session,
1909        GNUTLS_HANDSHAKE_ANY, GNUTLS_HOOK_POST, tls_server_hook_cb);
1910 #endif
1911   }
1912
1913
1914 /* Set the trusted CAs file if one is provided, and then add the CRL if one is
1915 provided. Experiment shows that, if the certificate file is empty, an unhelpful
1916 error message is provided. However, if we just refrain from setting anything up
1917 in that case, certificate verification fails, which seems to be the correct
1918 behaviour.
1919 If none was configured and we can't handle "system", treat as empty. */
1920
1921 if (!state->lib_state.cabundle)
1922   {
1923   if (state->tls_verify_certificates && *state->tls_verify_certificates)
1924     {
1925     if (!Expand_check_tlsvar(tls_verify_certificates, errstr))
1926       return DEFER;
1927 #ifndef SUPPORT_SYSDEFAULT_CABUNDLE
1928     if (Ustrcmp(state->exp_tls_verify_certificates, "system") == 0)
1929       state->exp_tls_verify_certificates = NULL;
1930 #endif
1931     if (state->tls_crl && *state->tls_crl)
1932       if (!Expand_check_tlsvar(tls_crl, errstr))
1933         return DEFER;
1934
1935     if (!(state->exp_tls_verify_certificates &&
1936           *state->exp_tls_verify_certificates))
1937       {
1938       DEBUG(D_tls)
1939         debug_printf("TLS: tls_verify_certificates expanded empty, ignoring\n");
1940       /* With no tls_verify_certificates, we ignore tls_crl too */
1941       return OK;
1942       }
1943     }
1944   else
1945     {
1946     DEBUG(D_tls)
1947       debug_printf("TLS: tls_verify_certificates not set or empty, ignoring\n");
1948     return OK;
1949     }
1950   rc = creds_load_cabundle(state, state->exp_tls_verify_certificates, host, errstr);
1951   if (rc != OK) return rc;
1952   }
1953 else
1954   {
1955   DEBUG(D_tls)
1956     debug_printf("%s CA bundle was preloaded\n", host ? "client" : "server");
1957   state->exp_tls_verify_certificates = US state->tls_verify_certificates;
1958
1959 #ifdef SUPPORT_CA_DIR
1960 /* Mimic the behaviour with OpenSSL of not advertising a usable-cert list
1961 when using the directory-of-certs config model. */
1962     if (state->lib_state.ca_rdn_emulate)
1963       gnutls_certificate_send_x509_rdn_sequence(state->session, 1);
1964 #endif
1965   }
1966
1967
1968 if (!state->lib_state.crl)
1969   {
1970   if (  state->tls_crl && *state->tls_crl
1971      && state->exp_tls_crl && *state->exp_tls_crl)
1972     return creds_load_crl(state, state->exp_tls_crl, errstr);
1973   }
1974 else
1975   {
1976   DEBUG(D_tls)
1977       debug_printf("%s CRL was preloaded\n", host ? "client" : "server");
1978   state->exp_tls_crl = US state->tls_crl;
1979   }
1980
1981 return OK;
1982 }
1983
1984
1985
1986
1987 /*************************************************
1988 *          Set X.509 state variables             *
1989 *************************************************/
1990
1991 /* In GnuTLS, the registered cert/key are not replaced by a later
1992 set of a cert/key, so for SNI support we need a whole new x509_cred
1993 structure.  Which means various other non-re-expanded pieces of state
1994 need to be re-set in the new struct, so the setting logic is pulled
1995 out to this.
1996
1997 Arguments:
1998   state           exim_gnutls_state_st *
1999   errstr          error string pointer
2000
2001 Returns:          OK/DEFER/FAIL
2002 */
2003
2004 static int
2005 tls_set_remaining_x509(exim_gnutls_state_st *state, uschar ** errstr)
2006 {
2007 int rc;
2008 const host_item *host = state->host;  /* macro should be reconsidered? */
2009
2010 /* Create D-H parameters, or read them from the cache file. This function does
2011 its own SMTP error messaging. This only happens for the server, TLS D-H ignores
2012 client-side params. */
2013
2014 if (!state->host)
2015   {
2016   if (!dh_server_params)
2017     if ((rc = init_server_dh(errstr)) != OK) return rc;
2018
2019   /* Unnecessary & discouraged with 3.6.0 or later, according to docs.  But without it,
2020   no DHE- ciphers are advertised. */
2021   gnutls_certificate_set_dh_params(state->lib_state.x509_cred, dh_server_params);
2022   }
2023
2024 /* Link the credentials to the session. */
2025
2026 if ((rc = gnutls_credentials_set(state->session,
2027             GNUTLS_CRD_CERTIFICATE, state->lib_state.x509_cred)))
2028   return tls_error_gnu(state, US"gnutls_credentials_set", rc, errstr);
2029
2030 return OK;
2031 }
2032
2033 /*************************************************
2034 *            Initialize for GnuTLS               *
2035 *************************************************/
2036
2037
2038 /* Called from both server and client code. In the case of a server, errors
2039 before actual TLS negotiation return DEFER.
2040
2041 Arguments:
2042   host            connected host, if client; NULL if server
2043   ob              tranport options block, if client; NULL if server
2044   require_ciphers tls_require_ciphers setting
2045   caller_state    returned state-info structure
2046   errstr          error string pointer
2047
2048 Returns:          OK/DEFER/FAIL
2049 */
2050
2051 static int
2052 tls_init(
2053     const host_item *host,
2054     smtp_transport_options_block * ob,
2055     const uschar * require_ciphers,
2056     exim_gnutls_state_st **caller_state,
2057     tls_support * tlsp,
2058     uschar ** errstr)
2059 {
2060 exim_gnutls_state_st * state;
2061 int rc;
2062 size_t sz;
2063
2064 if (  !exim_gnutls_base_init_done
2065    && (rc = tls_g_init(errstr)) != OK)
2066   return rc;
2067
2068 if (host)
2069   {
2070   /* For client-side sessions we allocate a context. This lets us run
2071   several in parallel. */
2072
2073   int old_pool = store_pool;
2074   store_pool = POOL_PERM;
2075   state = store_get(sizeof(exim_gnutls_state_st), GET_UNTAINTED);
2076   store_pool = old_pool;
2077
2078   memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
2079   state->lib_state = ob->tls_preload;
2080   state->tlsp = tlsp;
2081   DEBUG(D_tls) debug_printf("initialising GnuTLS client session\n");
2082   rc = gnutls_init(&state->session, GNUTLS_CLIENT);
2083
2084   state->tls_certificate =      ob->tls_certificate;
2085   state->tls_privatekey =       ob->tls_privatekey;
2086   state->tls_sni =              ob->tls_sni;
2087   state->tls_verify_certificates = ob->tls_verify_certificates;
2088   state->tls_crl =              ob->tls_crl;
2089   }
2090 else
2091   {
2092   /* Server operations always use the one state_server context.  It is not
2093   shared because we have forked a fresh process for every receive.  However it
2094   can get re-used for successive TLS sessions on a single TCP connection. */
2095
2096   state = &state_server;
2097   state->tlsp = tlsp;
2098   DEBUG(D_tls) debug_printf("initialising GnuTLS server session\n");
2099   rc = gnutls_init(&state->session, GNUTLS_SERVER);
2100
2101   state->tls_certificate =      tls_certificate;
2102   state->tls_privatekey =       tls_privatekey;
2103   state->tls_sni =              NULL;
2104   state->tls_verify_certificates = tls_verify_certificates;
2105   state->tls_crl =              tls_crl;
2106   }
2107 if (rc)
2108   return tls_error_gnu(state, US"gnutls_init", rc, errstr);
2109
2110 state->tls_require_ciphers =    require_ciphers;
2111 state->host = host;
2112
2113 /* This handles the variables that might get re-expanded after TLS SNI;
2114 tls_certificate, tls_privatekey, tls_verify_certificates, tls_crl */
2115
2116 DEBUG(D_tls)
2117   debug_printf("Expanding various TLS configuration options for session credentials\n");
2118 if ((rc = tls_expand_session_files(state, errstr)) != OK) return rc;
2119
2120 /* These are all other parts of the x509_cred handling, since SNI in GnuTLS
2121 requires a new structure afterwards. */
2122
2123 if ((rc = tls_set_remaining_x509(state, errstr)) != OK) return rc;
2124
2125 /* set SNI in client, only */
2126 if (host)
2127   {
2128   if (!expand_check(state->tls_sni, US"tls_out_sni", &state->tlsp->sni, errstr))
2129     return DEFER;
2130   if (state->tlsp->sni && *state->tlsp->sni)
2131     {
2132     DEBUG(D_tls)
2133       debug_printf("Setting TLS client SNI to \"%s\"\n", state->tlsp->sni);
2134     sz = Ustrlen(state->tlsp->sni);
2135     if ((rc = gnutls_server_name_set(state->session,
2136           GNUTLS_NAME_DNS, state->tlsp->sni, sz)))
2137       return tls_error_gnu(state, US"gnutls_server_name_set", rc, errstr);
2138     }
2139   }
2140 else if (state->tls_sni)
2141   DEBUG(D_tls) debug_printf("*** PROBABLY A BUG *** " \
2142       "have an SNI set for a server [%s]\n", state->tls_sni);
2143
2144 if (!state->lib_state.pri_string)
2145   {
2146   const uschar * p = NULL;
2147   const char * errpos;
2148
2149   /* This is the priority string support,
2150   http://www.gnutls.org/manual/html_node/Priority-Strings.html
2151   and replaces gnutls_require_kx, gnutls_require_mac & gnutls_require_protocols.
2152   This was backwards incompatible, but means Exim no longer needs to track
2153   all algorithms and provide string forms for them. */
2154
2155   if (state->tls_require_ciphers && *state->tls_require_ciphers)
2156     {
2157     if (!Expand_check_tlsvar(tls_require_ciphers, errstr))
2158       return DEFER;
2159     if (state->exp_tls_require_ciphers && *state->exp_tls_require_ciphers)
2160       {
2161       p = state->exp_tls_require_ciphers;
2162       DEBUG(D_tls) debug_printf("GnuTLS session cipher/priority \"%s\"\n", p);
2163       }
2164     }
2165
2166   if ((rc = creds_load_pristring(state, p, &errpos)))
2167     return tls_error_gnu(state, string_sprintf(
2168                         "gnutls_priority_init(%s) failed at offset %ld, \"%.6s..\"",
2169                         p, (long)(errpos - CS p), errpos),
2170                     rc, errstr);
2171   }
2172 else
2173   {
2174   DEBUG(D_tls) debug_printf("cipher list preloaded\n");
2175   state->exp_tls_require_ciphers = US state->tls_require_ciphers;
2176   }
2177
2178
2179 if ((rc = gnutls_priority_set(state->session, state->lib_state.pri_cache)))
2180   return tls_error_gnu(state, US"gnutls_priority_set", rc, errstr);
2181
2182 /* This also sets the server ticket expiration time to the same, and
2183 the STEK rotation time to 3x. */
2184
2185 gnutls_db_set_cache_expiration(state->session, ssl_session_timeout);
2186
2187 /* Reduce security in favour of increased compatibility, if the admin
2188 decides to make that trade-off. */
2189 if (gnutls_compat_mode)
2190   {
2191 #if LIBGNUTLS_VERSION_NUMBER >= 0x020104
2192   DEBUG(D_tls) debug_printf("lowering GnuTLS security, compatibility mode\n");
2193   gnutls_session_enable_compatibility_mode(state->session);
2194 #else
2195   DEBUG(D_tls) debug_printf("Unable to set gnutls_compat_mode - GnuTLS version too old\n");
2196 #endif
2197   }
2198
2199 *caller_state = state;
2200 return OK;
2201 }
2202
2203
2204
2205 /*************************************************
2206 *            Extract peer information            *
2207 *************************************************/
2208
2209 static const uschar *
2210 cipher_stdname_kcm(gnutls_kx_algorithm_t kx, gnutls_cipher_algorithm_t cipher,
2211   gnutls_mac_algorithm_t mac)
2212 {
2213 uschar cs_id[2];
2214 gnutls_kx_algorithm_t kx_i;
2215 gnutls_cipher_algorithm_t cipher_i;
2216 gnutls_mac_algorithm_t mac_i;
2217
2218 for (size_t i = 0;
2219      gnutls_cipher_suite_info(i, cs_id, &kx_i, &cipher_i, &mac_i, NULL);
2220      i++)
2221   if (kx_i == kx && cipher_i == cipher && mac_i == mac)
2222     return cipher_stdname(cs_id[0], cs_id[1]);
2223 return NULL;
2224 }
2225
2226
2227
2228 /* Called from both server and client code.
2229 Only this is allowed to set state->peerdn and state->have_set_peerdn
2230 and we use that to detect double-calls.
2231
2232 NOTE: the state blocks last while the TLS connection is up, which is fine
2233 for logging in the server side, but for the client side, we log after teardown
2234 in src/deliver.c.  While the session is up, we can twist about states and
2235 repoint tls_* globals, but those variables used for logging or other variable
2236 expansion that happens _after_ delivery need to have a longer life-time.
2237
2238 So for those, we get the data from POOL_PERM; the re-invoke guard keeps us from
2239 doing this more than once per generation of a state context.  We set them in
2240 the state context, and repoint tls_* to them.  After the state goes away, the
2241 tls_* copies of the pointers remain valid and client delivery logging is happy.
2242
2243 tls_certificate_verified is a BOOL, so the tls_peerdn and tls_cipher issues
2244 don't apply.
2245
2246 Arguments:
2247   state           exim_gnutls_state_st *
2248   errstr          pointer to error string
2249
2250 Returns:          OK/DEFER/FAIL
2251 */
2252
2253 static int
2254 peer_status(exim_gnutls_state_st * state, uschar ** errstr)
2255 {
2256 gnutls_session_t session = state->session;
2257 const gnutls_datum_t * cert_list;
2258 int old_pool, rc;
2259 unsigned int cert_list_size = 0;
2260 gnutls_protocol_t protocol;
2261 gnutls_cipher_algorithm_t cipher;
2262 gnutls_kx_algorithm_t kx;
2263 gnutls_mac_algorithm_t mac;
2264 gnutls_certificate_type_t ct;
2265 gnutls_x509_crt_t crt;
2266 uschar * dn_buf;
2267 size_t sz;
2268
2269 if (state->have_set_peerdn)
2270   return OK;
2271 state->have_set_peerdn = TRUE;
2272
2273 state->peerdn = NULL;
2274
2275 /* tls_cipher */
2276 cipher = gnutls_cipher_get(session);
2277 protocol = gnutls_protocol_get_version(session);
2278 mac = gnutls_mac_get(session);
2279 kx =
2280 #ifdef GNUTLS_TLS1_3
2281     protocol >= GNUTLS_TLS1_3 ? 0 :
2282 #endif
2283   gnutls_kx_get(session);
2284
2285 old_pool = store_pool;
2286   {
2287   tls_support * tlsp = state->tlsp;
2288   store_pool = POOL_PERM;
2289
2290 #ifdef SUPPORT_GNUTLS_SESS_DESC
2291     {
2292     gstring * g = NULL;
2293     uschar * s = US gnutls_session_get_desc(session), c;
2294
2295     /* Nikos M suggests we use this by preference.  It returns like:
2296     (TLS1.3)-(ECDHE-SECP256R1)-(RSA-PSS-RSAE-SHA256)-(AES-256-GCM)
2297
2298     For partial back-compat, put a colon after the TLS version, replace the
2299     )-( grouping with __, replace in-group - with _ and append the :keysize. */
2300
2301     /* debug_printf("peer_status: gnutls_session_get_desc %s\n", s); */
2302
2303     for (s++; (c = *s) && c != ')'; s++) g = string_catn(g, s, 1);
2304
2305     tlsp->ver = string_copy_from_gstring(g);
2306     for (uschar * p = US tlsp->ver; *p; p++)
2307       if (*p == '-') { *p = '\0'; break; }      /* TLS1.0-PKIX -> TLS1.0 */
2308
2309     g = string_catn(g, US":", 1);
2310     if (*s) s++;                /* now on _ between groups */
2311     while ((c = *s))
2312       {
2313       for (*++s && ++s; (c = *s) && c != ')'; s++)
2314         g = string_catn(g, c == '-' ? US"_" : s, 1);
2315       /* now on ) closing group */
2316       if ((c = *s) && *++s == '-') g = string_catn(g, US"__", 2);
2317       /* now on _ between groups */
2318       }
2319     g = string_catn(g, US":", 1);
2320     g = string_cat(g, string_sprintf("%d", (int) gnutls_cipher_get_key_size(cipher) * 8));
2321     state->ciphersuite = string_from_gstring(g);
2322     }
2323 #else
2324   state->ciphersuite = string_sprintf("%s:%s:%d",
2325       gnutls_protocol_get_name(protocol),
2326       gnutls_cipher_suite_get_name(kx, cipher, mac),
2327       (int) gnutls_cipher_get_key_size(cipher) * 8);
2328
2329   /* I don't see a way that spaces could occur, in the current GnuTLS
2330   code base, but it was a concern in the old code and perhaps older GnuTLS
2331   releases did return "TLS 1.0"; play it safe, just in case. */
2332
2333   for (uschar * p = state->ciphersuite; *p; p++) if (isspace(*p)) *p = '-';
2334   tlsp->ver = string_copyn(state->ciphersuite,
2335                         Ustrchr(state->ciphersuite, ':') - state->ciphersuite);
2336 #endif
2337
2338 /* debug_printf("peer_status: ciphersuite %s\n", state->ciphersuite); */
2339
2340   tlsp->cipher = state->ciphersuite;
2341   tlsp->bits = gnutls_cipher_get_key_size(cipher) * 8;
2342
2343   tlsp->cipher_stdname = cipher_stdname_kcm(kx, cipher, mac);
2344   }
2345 store_pool = old_pool;
2346
2347 /* tls_peerdn */
2348 cert_list = gnutls_certificate_get_peers(session, &cert_list_size);
2349
2350 if (!cert_list || cert_list_size == 0)
2351   {
2352   DEBUG(D_tls) debug_printf("TLS: no certificate from peer (%p & %d)\n",
2353       cert_list, cert_list_size);
2354   if (state->verify_requirement >= VERIFY_REQUIRED)
2355     return tls_error(US"certificate verification failed",
2356         US"no certificate received from peer", state->host, errstr);
2357   return OK;
2358   }
2359
2360 if ((ct = gnutls_certificate_type_get(session)) != GNUTLS_CRT_X509)
2361   {
2362   const uschar * ctn = US gnutls_certificate_type_get_name(ct);
2363   DEBUG(D_tls)
2364     debug_printf("TLS: peer cert not X.509 but instead \"%s\"\n", ctn);
2365   if (state->verify_requirement >= VERIFY_REQUIRED)
2366     return tls_error(US"certificate verification not possible, unhandled type",
2367         ctn, state->host, errstr);
2368   return OK;
2369   }
2370
2371 #define exim_gnutls_peer_err(Label) \
2372   do { \
2373     if (rc != GNUTLS_E_SUCCESS) \
2374       { \
2375       DEBUG(D_tls) debug_printf("TLS: peer cert problem: %s: %s\n", \
2376         (Label), gnutls_strerror(rc)); \
2377       if (state->verify_requirement >= VERIFY_REQUIRED) \
2378         return tls_error_gnu(state, (Label), rc, errstr); \
2379       return OK; \
2380       } \
2381     } while (0)
2382
2383 rc = import_cert(&cert_list[0], &crt);
2384 exim_gnutls_peer_err(US"cert 0");
2385
2386 state->tlsp->peercert = state->peercert = crt;
2387
2388 sz = 0;
2389 rc = gnutls_x509_crt_get_dn(crt, NULL, &sz);
2390 if (rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
2391   {
2392   exim_gnutls_peer_err(US"getting size for cert DN failed");
2393   return FAIL; /* should not happen */
2394   }
2395 dn_buf = store_get_perm(sz, GET_TAINTED);
2396 rc = gnutls_x509_crt_get_dn(crt, CS dn_buf, &sz);
2397 exim_gnutls_peer_err(US"failed to extract certificate DN [gnutls_x509_crt_get_dn(cert 0)]");
2398
2399 state->peerdn = dn_buf;
2400
2401 return OK;
2402 #undef exim_gnutls_peer_err
2403 }
2404
2405
2406
2407
2408 /*************************************************
2409 *            Verify peer certificate             *
2410 *************************************************/
2411
2412 /* Called from both server and client code.
2413 *Should* be using a callback registered with
2414 gnutls_certificate_set_verify_function() to fail the handshake if we dislike
2415 the peer information, but that's too new for some OSes.
2416
2417 Arguments:
2418   state         exim_gnutls_state_st *
2419   errstr        where to put an error message
2420
2421 Returns:
2422   FALSE     if the session should be rejected
2423   TRUE      if the cert is okay or we just don't care
2424 */
2425
2426 static BOOL
2427 verify_certificate(exim_gnutls_state_st * state, uschar ** errstr)
2428 {
2429 int rc;
2430 uint verify;
2431
2432 DEBUG(D_tls) debug_printf("TLS: checking peer certificate\n");
2433 *errstr = NULL;
2434 rc = peer_status(state, errstr);
2435
2436 if (state->verify_requirement == VERIFY_NONE)
2437   return TRUE;
2438
2439 if (rc != OK || !state->peerdn)
2440   {
2441   verify = GNUTLS_CERT_INVALID;
2442   *errstr = US"certificate not supplied";
2443   }
2444 else
2445
2446   {
2447 #ifdef SUPPORT_DANE
2448   if (state->verify_requirement == VERIFY_DANE && state->host)
2449     {
2450     /* Using dane_verify_session_crt() would be easy, as it does it all for us
2451     including talking to a DNS resolver.  But we want to do that bit ourselves
2452     as the testsuite intercepts and fakes its own DNS environment. */
2453
2454     dane_state_t s;
2455     dane_query_t r;
2456     uint lsize;
2457     const gnutls_datum_t * certlist =
2458       gnutls_certificate_get_peers(state->session, &lsize);
2459     int usage = tls_out.tlsa_usage;
2460
2461 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
2462     /* Split the TLSA records into two sets, TA and EE selectors.  Run the
2463     dane-verification separately so that we know which selector verified;
2464     then we know whether to do name-verification (needed for TA but not EE). */
2465
2466     if (usage == ((1<<DANESSL_USAGE_DANE_TA) | (1<<DANESSL_USAGE_DANE_EE)))
2467       {                                         /* a mixed-usage bundle */
2468       int i, j, nrec;
2469       const char ** dd;
2470       int * ddl;
2471
2472       for (nrec = 0; state->dane_data_len[nrec]; ) nrec++;
2473       nrec++;
2474
2475       dd = store_get(nrec * sizeof(uschar *), GET_UNTAINTED);
2476       ddl = store_get(nrec * sizeof(int), GET_UNTAINTED);
2477       nrec--;
2478
2479       if ((rc = dane_state_init(&s, 0)))
2480         goto tlsa_prob;
2481
2482       for (usage = DANESSL_USAGE_DANE_EE;
2483            usage >= DANESSL_USAGE_DANE_TA; usage--)
2484         {                               /* take records with this usage */
2485         for (j = i = 0; i < nrec; i++)
2486           if (state->dane_data[i][0] == usage)
2487             {
2488             dd[j] = state->dane_data[i];
2489             ddl[j++] = state->dane_data_len[i];
2490             }
2491         if (j)
2492           {
2493           dd[j] = NULL;
2494           ddl[j] = 0;
2495
2496           if ((rc = dane_raw_tlsa(s, &r, (char * const *)dd, ddl, 1, 0)))
2497             goto tlsa_prob;
2498
2499           if ((rc = dane_verify_crt_raw(s, certlist, lsize,
2500                             gnutls_certificate_type_get(state->session),
2501                             r, 0,
2502                             usage == DANESSL_USAGE_DANE_EE
2503                             ? DANE_VFLAG_ONLY_CHECK_EE_USAGE : 0,
2504                             &verify)))
2505             {
2506             DEBUG(D_tls)
2507               debug_printf("TLSA record problem: %s\n", dane_strerror(rc));
2508             }
2509           else if (verify == 0) /* verification passed */
2510             {
2511             usage = 1 << usage;
2512             break;
2513             }
2514           }
2515         }
2516
2517         if (rc) goto tlsa_prob;
2518       }
2519     else
2520 # endif
2521       {
2522       if (  (rc = dane_state_init(&s, 0))
2523          || (rc = dane_raw_tlsa(s, &r, state->dane_data, state->dane_data_len,
2524                         1, 0))
2525          || (rc = dane_verify_crt_raw(s, certlist, lsize,
2526                         gnutls_certificate_type_get(state->session),
2527                         r, 0,
2528 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
2529                         usage == (1 << DANESSL_USAGE_DANE_EE)
2530                         ? DANE_VFLAG_ONLY_CHECK_EE_USAGE : 0,
2531 # else
2532                         0,
2533 # endif
2534                         &verify))
2535          )
2536         goto tlsa_prob;
2537       }
2538
2539     if (verify != 0)            /* verification failed */
2540       {
2541       gnutls_datum_t str;
2542       (void) dane_verification_status_print(verify, &str, 0);
2543       *errstr = US str.data;    /* don't bother to free */
2544       goto badcert;
2545       }
2546
2547 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
2548     /* If a TA-mode TLSA record was used for verification we must additionally
2549     verify the cert name (but not the CA chain).  For EE-mode, skip it. */
2550
2551     if (usage & (1 << DANESSL_USAGE_DANE_EE))
2552 # endif
2553       {
2554       state->peer_dane_verified = state->peer_cert_verified = TRUE;
2555       goto goodcert;
2556       }
2557 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
2558     /* Assume that the name on the A-record is the one that should be matching
2559     the cert.  An alternate view is that the domain part of the email address
2560     is also permissible. */
2561
2562     if (gnutls_x509_crt_check_hostname(state->tlsp->peercert,
2563           CS state->host->name))
2564       {
2565       state->peer_dane_verified = state->peer_cert_verified = TRUE;
2566       goto goodcert;
2567       }
2568 # endif
2569     }
2570 #endif  /*SUPPORT_DANE*/
2571
2572   rc = gnutls_certificate_verify_peers2(state->session, &verify);
2573   }
2574
2575 /* Handle the result of verification. INVALID is set if any others are. */
2576
2577 if (rc < 0 || verify & (GNUTLS_CERT_INVALID|GNUTLS_CERT_REVOKED))
2578   {
2579   state->peer_cert_verified = FALSE;
2580   if (!*errstr)
2581     {
2582 #ifdef GNUTLS_CERT_VFY_STATUS_PRINT
2583     DEBUG(D_tls)
2584       {
2585       gnutls_datum_t txt;
2586
2587       if (gnutls_certificate_verification_status_print(verify,
2588             gnutls_certificate_type_get(state->session), &txt, 0)
2589           == GNUTLS_E_SUCCESS)
2590         {
2591         debug_printf("%s\n", txt.data);
2592         gnutls_free(txt.data);
2593         }
2594       }
2595 #endif
2596     *errstr = verify & GNUTLS_CERT_REVOKED
2597       ? US"certificate revoked" : US"certificate invalid";
2598     }
2599
2600   DEBUG(D_tls)
2601     debug_printf("TLS certificate verification failed (%s): peerdn=\"%s\"\n",
2602         *errstr, state->peerdn ? state->peerdn : US"<unset>");
2603
2604   if (state->verify_requirement >= VERIFY_REQUIRED)
2605     goto badcert;
2606   DEBUG(D_tls)
2607     debug_printf("TLS verify failure overridden (host in tls_try_verify_hosts)\n");
2608   }
2609
2610 else
2611   {
2612   /* Client side, check the server's certificate name versus the name on the
2613   A-record for the connection we made.  What to do for server side - what name
2614   to use for client?  We document that there is no such checking for server
2615   side. */
2616
2617   if (  state->exp_tls_verify_cert_hostnames
2618      && !gnutls_x509_crt_check_hostname(state->tlsp->peercert,
2619                 CS state->exp_tls_verify_cert_hostnames)
2620      )
2621     {
2622     DEBUG(D_tls)
2623       debug_printf("TLS certificate verification failed: cert name mismatch\n");
2624     if (state->verify_requirement >= VERIFY_REQUIRED)
2625       goto badcert;
2626     return TRUE;
2627     }
2628
2629   state->peer_cert_verified = TRUE;
2630   DEBUG(D_tls) debug_printf("TLS certificate verified: peerdn=\"%s\"\n",
2631       state->peerdn ? state->peerdn : US"<unset>");
2632   }
2633
2634 goodcert:
2635   state->tlsp->peerdn = state->peerdn;
2636   return TRUE;
2637
2638 #ifdef SUPPORT_DANE
2639 tlsa_prob:
2640   *errstr = string_sprintf("TLSA record problem: %s",
2641     rc == DANE_E_REQUESTED_DATA_NOT_AVAILABLE ? "none usable" : dane_strerror(rc));
2642 #endif
2643
2644 badcert:
2645   gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_BAD_CERTIFICATE);
2646   return FALSE;
2647 }
2648
2649
2650
2651
2652 /* ------------------------------------------------------------------------ */
2653 /* Callbacks */
2654
2655 /* Logging function which can be registered with
2656  *   gnutls_global_set_log_function()
2657  *   gnutls_global_set_log_level() 0..9
2658  */
2659 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
2660 static void
2661 exim_gnutls_logger_cb(int level, const char *message)
2662 {
2663   size_t len = strlen(message);
2664   if (len < 1)
2665     {
2666     DEBUG(D_tls) debug_printf("GnuTLS<%d> empty debug message\n", level);
2667     return;
2668     }
2669   DEBUG(D_tls) debug_printf("GnuTLS<%d>: %s%s", level, message,
2670       message[len-1] == '\n' ? "" : "\n");
2671 }
2672 #endif
2673
2674
2675 /* Called after client hello, should handle SNI work.
2676 This will always set tls_sni (state->received_sni) if available,
2677 and may trigger presenting different certificates,
2678 if state->trigger_sni_changes is TRUE.
2679
2680 Should be registered with
2681   gnutls_handshake_set_post_client_hello_function()
2682
2683 "This callback must return 0 on success or a gnutls error code to terminate the
2684 handshake.".
2685
2686 For inability to get SNI information, we return 0.
2687 We only return non-zero if re-setup failed.
2688 Only used for server-side TLS.
2689 */
2690
2691 static int
2692 exim_sni_handling_cb(gnutls_session_t session)
2693 {
2694 char sni_name[MAX_HOST_LEN];
2695 size_t data_len = MAX_HOST_LEN;
2696 exim_gnutls_state_st *state = &state_server;
2697 unsigned int sni_type;
2698 int rc, old_pool;
2699 uschar * dummy_errstr;
2700
2701 rc = gnutls_server_name_get(session, sni_name, &data_len, &sni_type, 0);
2702 if (rc != GNUTLS_E_SUCCESS)
2703   {
2704   DEBUG(D_tls)
2705     if (rc == GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE)
2706       debug_printf("TLS: no SNI presented in handshake\n");
2707     else
2708       debug_printf("TLS failure: gnutls_server_name_get(): %s [%d]\n",
2709         gnutls_strerror(rc), rc);
2710   return 0;
2711   }
2712
2713 if (sni_type != GNUTLS_NAME_DNS)
2714   {
2715   DEBUG(D_tls) debug_printf("TLS: ignoring SNI of unhandled type %u\n", sni_type);
2716   return 0;
2717   }
2718
2719 /* We now have a UTF-8 string in sni_name */
2720 old_pool = store_pool;
2721 store_pool = POOL_PERM;
2722 state->received_sni = string_copy_taint(US sni_name, GET_TAINTED);
2723 store_pool = old_pool;
2724
2725 /* We set this one now so that variable expansions below will work */
2726 state->tlsp->sni = state->received_sni;
2727
2728 DEBUG(D_tls) debug_printf("Received TLS SNI \"%s\"%s\n", sni_name,
2729     state->trigger_sni_changes ? "" : " (unused for certificate selection)");
2730
2731 if (!state->trigger_sni_changes)
2732   return 0;
2733
2734 if ((rc = tls_expand_session_files(state, &dummy_errstr)) != OK)
2735   {
2736   /* If the setup of certs/etc failed before handshake, TLS would not have
2737   been offered.  The best we can do now is abort. */
2738   DEBUG(D_tls) debug_printf("expansion for SNI-dependent session files failed\n");
2739   return GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE;
2740   }
2741
2742 rc = tls_set_remaining_x509(state, &dummy_errstr);
2743 if (rc != OK) return GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE;
2744
2745 return 0;
2746 }
2747
2748
2749
2750 #ifndef DISABLE_EVENT
2751 /*
2752 We use this callback to get observability and detail-level control
2753 for an exim TLS connection (either direction), raising a tls:cert event
2754 for each cert in the chain presented by the peer.  Any event
2755 can deny verification.
2756
2757 Return 0 for the handshake to continue or non-zero to terminate.
2758 */
2759
2760 static int
2761 verify_cb(gnutls_session_t session)
2762 {
2763 const gnutls_datum_t * cert_list;
2764 unsigned int cert_list_size = 0;
2765 gnutls_x509_crt_t crt;
2766 int rc;
2767 uschar * yield;
2768 exim_gnutls_state_st * state = gnutls_session_get_ptr(session);
2769
2770 if ((cert_list = gnutls_certificate_get_peers(session, &cert_list_size)))
2771   while (cert_list_size--)
2772     {
2773     if ((rc = import_cert(&cert_list[cert_list_size], &crt)) != GNUTLS_E_SUCCESS)
2774       {
2775       DEBUG(D_tls) debug_printf("TLS: peer cert problem: depth %d: %s\n",
2776         cert_list_size, gnutls_strerror(rc));
2777       break;
2778       }
2779
2780     state->tlsp->peercert = crt;
2781     if ((yield = event_raise(state->event_action,
2782                 US"tls:cert", string_sprintf("%d", cert_list_size), &errno)))
2783       {
2784       log_write(0, LOG_MAIN,
2785                 "SSL verify denied by event-action: depth=%d: %s",
2786                 cert_list_size, yield);
2787       return 1;                     /* reject */
2788       }
2789     state->tlsp->peercert = NULL;
2790     }
2791
2792 return 0;
2793 }
2794
2795 #endif
2796
2797
2798 static gstring *
2799 ddump(gnutls_datum_t * d)
2800 {
2801 gstring * g = string_get((d->size+1) * 2);
2802 uschar * s = d->data;
2803 for (unsigned i = d->size; i > 0; i--, s++)
2804   {
2805   g = string_catn(g, US "0123456789abcdef" + (*s >> 4), 1);
2806   g = string_catn(g, US "0123456789abcdef" + (*s & 0xf), 1);
2807   }
2808 return g;
2809 }
2810
2811 static void
2812 post_handshake_debug(exim_gnutls_state_st * state)
2813 {
2814 #ifdef SUPPORT_GNUTLS_SESS_DESC
2815 debug_printf("%s\n", gnutls_session_get_desc(state->session));
2816 #endif
2817
2818 #ifdef SUPPORT_GNUTLS_KEYLOG
2819 # ifdef EXIM_HAVE_TLS1_3
2820 if (gnutls_protocol_get_version(state->session) < GNUTLS_TLS1_3)
2821 # else
2822 if (TRUE)
2823 # endif
2824   {
2825   gnutls_datum_t c, s;
2826   gstring * gc, * gs;
2827   /* For TLS1.2 we only want the client random and the master secret */
2828   gnutls_session_get_random(state->session, &c, &s);
2829   gnutls_session_get_master_secret(state->session, &s);
2830   gc = ddump(&c);
2831   gs = ddump(&s);
2832   debug_printf("CLIENT_RANDOM %.*s %.*s\n", (int)gc->ptr, gc->s, (int)gs->ptr, gs->s);
2833   }
2834 else
2835   debug_printf("To get keying info for TLS1.3 is hard:\n"
2836     " Set environment variable SSLKEYLOGFILE to a filename relative to the spool directory,\n"
2837     " and make sure it is writable by the Exim runtime user.\n"
2838     " Add SSLKEYLOGFILE to keep_environment in the exim config.\n"
2839     " Start Exim as root.\n"
2840     " If using sudo, add SSLKEYLOGFILE to env_keep in /etc/sudoers\n"
2841     " (works for TLS1.2 also, and saves cut-paste into file).\n"
2842     " Trying to use add_environment for this will not work\n");
2843 #endif
2844 }
2845
2846
2847 #ifdef EXIM_HAVE_TLS_RESUME
2848 static int
2849 tls_server_ticket_cb(gnutls_session_t sess, u_int htype, unsigned when,
2850   unsigned incoming, const gnutls_datum_t * msg)
2851 {
2852 DEBUG(D_tls) debug_printf("newticket cb\n");
2853 tls_in.resumption |= RESUME_CLIENT_REQUESTED;
2854 return 0;
2855 }
2856
2857 static void
2858 tls_server_resume_prehandshake(exim_gnutls_state_st * state)
2859 {
2860 /* Should the server offer session resumption? */
2861 tls_in.resumption = RESUME_SUPPORTED;
2862 if (verify_check_host(&tls_resumption_hosts) == OK)
2863   {
2864   int rc;
2865   /* GnuTLS appears to not do ticket overlap, but does emit a fresh ticket when
2866   an offered resumption is unacceptable.  We lose one resumption per ticket
2867   lifetime, and sessions cannot be indefinitely re-used.  There seems to be no
2868   way (3.6.7) of changing the default number of 2 TLS1.3 tickets issued, but at
2869   least they go out in a single packet. */
2870
2871   if (!(rc = gnutls_session_ticket_enable_server(state->session,
2872               &server_sessticket_key)))
2873     tls_in.resumption |= RESUME_SERVER_TICKET;
2874   else
2875     DEBUG(D_tls)
2876       debug_printf("enabling session tickets: %s\n", US gnutls_strerror(rc));
2877
2878   /* Try to tell if we see a ticket request */
2879   gnutls_handshake_set_hook_function(state->session,
2880     GNUTLS_HANDSHAKE_ANY, GNUTLS_HOOK_POST, tls_server_hook_cb);
2881   }
2882 }
2883
2884 static void
2885 tls_server_resume_posthandshake(exim_gnutls_state_st * state)
2886 {
2887 if (gnutls_session_resumption_requested(state->session))
2888   {
2889   /* This tells us the client sent a full ticket.  We use a
2890   callback on session-ticket request, elsewhere, to tell
2891   if a client asked for a ticket. */
2892
2893   tls_in.resumption |= RESUME_CLIENT_SUGGESTED;
2894   DEBUG(D_tls) debug_printf("client requested resumption\n");
2895   }
2896 if (gnutls_session_is_resumed(state->session))
2897   {
2898   tls_in.resumption |= RESUME_USED;
2899   DEBUG(D_tls) debug_printf("Session resumed\n");
2900   }
2901 }
2902 #endif  /* EXIM_HAVE_TLS_RESUME */
2903
2904
2905 #ifdef EXIM_HAVE_ALPN
2906 /* Expand and convert an Exim list to a gnutls_datum list.  False return for fail.
2907 NULL plist return for silent no-ALPN.
2908 */
2909
2910 static BOOL
2911 tls_alpn_plist(uschar ** tls_alpn, const gnutls_datum_t ** plist, unsigned * plen,
2912   uschar ** errstr)
2913 {
2914 uschar * exp_alpn;
2915
2916 if (!expand_check(*tls_alpn, US"tls_alpn", &exp_alpn, errstr))
2917   return FALSE;
2918
2919 if (!exp_alpn)
2920   {
2921   DEBUG(D_tls) debug_printf("Setting TLS ALPN forced to fail, not sending\n");
2922   *plist = NULL;
2923   }
2924 else
2925   {
2926   const uschar * list = exp_alpn;
2927   int sep = 0;
2928   unsigned cnt = 0;
2929   gnutls_datum_t * p;
2930   uschar * s;
2931
2932   while (string_nextinlist(&list, &sep, NULL, 0)) cnt++;
2933
2934   p = store_get(sizeof(gnutls_datum_t) * cnt, exp_alpn);
2935   list = exp_alpn;
2936   for (int i = 0; s = string_nextinlist(&list, &sep, NULL, 0); i++)
2937     { p[i].data = s; p[i].size = Ustrlen(s); }
2938   *plist = (*plen = cnt) ? p : NULL;
2939   }
2940 return TRUE;
2941 }
2942
2943 static void
2944 tls_server_set_acceptable_alpns(exim_gnutls_state_st * state, uschar ** errstr)
2945 {
2946 uschar * local_alpn = string_copy(tls_alpn);
2947 int rc;
2948 const gnutls_datum_t * plist;
2949 unsigned plen;
2950
2951 if (tls_alpn_plist(&local_alpn, &plist, &plen, errstr) && plist)
2952   {
2953   /* This seems to be only mandatory if the client sends an ALPN extension;
2954   not trying ALPN is ok. Need to decide how to support server-side must-alpn. */
2955
2956   server_seen_alpn = 0;
2957   if (!(rc = gnutls_alpn_set_protocols(state->session, plist, plen,
2958                                         GNUTLS_ALPN_MANDATORY)))
2959     gnutls_handshake_set_hook_function(state->session,
2960       GNUTLS_HANDSHAKE_ANY, GNUTLS_HOOK_POST, tls_server_hook_cb);
2961   else
2962     DEBUG(D_tls)
2963       debug_printf("setting alpn protocols: %s\n", US gnutls_strerror(rc));
2964   }
2965 }
2966 #endif  /* EXIM_HAVE_ALPN */
2967
2968 /* ------------------------------------------------------------------------ */
2969 /* Exported functions */
2970
2971
2972
2973
2974 /*************************************************
2975 *       Start a TLS session in a server          *
2976 *************************************************/
2977
2978 /* This is called when Exim is running as a server, after having received
2979 the STARTTLS command. It must respond to that command, and then negotiate
2980 a TLS session.
2981
2982 Arguments:
2983   errstr           pointer to error string
2984
2985 Returns:           OK on success
2986                    DEFER for errors before the start of the negotiation
2987                    FAIL for errors during the negotiation; the server can't
2988                      continue running.
2989 */
2990
2991 int
2992 tls_server_start(uschar ** errstr)
2993 {
2994 int rc;
2995 exim_gnutls_state_st * state = NULL;
2996
2997 /* Check for previous activation */
2998 if (tls_in.active.sock >= 0)
2999   {
3000   tls_error(US"STARTTLS received after TLS started", US "", NULL, errstr);
3001   smtp_printf("554 Already in TLS\r\n", FALSE);
3002   return FAIL;
3003   }
3004
3005 /* Initialize the library. If it fails, it will already have logged the error
3006 and sent an SMTP response. */
3007
3008 DEBUG(D_tls) debug_printf("initialising GnuTLS as a server\n");
3009
3010   {
3011 #ifdef MEASURE_TIMING
3012   struct timeval t0;
3013   gettimeofday(&t0, NULL);
3014 #endif
3015
3016   if ((rc = tls_init(NULL, NULL,
3017       tls_require_ciphers, &state, &tls_in, errstr)) != OK) return rc;
3018
3019 #ifdef MEASURE_TIMING
3020   report_time_since(&t0, US"server tls_init (delta)");
3021 #endif
3022   }
3023
3024 #ifdef EXIM_HAVE_ALPN
3025 tls_server_set_acceptable_alpns(state, errstr);
3026 #endif
3027
3028 #ifdef EXIM_HAVE_TLS_RESUME
3029 tls_server_resume_prehandshake(state);
3030 #endif
3031
3032 /* If this is a host for which certificate verification is mandatory or
3033 optional, set up appropriately. */
3034
3035 if (verify_check_host(&tls_verify_hosts) == OK)
3036   {
3037   DEBUG(D_tls)
3038     debug_printf("TLS: a client certificate will be required\n");
3039   state->verify_requirement = VERIFY_REQUIRED;
3040   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
3041   }
3042 else if (verify_check_host(&tls_try_verify_hosts) == OK)
3043   {
3044   DEBUG(D_tls)
3045     debug_printf("TLS: a client certificate will be requested but not required\n");
3046   state->verify_requirement = VERIFY_OPTIONAL;
3047   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
3048   }
3049 else
3050   {
3051   DEBUG(D_tls)
3052     debug_printf("TLS: a client certificate will not be requested\n");
3053   state->verify_requirement = VERIFY_NONE;
3054   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_IGNORE);
3055   }
3056
3057 #ifndef DISABLE_EVENT
3058 if (event_action)
3059   {
3060   state->event_action = event_action;
3061   gnutls_session_set_ptr(state->session, state);
3062   gnutls_certificate_set_verify_function(state->lib_state.x509_cred, verify_cb);
3063   }
3064 #endif
3065
3066 /* Register SNI handling; always, even if not in tls_certificate, so that the
3067 expansion variable $tls_sni is always available. */
3068
3069 gnutls_handshake_set_post_client_hello_function(state->session,
3070     exim_sni_handling_cb);
3071
3072 /* Set context and tell client to go ahead, except in the case of TLS startup
3073 on connection, where outputting anything now upsets the clients and tends to
3074 make them disconnect. We need to have an explicit fflush() here, to force out
3075 the response. Other smtp_printf() calls do not need it, because in non-TLS
3076 mode, the fflush() happens when smtp_getc() is called. */
3077
3078 if (!state->tlsp->on_connect)
3079   {
3080   smtp_printf("220 TLS go ahead\r\n", FALSE);
3081   fflush(smtp_out);
3082   }
3083
3084 /* Now negotiate the TLS session. We put our own timer on it, since it seems
3085 that the GnuTLS library doesn't.
3086 From 3.1.0 there is gnutls_handshake_set_timeout() - but it requires you
3087 to set (and clear down afterwards) up a pull-timeout callback function that does
3088 a select, so we're no better off unless avoiding signals becomes an issue. */
3089
3090 gnutls_transport_set_ptr2(state->session,
3091     (gnutls_transport_ptr_t)(long) fileno(smtp_in),
3092     (gnutls_transport_ptr_t)(long) fileno(smtp_out));
3093 state->fd_in = fileno(smtp_in);
3094 state->fd_out = fileno(smtp_out);
3095
3096 sigalrm_seen = FALSE;
3097 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
3098 do
3099   rc = gnutls_handshake(state->session);
3100 while (rc == GNUTLS_E_AGAIN ||  rc == GNUTLS_E_INTERRUPTED && !sigalrm_seen);
3101 ALARM_CLR(0);
3102
3103 if (rc != GNUTLS_E_SUCCESS)
3104   {
3105   DEBUG(D_tls) debug_printf(" error %d from gnutls_handshake: %s\n",
3106     rc, gnutls_strerror(rc));
3107
3108   /* It seems that, except in the case of a timeout, we have to close the
3109   connection right here; otherwise if the other end is running OpenSSL it hangs
3110   until the server times out. */
3111
3112   if (sigalrm_seen)
3113     {
3114     tls_error(US"gnutls_handshake", US"timed out", NULL, errstr);
3115 #ifndef DISABLE_EVENT
3116     (void) event_raise(event_action, US"tls:fail:connect", *errstr, NULL);
3117 #endif
3118     gnutls_db_remove_session(state->session);
3119     }
3120   else
3121     {
3122     tls_error_gnu(state, US"gnutls_handshake", rc, errstr);
3123 #ifndef DISABLE_EVENT
3124     (void) event_raise(event_action, US"tls:fail:connect", *errstr, NULL);
3125 #endif
3126     (void) gnutls_alert_send_appropriate(state->session, rc);
3127     gnutls_deinit(state->session);
3128     millisleep(500);
3129     shutdown(state->fd_out, SHUT_WR);
3130     for (int i = 1024; fgetc(smtp_in) != EOF && i > 0; ) i--;   /* drain skt */
3131     (void)fclose(smtp_out);
3132     (void)fclose(smtp_in);
3133     smtp_out = smtp_in = NULL;
3134     }
3135
3136   return FAIL;
3137   }
3138
3139 #ifdef GNUTLS_SFLAGS_EXT_MASTER_SECRET
3140 if (gnutls_session_get_flags(state->session) & GNUTLS_SFLAGS_EXT_MASTER_SECRET)
3141   tls_in.ext_master_secret = TRUE;
3142 #endif
3143
3144 #ifdef EXIM_HAVE_TLS_RESUME
3145 tls_server_resume_posthandshake(state);
3146 #endif
3147
3148 DEBUG(D_tls) post_handshake_debug(state);
3149
3150 #ifdef EXIM_HAVE_ALPN
3151 if (server_seen_alpn > 0)
3152   {
3153   DEBUG(D_tls)
3154     {           /* The client offered ALPN.  See what was negotiated. */
3155     gnutls_datum_t p = {.size = 0};
3156     int rc = gnutls_alpn_get_selected_protocol(state->session, &p);
3157     if (!rc)
3158         debug_printf("ALPN negotiated: %.*s\n", (int)p.size, p.data);
3159     else
3160         debug_printf("getting alpn protocol: %s\n", US gnutls_strerror(rc));
3161
3162     }
3163   }
3164 else if (server_seen_alpn == 0)
3165   if (verify_check_host(&hosts_require_alpn) == OK)
3166     {
3167     gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_NO_APPLICATION_PROTOCOL);
3168     tls_error(US"handshake", US"ALPN required but not negotiated", NULL, errstr);
3169     return FAIL;
3170     }
3171   else
3172     DEBUG(D_tls) debug_printf("TLS: no ALPN presented in handshake\n");
3173 else
3174   DEBUG(D_tls) debug_printf("TLS: was not watching for ALPN\n");
3175 #endif
3176
3177 /* Verify after the fact */
3178
3179 if (!verify_certificate(state, errstr))
3180   {
3181   if (state->verify_requirement != VERIFY_OPTIONAL)
3182     {
3183     (void) tls_error(US"certificate verification failed", *errstr, NULL, errstr);
3184     return FAIL;
3185     }
3186   DEBUG(D_tls)
3187     debug_printf("TLS: continuing on only because verification was optional, after: %s\n",
3188         *errstr);
3189   }
3190
3191 /* Sets various Exim expansion variables; always safe within server */
3192
3193 extract_exim_vars_from_tls_state(state);
3194
3195 /* TLS has been set up. Adjust the input functions to read via TLS,
3196 and initialize appropriately. */
3197
3198 state->xfer_buffer = store_malloc(ssl_xfer_buffer_size);
3199
3200 receive_getc = tls_getc;
3201 receive_getbuf = tls_getbuf;
3202 receive_get_cache = tls_get_cache;
3203 receive_hasc = tls_hasc;
3204 receive_ungetc = tls_ungetc;
3205 receive_feof = tls_feof;
3206 receive_ferror = tls_ferror;
3207
3208 return OK;
3209 }
3210
3211
3212
3213
3214 static void
3215 tls_client_setup_hostname_checks(host_item * host, exim_gnutls_state_st * state,
3216   smtp_transport_options_block * ob)
3217 {
3218 if (verify_check_given_host(CUSS &ob->tls_verify_cert_hostnames, host) == OK)
3219   {
3220   state->exp_tls_verify_cert_hostnames =
3221 #ifdef SUPPORT_I18N
3222     string_domain_utf8_to_alabel(host->certname, NULL);
3223 #else
3224     host->certname;
3225 #endif
3226   DEBUG(D_tls)
3227     debug_printf("TLS: server cert verification includes hostname: \"%s\"\n",
3228                     state->exp_tls_verify_cert_hostnames);
3229   }
3230 }
3231
3232
3233
3234
3235 #ifdef SUPPORT_DANE
3236 /* Given our list of RRs from the TLSA lookup, build a lookup block in
3237 GnuTLS-DANE's preferred format.  Hang it on the state str for later
3238 use in DANE verification.
3239
3240 We point at the dnsa data not copy it, so it must remain valid until
3241 after verification is done.*/
3242
3243 static BOOL
3244 dane_tlsa_load(exim_gnutls_state_st * state, dns_answer * dnsa)
3245 {
3246 dns_scan dnss;
3247 int i;
3248 const char **   dane_data;
3249 int *           dane_data_len;
3250
3251 i = 1;
3252 for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS); rr;
3253      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)
3254     ) if (rr->type == T_TLSA) i++;
3255
3256 dane_data = store_get(i * sizeof(uschar *), GET_UNTAINTED);
3257 dane_data_len = store_get(i * sizeof(int), GET_UNTAINTED);
3258
3259 i = 0;
3260 for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS); rr;
3261      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)
3262     ) if (rr->type == T_TLSA && rr->size > 3)
3263   {
3264   const uschar * p = rr->data;
3265 /*XXX need somehow to mark rr and its data as tainted.  Doues this mean copying it? */
3266   uint8_t usage = p[0], sel = p[1], type = p[2];
3267
3268   DEBUG(D_tls)
3269     debug_printf("TLSA: %d %d %d size %d\n", usage, sel, type, rr->size);
3270
3271   if (  (usage != DANESSL_USAGE_DANE_TA && usage != DANESSL_USAGE_DANE_EE)
3272      || (sel != 0 && sel != 1)
3273      )
3274     continue;
3275   switch(type)
3276     {
3277     case 0:     /* Full: cannot check at present */
3278                 break;
3279     case 1:     if (rr->size != 3 + 256/8) continue;    /* sha2-256 */
3280                 break;
3281     case 2:     if (rr->size != 3 + 512/8) continue;    /* sha2-512 */
3282                 break;
3283     default:    continue;
3284     }
3285
3286   tls_out.tlsa_usage |= 1<<usage;
3287   dane_data[i] = CS p;
3288   dane_data_len[i++] = rr->size;
3289   }
3290
3291 if (!i) return FALSE;
3292
3293 dane_data[i] = NULL;
3294 dane_data_len[i] = 0;
3295
3296 state->dane_data = (char * const *)dane_data;
3297 state->dane_data_len = dane_data_len;
3298 return TRUE;
3299 }
3300 #endif
3301
3302
3303
3304 #ifdef EXIM_HAVE_TLS_RESUME
3305 /* On the client, get any stashed session for the given IP from hints db
3306 and apply it to the ssl-connection for attempted resumption.  Although
3307 there is a gnutls_session_ticket_enable_client() interface it is
3308 documented as unnecessary (as of 3.6.7) as "session tickets are emabled
3309 by deafult".  There seems to be no way to disable them, so even hosts not
3310 enabled by the transport option will be sent a ticket request.  We will
3311 however avoid storing and retrieving session information. */
3312
3313 static void
3314 tls_retrieve_session(tls_support * tlsp, gnutls_session_t session,
3315   smtp_connect_args * conn_args, smtp_transport_options_block * ob)
3316 {
3317 tlsp->resumption = RESUME_SUPPORTED;
3318
3319 if (!conn_args->have_lbserver)
3320   { DEBUG(D_tls) debug_printf("resumption not supported on continued-connection\n"); }
3321 else if (verify_check_given_host(CUSS &ob->tls_resumption_hosts, conn_args->host) == OK)
3322   {
3323   dbdata_tls_session * dt;
3324   int len, rc;
3325   open_db dbblock, * dbm_file;
3326
3327   tlsp->host_resumable = TRUE;
3328   tls_client_resmption_key(tlsp, conn_args, ob);
3329
3330   tlsp->resumption |= RESUME_CLIENT_REQUESTED;
3331   if ((dbm_file = dbfn_open(US"tls", O_RDONLY, &dbblock, FALSE, FALSE)))
3332     {
3333     /* We'd like to filter the retrieved session for ticket advisory expiry,
3334     but 3.6.1 seems to give no access to that */
3335
3336     if ((dt = dbfn_read_with_length(dbm_file, tlsp->resume_index, &len)))
3337       if (!(rc = gnutls_session_set_data(session,
3338                     CUS dt->session, (size_t)len - sizeof(dbdata_tls_session))))
3339         {
3340         DEBUG(D_tls) debug_printf("good session\n");
3341         tlsp->resumption |= RESUME_CLIENT_SUGGESTED;
3342         }
3343       else DEBUG(D_tls) debug_printf("setting session resumption data: %s\n",
3344             US gnutls_strerror(rc));
3345     dbfn_close(dbm_file);
3346     }
3347   }
3348 }
3349
3350
3351 static void
3352 tls_save_session(tls_support * tlsp, gnutls_session_t session, const host_item * host)
3353 {
3354 /* TLS 1.2 - we get both the callback and the direct posthandshake call,
3355 but this flag is not set until the second.  TLS 1.3 it's the other way about.
3356 Keep both calls as the session data cannot be extracted before handshake
3357 completes. */
3358
3359 if (gnutls_session_get_flags(session) & GNUTLS_SFLAGS_SESSION_TICKET)
3360   {
3361   gnutls_datum_t tkt;
3362   int rc;
3363
3364   DEBUG(D_tls) debug_printf("server offered session ticket\n");
3365   tlsp->ticket_received = TRUE;
3366   tlsp->resumption |= RESUME_SERVER_TICKET;
3367
3368   if (tlsp->host_resumable)
3369     if (!(rc = gnutls_session_get_data2(session, &tkt)))
3370       {
3371       open_db dbblock, * dbm_file;
3372       int dlen = sizeof(dbdata_tls_session) + tkt.size;
3373       dbdata_tls_session * dt = store_get(dlen, GET_TAINTED);
3374
3375       DEBUG(D_tls) debug_printf("session data size %u\n", (unsigned)tkt.size);
3376       memcpy(dt->session, tkt.data, tkt.size);
3377       gnutls_free(tkt.data);
3378
3379       if ((dbm_file = dbfn_open(US"tls", O_RDWR, &dbblock, FALSE, FALSE)))
3380         {
3381         /* key for the db is the IP */
3382         dbfn_write(dbm_file, tlsp->resume_index, dt, dlen);
3383         dbfn_close(dbm_file);
3384
3385         DEBUG(D_tls)
3386           debug_printf("wrote session db (len %u)\n", (unsigned)dlen);
3387         }
3388       }
3389     else DEBUG(D_tls)
3390       debug_printf("extract session data: %s\n", US gnutls_strerror(rc));
3391   }
3392 }
3393
3394
3395 /* With a TLS1.3 session, the ticket(s) are not seen until
3396 the first data read is attempted.  And there's often two of them.
3397 Pick them up with this callback.  We are also called for 1.2
3398 but we do nothing.
3399 */
3400 static int
3401 tls_client_ticket_cb(gnutls_session_t sess, u_int htype, unsigned when,
3402   unsigned incoming, const gnutls_datum_t * msg)
3403 {
3404 exim_gnutls_state_st * state = gnutls_session_get_ptr(sess);
3405 tls_support * tlsp = state->tlsp;
3406
3407 DEBUG(D_tls) debug_printf("newticket cb\n");
3408
3409 if (!tlsp->ticket_received)
3410   tls_save_session(tlsp, sess, state->host);
3411 return 0;
3412 }
3413
3414
3415 static void
3416 tls_client_resume_prehandshake(exim_gnutls_state_st * state,
3417   tls_support * tlsp, smtp_connect_args * conn_args,
3418   smtp_transport_options_block * ob)
3419 {
3420 gnutls_session_set_ptr(state->session, state);
3421 gnutls_handshake_set_hook_function(state->session,
3422   GNUTLS_HANDSHAKE_NEW_SESSION_TICKET, GNUTLS_HOOK_POST, tls_client_ticket_cb);
3423
3424 tls_retrieve_session(tlsp, state->session, conn_args, ob);
3425 }
3426
3427 static void
3428 tls_client_resume_posthandshake(exim_gnutls_state_st * state,
3429   tls_support * tlsp, host_item * host)
3430 {
3431 if (gnutls_session_is_resumed(state->session))
3432   {
3433   DEBUG(D_tls) debug_printf("Session resumed\n");
3434   tlsp->resumption |= RESUME_USED;
3435   }
3436
3437 tls_save_session(tlsp, state->session, host);
3438 }
3439 #endif  /* !DISABLE_TLS_RESUME */
3440
3441
3442 /*************************************************
3443 *    Start a TLS session in a client             *
3444 *************************************************/
3445
3446 /* Called from the smtp transport after STARTTLS has been accepted.
3447
3448 Arguments:
3449   cctx          connection context
3450   conn_args     connection details
3451   cookie        datum for randomness (not used)
3452   tlsp          record details of channel configuration here; must be non-NULL
3453   errstr        error string pointer
3454
3455 Returns:        TRUE for success with TLS session context set in smtp context,
3456                 FALSE on error
3457 */
3458
3459 BOOL
3460 tls_client_start(client_conn_ctx * cctx, smtp_connect_args * conn_args,
3461   void * cookie ARG_UNUSED,
3462   tls_support * tlsp, uschar ** errstr)
3463 {
3464 host_item * host = conn_args->host;          /* for msgs and option-tests */
3465 transport_instance * tb = conn_args->tblock; /* always smtp or NULL */
3466 smtp_transport_options_block * ob = tb
3467   ? (smtp_transport_options_block *)tb->options_block
3468   : &smtp_transport_option_defaults;
3469 int rc;
3470 exim_gnutls_state_st * state = NULL;
3471 uschar * cipher_list = NULL;
3472
3473 #ifndef DISABLE_OCSP
3474 BOOL require_ocsp =
3475   verify_check_given_host(CUSS &ob->hosts_require_ocsp, host) == OK;
3476 BOOL request_ocsp = require_ocsp ? TRUE
3477   : verify_check_given_host(CUSS &ob->hosts_request_ocsp, host) == OK;
3478 #endif
3479
3480 DEBUG(D_tls) debug_printf("initialising GnuTLS as a client on fd %d\n", cctx->sock);
3481
3482 #ifdef SUPPORT_DANE
3483 /* If dane is flagged, have either request or require dane for this host, and
3484 a TLSA record found.  Therefore, dane verify required.  Which implies cert must
3485 be requested and supplied, dane verify must pass, and cert verify irrelevant
3486 (incl.  hostnames), and (caller handled) require_tls and sni=$domain */
3487
3488 if (conn_args->dane && ob->dane_require_tls_ciphers)
3489   {
3490   /* not using Expand_check_tlsvar because not yet in state */
3491   if (!expand_check(ob->dane_require_tls_ciphers, US"dane_require_tls_ciphers",
3492       &cipher_list, errstr))
3493     return FALSE;
3494   cipher_list = cipher_list && *cipher_list
3495     ? ob->dane_require_tls_ciphers : ob->tls_require_ciphers;
3496   }
3497 #endif
3498
3499 if (!cipher_list)
3500   cipher_list = ob->tls_require_ciphers;
3501
3502   {
3503 #ifdef MEASURE_TIMING
3504   struct timeval t0;
3505   gettimeofday(&t0, NULL);
3506 #endif
3507
3508   if (tls_init(host, ob, cipher_list, &state, tlsp, errstr) != OK)
3509     return FALSE;
3510
3511 #ifdef MEASURE_TIMING
3512   report_time_since(&t0, US"client tls_init (delta)");
3513 #endif
3514   }
3515
3516 if (ob->tls_alpn)
3517 #ifdef EXIM_HAVE_ALPN
3518   {
3519   const gnutls_datum_t * plist;
3520   unsigned plen;
3521
3522   if (!tls_alpn_plist(&ob->tls_alpn, &plist, &plen, errstr))
3523     return FALSE;
3524   if (plist)
3525     if (gnutls_alpn_set_protocols(state->session, plist, plen, 0) != 0)
3526       {
3527       tls_error(US"alpn init", NULL, state->host, errstr);
3528       return FALSE;
3529       }
3530     else
3531       DEBUG(D_tls) debug_printf("Setting TLS ALPN '%s'\n", ob->tls_alpn);
3532   }
3533 #else
3534   log_write(0, LOG_MAIN, "ALPN unusable with this GnuTLS library version; ignoring \"%s\"\n",
3535           ob->tls_alpn);
3536 #endif
3537
3538   {
3539   int dh_min_bits = ob->tls_dh_min_bits;
3540   if (dh_min_bits < EXIM_CLIENT_DH_MIN_MIN_BITS)
3541     {
3542     DEBUG(D_tls)
3543       debug_printf("WARNING: tls_dh_min_bits far too low,"
3544                     " clamping %d up to %d\n",
3545           dh_min_bits, EXIM_CLIENT_DH_MIN_MIN_BITS);
3546     dh_min_bits = EXIM_CLIENT_DH_MIN_MIN_BITS;
3547     }
3548
3549   DEBUG(D_tls) debug_printf("Setting D-H prime minimum"
3550                     " acceptable bits to %d\n",
3551       dh_min_bits);
3552   gnutls_dh_set_prime_bits(state->session, dh_min_bits);
3553   }
3554
3555 /* Stick to the old behaviour for compatibility if tls_verify_certificates is
3556 set but both tls_verify_hosts and tls_try_verify_hosts are unset. Check only
3557 the specified host patterns if one of them is defined */
3558
3559 #ifdef SUPPORT_DANE
3560 if (conn_args->dane && dane_tlsa_load(state, &conn_args->tlsa_dnsa))
3561   {
3562   DEBUG(D_tls)
3563     debug_printf("TLS: server certificate DANE required\n");
3564   state->verify_requirement = VERIFY_DANE;
3565   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
3566   }
3567 else
3568 #endif
3569     if (  (  state->exp_tls_verify_certificates
3570           && !ob->tls_verify_hosts
3571           && (!ob->tls_try_verify_hosts || !*ob->tls_try_verify_hosts)
3572           )
3573         || verify_check_given_host(CUSS &ob->tls_verify_hosts, host) == OK
3574        )
3575   {
3576   tls_client_setup_hostname_checks(host, state, ob);
3577   DEBUG(D_tls)
3578     debug_printf("TLS: server certificate verification required\n");
3579   state->verify_requirement = VERIFY_REQUIRED;
3580   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
3581   }
3582 else if (verify_check_given_host(CUSS &ob->tls_try_verify_hosts, host) == OK)
3583   {
3584   tls_client_setup_hostname_checks(host, state, ob);
3585   DEBUG(D_tls)
3586     debug_printf("TLS: server certificate verification optional\n");
3587   state->verify_requirement = VERIFY_OPTIONAL;
3588   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
3589   }
3590 else
3591   {
3592   DEBUG(D_tls)
3593     debug_printf("TLS: server certificate verification not required\n");
3594   state->verify_requirement = VERIFY_NONE;
3595   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_IGNORE);
3596   }
3597
3598 #ifndef DISABLE_OCSP
3599                         /* supported since GnuTLS 3.1.3 */
3600 if (request_ocsp)
3601   {
3602   DEBUG(D_tls) debug_printf("TLS: will request OCSP stapling\n");
3603   if ((rc = gnutls_ocsp_status_request_enable_client(state->session,
3604                     NULL, 0, NULL)) != OK)
3605     {
3606     tls_error_gnu(state, US"cert-status-req", rc, errstr);
3607     return FALSE;
3608     }
3609   tlsp->ocsp = OCSP_NOT_RESP;
3610   }
3611 #endif
3612
3613 #ifdef EXIM_HAVE_TLS_RESUME
3614 tls_client_resume_prehandshake(state, tlsp, conn_args, ob);
3615 #endif
3616
3617 #ifndef DISABLE_EVENT
3618 if (tb && tb->event_action)
3619   {
3620   state->event_action = tb->event_action;
3621   gnutls_session_set_ptr(state->session, state);
3622   gnutls_certificate_set_verify_function(state->lib_state.x509_cred, verify_cb);
3623   }
3624 #endif
3625
3626 gnutls_transport_set_ptr(state->session, (gnutls_transport_ptr_t)(long) cctx->sock);
3627 state->fd_in = cctx->sock;
3628 state->fd_out = cctx->sock;
3629
3630 DEBUG(D_tls) debug_printf("about to gnutls_handshake\n");
3631 /* There doesn't seem to be a built-in timeout on connection. */
3632
3633 sigalrm_seen = FALSE;
3634 ALARM(ob->command_timeout);
3635 do
3636   rc = gnutls_handshake(state->session);
3637 while (rc == GNUTLS_E_AGAIN || rc == GNUTLS_E_INTERRUPTED && !sigalrm_seen);
3638 ALARM_CLR(0);
3639
3640 if (rc != GNUTLS_E_SUCCESS)
3641   {
3642   if (sigalrm_seen)
3643     {
3644     gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_USER_CANCELED);
3645     tls_error(US"gnutls_handshake", US"timed out", state->host, errstr);
3646     }
3647   else
3648     tls_error_gnu(state, US"gnutls_handshake", rc, errstr);
3649   return FALSE;
3650   }
3651
3652 DEBUG(D_tls) post_handshake_debug(state);
3653
3654 /* Verify late */
3655
3656 if (!verify_certificate(state, errstr))
3657   {
3658   tls_error(US"certificate verification failed", *errstr, state->host, errstr);
3659   return FALSE;
3660   }
3661
3662 #ifdef GNUTLS_SFLAGS_EXT_MASTER_SECRET
3663 if (gnutls_session_get_flags(state->session) & GNUTLS_SFLAGS_EXT_MASTER_SECRET)
3664   tlsp->ext_master_secret = TRUE;
3665 #endif
3666
3667 #ifndef DISABLE_OCSP
3668 if (request_ocsp)
3669   {
3670   DEBUG(D_tls)
3671     {
3672     gnutls_datum_t stapling;
3673     gnutls_ocsp_resp_t resp;
3674     gnutls_datum_t printed;
3675     unsigned idx = 0;
3676
3677     for (;
3678 # ifdef GNUTLS_OCSP_STATUS_REQUEST_GET2
3679          (rc = gnutls_ocsp_status_request_get2(state->session, idx, &stapling)) == 0;
3680 #else
3681          (rc = gnutls_ocsp_status_request_get(state->session, &stapling)) == 0;
3682 #endif
3683          idx++)
3684       if (  (rc= gnutls_ocsp_resp_init(&resp)) == 0
3685          && (rc= gnutls_ocsp_resp_import(resp, &stapling)) == 0
3686          && (rc= gnutls_ocsp_resp_print(resp, GNUTLS_OCSP_PRINT_COMPACT, &printed)) == 0
3687          )
3688         {
3689         debug_printf("%.4096s", printed.data);
3690         gnutls_free(printed.data);
3691         }
3692       else
3693         (void) tls_error_gnu(state, US"ocsp decode", rc, errstr);
3694     if (idx == 0 && rc)
3695       (void) tls_error_gnu(state, US"ocsp decode", rc, errstr);
3696     }
3697
3698   if (gnutls_ocsp_status_request_is_checked(state->session, 0) == 0)
3699     {
3700     tlsp->ocsp = OCSP_FAILED;
3701     tls_error(US"certificate status check failed", NULL, state->host, errstr);
3702     if (require_ocsp)
3703       return FALSE;
3704     }
3705   else
3706     {
3707     DEBUG(D_tls) debug_printf("Passed OCSP checking\n");
3708     tlsp->ocsp = OCSP_VFIED;
3709     }
3710   }
3711 #endif
3712
3713 #ifdef EXIM_HAVE_TLS_RESUME
3714 tls_client_resume_posthandshake(state, tlsp, host);
3715 #endif
3716
3717 #ifdef EXIM_HAVE_ALPN
3718 if (ob->tls_alpn)       /* We requested. See what was negotiated. */
3719   {
3720   gnutls_datum_t p = {.size = 0};
3721
3722   if (gnutls_alpn_get_selected_protocol(state->session, &p) == 0)
3723     { DEBUG(D_tls) debug_printf("ALPN negotiated: '%.*s'\n", (int)p.size, p.data); }
3724   else if (verify_check_given_host(CUSS &ob->hosts_require_alpn, host) == OK)
3725     {
3726     gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_NO_APPLICATION_PROTOCOL);
3727     tls_error(US"handshake", US"ALPN required but not negotiated", state->host, errstr);
3728     return FALSE;
3729     }
3730   else
3731     DEBUG(D_tls) debug_printf("No ALPN negotiated");
3732   }
3733 #endif
3734
3735 /* Sets various Exim expansion variables; may need to adjust for ACL callouts */
3736
3737 extract_exim_vars_from_tls_state(state);
3738
3739 cctx->tls_ctx = state;
3740 return TRUE;
3741 }
3742
3743
3744
3745
3746 /*
3747 Arguments:
3748   ct_ctx        client TLS context pointer, or NULL for the one global server context
3749 */
3750
3751 void
3752 tls_shutdown_wr(void * ct_ctx)
3753 {
3754 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
3755 tls_support * tlsp = state->tlsp;
3756
3757 if (!tlsp || tlsp->active.sock < 0) return;  /* TLS was not active */
3758
3759 tls_write(ct_ctx, NULL, 0, FALSE);      /* flush write buffer */
3760
3761 HDEBUG(D_transport|D_tls|D_acl|D_v) debug_printf_indent("  SMTP(TLS shutdown)>>\n");
3762 gnutls_bye(state->session, GNUTLS_SHUT_WR);
3763 }
3764
3765 /*************************************************
3766 *         Close down a TLS session               *
3767 *************************************************/
3768
3769 /* This is also called from within a delivery subprocess forked from the
3770 daemon, to shut down the TLS library, without actually doing a shutdown (which
3771 would tamper with the TLS session in the parent process).
3772
3773 Arguments:
3774   ct_ctx        client context pointer, or NULL for the one global server context
3775   do_shutdown   0 no data-flush or TLS close-alert
3776                 1 if TLS close-alert is to be sent,
3777                 2 if also response to be waited for (2s timeout)
3778
3779 Returns:     nothing
3780 */
3781
3782 void
3783 tls_close(void * ct_ctx, int do_shutdown)
3784 {
3785 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
3786 tls_support * tlsp = state->tlsp;
3787
3788 if (!tlsp || tlsp->active.sock < 0) return;  /* TLS was not active */
3789
3790 if (do_shutdown)
3791   {
3792   DEBUG(D_tls) debug_printf("tls_close(): shutting down TLS%s\n",
3793     do_shutdown > TLS_SHUTDOWN_NOWAIT ? " (with response-wait)" : "");
3794
3795   tls_write(ct_ctx, NULL, 0, FALSE);    /* flush write buffer */
3796
3797 #ifdef EXIM_TCP_CORK
3798   if (do_shutdown == TLS_SHUTDOWN_WAIT)
3799     (void) setsockopt(tlsp->active.sock, IPPROTO_TCP, EXIM_TCP_CORK, US &off, sizeof(off));
3800 #endif
3801
3802   /* The library seems to have no way to only wait for a peer's
3803   shutdown, so handle the same as TLS_SHUTDOWN_WAIT */
3804
3805   ALARM(2);
3806   gnutls_bye(state->session,
3807       do_shutdown > TLS_SHUTDOWN_NOWAIT ? GNUTLS_SHUT_RDWR : GNUTLS_SHUT_WR);
3808   ALARM_CLR(0);
3809   }
3810
3811 if (!ct_ctx)    /* server */
3812   {
3813   receive_getc =        smtp_getc;
3814   receive_getbuf =      smtp_getbuf;
3815   receive_get_cache =   smtp_get_cache;
3816   receive_hasc =        smtp_hasc;
3817   receive_ungetc =      smtp_ungetc;
3818   receive_feof =        smtp_feof;
3819   receive_ferror =      smtp_ferror;
3820   }
3821
3822 gnutls_deinit(state->session);
3823 tlsp->active.sock = -1;
3824 tlsp->active.tls_ctx = NULL;
3825 /* Leave bits, peercert, cipher, peerdn, certificate_verified set, for logging */
3826 tlsp->channelbinding = NULL;
3827
3828
3829 if (state->xfer_buffer) store_free(state->xfer_buffer);
3830 }
3831
3832
3833
3834
3835 static BOOL
3836 tls_refill(unsigned lim)
3837 {
3838 exim_gnutls_state_st * state = &state_server;
3839 ssize_t inbytes;
3840
3841 DEBUG(D_tls) debug_printf("Calling gnutls_record_recv(session=%p, buffer=%p, buffersize=%u)\n",
3842   state->session, state->xfer_buffer, ssl_xfer_buffer_size);
3843
3844 sigalrm_seen = FALSE;
3845 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
3846
3847 errno = 0;
3848 do
3849   inbytes = gnutls_record_recv(state->session, state->xfer_buffer,
3850     MIN(ssl_xfer_buffer_size, lim));
3851 while (inbytes == GNUTLS_E_AGAIN);
3852
3853 if (smtp_receive_timeout > 0) ALARM_CLR(0);
3854
3855 if (had_command_timeout)                /* set by signal handler */
3856   smtp_command_timeout_exit();          /* does not return */
3857 if (had_command_sigterm)
3858   smtp_command_sigterm_exit();
3859 if (had_data_timeout)
3860   smtp_data_timeout_exit();
3861 if (had_data_sigint)
3862   smtp_data_sigint_exit();
3863
3864 /* Timeouts do not get this far.  A zero-byte return appears to mean that the
3865 TLS session has been closed down, not that the socket itself has been closed
3866 down. Revert to non-TLS handling. */
3867
3868 if (sigalrm_seen)
3869   {
3870   DEBUG(D_tls) debug_printf("Got tls read timeout\n");
3871   state->xfer_error = TRUE;
3872   return FALSE;
3873   }
3874
3875 else if (inbytes == 0)
3876   {
3877   DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
3878   tls_close(NULL, TLS_NO_SHUTDOWN);
3879   return FALSE;
3880   }
3881
3882 /* Handle genuine errors */
3883
3884 else if (inbytes < 0)
3885   {
3886   DEBUG(D_tls) debug_printf("%s: err from gnutls_record_recv\n", __FUNCTION__);
3887   record_io_error(state, (int) inbytes, US"recv", NULL);
3888   state->xfer_error = TRUE;
3889   return FALSE;
3890   }
3891 #ifndef DISABLE_DKIM
3892 dkim_exim_verify_feed(state->xfer_buffer, inbytes);
3893 #endif
3894 state->xfer_buffer_hwm = (int) inbytes;
3895 state->xfer_buffer_lwm = 0;
3896 return TRUE;
3897 }
3898
3899 /*************************************************
3900 *            TLS version of getc                 *
3901 *************************************************/
3902
3903 /* This gets the next byte from the TLS input buffer. If the buffer is empty,
3904 it refills the buffer via the GnuTLS reading function.
3905 Only used by the server-side TLS.
3906
3907 This feeds DKIM and should be used for all message-body reads.
3908
3909 Arguments:  lim         Maximum amount to read/buffer
3910 Returns:    the next character or EOF
3911 */
3912
3913 int
3914 tls_getc(unsigned lim)
3915 {
3916 exim_gnutls_state_st * state = &state_server;
3917
3918 if (state->xfer_buffer_lwm >= state->xfer_buffer_hwm)
3919   if (!tls_refill(lim))
3920     return state->xfer_error ? EOF : smtp_getc(lim);
3921
3922 /* Something in the buffer; return next uschar */
3923
3924 return state->xfer_buffer[state->xfer_buffer_lwm++];
3925 }
3926
3927 BOOL
3928 tls_hasc(void)
3929 {
3930 exim_gnutls_state_st * state = &state_server;
3931 return state->xfer_buffer_lwm < state->xfer_buffer_hwm;
3932 }
3933
3934 uschar *
3935 tls_getbuf(unsigned * len)
3936 {
3937 exim_gnutls_state_st * state = &state_server;
3938 unsigned size;
3939 uschar * buf;
3940
3941 if (state->xfer_buffer_lwm >= state->xfer_buffer_hwm)
3942   if (!tls_refill(*len))
3943     {
3944     if (!state->xfer_error) return smtp_getbuf(len);
3945     *len = 0;
3946     return NULL;
3947     }
3948
3949 if ((size = state->xfer_buffer_hwm - state->xfer_buffer_lwm) > *len)
3950   size = *len;
3951 buf = &state->xfer_buffer[state->xfer_buffer_lwm];
3952 state->xfer_buffer_lwm += size;
3953 *len = size;
3954 return buf;
3955 }
3956
3957
3958 /* Get up to the given number of bytes from any cached data, and feed to dkim. */
3959 void
3960 tls_get_cache(unsigned lim)
3961 {
3962 #ifndef DISABLE_DKIM
3963 exim_gnutls_state_st * state = &state_server;
3964 int n = state->xfer_buffer_hwm - state->xfer_buffer_lwm;
3965 if (n > lim)
3966   n = lim;
3967 if (n > 0)
3968   dkim_exim_verify_feed(state->xfer_buffer+state->xfer_buffer_lwm, n);
3969 #endif
3970 }
3971
3972
3973 BOOL
3974 tls_could_getc(void)
3975 {
3976 return state_server.xfer_buffer_lwm < state_server.xfer_buffer_hwm
3977  || gnutls_record_check_pending(state_server.session) > 0;
3978 }
3979
3980
3981 /*************************************************
3982 *          Read bytes from TLS channel           *
3983 *************************************************/
3984
3985 /* This does not feed DKIM, so if the caller uses this for reading message body,
3986 then the caller must feed DKIM.
3987
3988 Arguments:
3989   ct_ctx    client context pointer, or NULL for the one global server context
3990   buff      buffer of data
3991   len       size of buffer
3992
3993 Returns:    the number of bytes read
3994             -1 after a failed read, including EOF
3995 */
3996
3997 int
3998 tls_read(void * ct_ctx, uschar *buff, size_t len)
3999 {
4000 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
4001 ssize_t inbytes;
4002
4003 if (len > INT_MAX)
4004   len = INT_MAX;
4005
4006 if (state->xfer_buffer_lwm < state->xfer_buffer_hwm)
4007   DEBUG(D_tls)
4008     debug_printf("*** PROBABLY A BUG *** " \
4009         "tls_read() called with data in the tls_getc() buffer, %d ignored\n",
4010         state->xfer_buffer_hwm - state->xfer_buffer_lwm);
4011
4012 DEBUG(D_tls)
4013   debug_printf("Calling gnutls_record_recv(session=%p, buffer=%p, len=" SIZE_T_FMT ")\n",
4014       state->session, buff, len);
4015
4016 errno = 0;
4017 do
4018   inbytes = gnutls_record_recv(state->session, buff, len);
4019 while (inbytes == GNUTLS_E_AGAIN);
4020
4021 if (inbytes > 0) return inbytes;
4022 if (inbytes == 0)
4023   {
4024   DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
4025   }
4026 else
4027   {
4028   DEBUG(D_tls) debug_printf("%s: err from gnutls_record_recv\n", __FUNCTION__);
4029   record_io_error(state, (int)inbytes, US"recv", NULL);
4030   }
4031
4032 return -1;
4033 }
4034
4035
4036
4037
4038 /*************************************************
4039 *         Write bytes down TLS channel           *
4040 *************************************************/
4041
4042 /*
4043 Arguments:
4044   ct_ctx    client context pointer, or NULL for the one global server context
4045   buff      buffer of data
4046   len       number of bytes
4047   more      more data expected soon
4048
4049 Calling with len zero and more unset will flush buffered writes.  The buff
4050 argument can be null for that case.
4051
4052 Returns:    the number of bytes after a successful write,
4053             -1 after a failed write
4054 */
4055
4056 int
4057 tls_write(void * ct_ctx, const uschar * buff, size_t len, BOOL more)
4058 {
4059 ssize_t outbytes;
4060 size_t left = len;
4061 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
4062
4063 #ifdef SUPPORT_CORK
4064 if (more && !state->corked)
4065   {
4066   DEBUG(D_tls) debug_printf("gnutls_record_cork(session=%p)\n", state->session);
4067   gnutls_record_cork(state->session);
4068   state->corked = TRUE;
4069   }
4070 #endif
4071
4072 DEBUG(D_tls) debug_printf("%s(%p, " SIZE_T_FMT "%s)\n", __FUNCTION__,
4073   buff, left, more ? ", more" : "");
4074
4075 while (left > 0)
4076   {
4077   DEBUG(D_tls) debug_printf("gnutls_record_send(session=%p, buffer=%p, left=" SIZE_T_FMT ")\n",
4078       state->session, buff, left);
4079
4080   errno = 0;
4081   do
4082     outbytes = gnutls_record_send(state->session, buff, left);
4083   while (outbytes == GNUTLS_E_AGAIN);
4084
4085   DEBUG(D_tls) debug_printf("outbytes=" SSIZE_T_FMT "\n", outbytes);
4086
4087   if (outbytes < 0)
4088     {
4089 #ifdef GNUTLS_E_PREMATURE_TERMINATION
4090     if (  outbytes == GNUTLS_E_PREMATURE_TERMINATION && errno == ECONNRESET
4091        && !ct_ctx && f.smtp_in_quit
4092        )
4093       {                                 /* Outlook, dammit */
4094       if (LOGGING(protocol_detail))
4095         log_write(0, LOG_MAIN, "[%s] after QUIT, client reset TCP before"
4096           " SMTP response and TLS close\n", sender_host_address);
4097       else
4098         DEBUG(D_tls) debug_printf("[%s] SSL_write: after QUIT,"
4099           " client reset TCP before TLS close\n", sender_host_address);
4100       }
4101     else
4102 #endif
4103       {
4104       DEBUG(D_tls) debug_printf("%s: gnutls_record_send err\n", __FUNCTION__);
4105       record_io_error(state, outbytes, US"send", NULL);
4106       }
4107     return -1;
4108     }
4109   if (outbytes == 0)
4110     {
4111     record_io_error(state, 0, US"send", US"TLS channel closed on write");
4112     return -1;
4113     }
4114
4115   left -= outbytes;
4116   buff += outbytes;
4117   }
4118
4119 if (len > INT_MAX)
4120   {
4121   DEBUG(D_tls)
4122     debug_printf("Whoops!  Wrote more bytes (" SIZE_T_FMT ") than INT_MAX\n",
4123         len);
4124   len = INT_MAX;
4125   }
4126
4127 #ifdef SUPPORT_CORK
4128 if (!more && state->corked)
4129   {
4130   DEBUG(D_tls) debug_printf("gnutls_record_uncork(session=%p)\n", state->session);
4131   do
4132     /* We can't use GNUTLS_RECORD_WAIT here, as it retries on
4133     GNUTLS_E_AGAIN || GNUTLS_E_INTR, which would break our timeout set by alarm().
4134     The GNUTLS_E_AGAIN should not happen ever, as our sockets are blocking anyway.
4135     But who knows. (That all relies on the fact that GNUTLS_E_INTR and GNUTLS_E_AGAIN
4136     match the EINTR and EAGAIN errno values.) */
4137     outbytes = gnutls_record_uncork(state->session, 0);
4138   while (outbytes == GNUTLS_E_AGAIN);
4139
4140   if (outbytes < 0)
4141     {
4142     record_io_error(state, len, US"uncork", NULL);
4143     return -1;
4144     }
4145
4146   state->corked = FALSE;
4147   }
4148 #endif
4149
4150 return (int) len;
4151 }
4152
4153
4154
4155
4156 /*************************************************
4157 *            Random number generation            *
4158 *************************************************/
4159
4160 /* Pseudo-random number generation.  The result is not expected to be
4161 cryptographically strong but not so weak that someone will shoot themselves
4162 in the foot using it as a nonce in input in some email header scheme or
4163 whatever weirdness they'll twist this into.  The result should handle fork()
4164 and avoid repeating sequences.  OpenSSL handles that for us.
4165
4166 Arguments:
4167   max       range maximum
4168 Returns     a random number in range [0, max-1]
4169 */
4170
4171 #ifdef HAVE_GNUTLS_RND
4172 int
4173 vaguely_random_number(int max)
4174 {
4175 unsigned int r;
4176 int i, needed_len;
4177 uschar smallbuf[sizeof(r)];
4178
4179 if (max <= 1)
4180   return 0;
4181
4182 needed_len = sizeof(r);
4183 /* Don't take 8 times more entropy than needed if int is 8 octets and we were
4184 asked for a number less than 10. */
4185
4186 for (r = max, i = 0; r; ++i)
4187   r >>= 1;
4188 i = (i + 7) / 8;
4189 if (i < needed_len)
4190   needed_len = i;
4191
4192 i = gnutls_rnd(GNUTLS_RND_NONCE, smallbuf, needed_len);
4193 if (i < 0)
4194   {
4195   DEBUG(D_all) debug_printf("gnutls_rnd() failed, using fallback\n");
4196   return vaguely_random_number_fallback(max);
4197   }
4198 r = 0;
4199 for (uschar * p = smallbuf; needed_len; --needed_len, ++p)
4200   r = r * 256 + *p;
4201
4202 /* We don't particularly care about weighted results; if someone wants
4203  * smooth distribution and cares enough then they should submit a patch then. */
4204 return r % max;
4205 }
4206 #else /* HAVE_GNUTLS_RND */
4207 int
4208 vaguely_random_number(int max)
4209 {
4210   return vaguely_random_number_fallback(max);
4211 }
4212 #endif /* HAVE_GNUTLS_RND */
4213
4214
4215
4216
4217 /*************************************************
4218 *  Let tls_require_ciphers be checked at startup *
4219 *************************************************/
4220
4221 /* The tls_require_ciphers option, if set, must be something which the
4222 library can parse.
4223
4224 Returns:     NULL on success, or error message
4225 */
4226
4227 uschar *
4228 tls_validate_require_cipher(void)
4229 {
4230 int rc;
4231 uschar *expciphers = NULL;
4232 gnutls_priority_t priority_cache;
4233 const char *errpos;
4234 uschar * dummy_errstr;
4235
4236 #ifdef GNUTLS_AUTO_GLOBAL_INIT
4237 # define validate_check_rc(Label) do { \
4238   if (rc != GNUTLS_E_SUCCESS) { if (exim_gnutls_base_init_done) \
4239     return string_sprintf("%s failed: %s", (Label), gnutls_strerror(rc)); } } while (0)
4240 # define return_deinit(Label) do { return (Label); } while (0)
4241 #else
4242 # define validate_check_rc(Label) do { \
4243   if (rc != GNUTLS_E_SUCCESS) { if (exim_gnutls_base_init_done) gnutls_global_deinit(); \
4244     return string_sprintf("%s failed: %s", (Label), gnutls_strerror(rc)); } } while (0)
4245 # define return_deinit(Label) do { gnutls_global_deinit(); return (Label); } while (0)
4246 #endif
4247
4248 if (exim_gnutls_base_init_done)
4249   log_write(0, LOG_MAIN|LOG_PANIC,
4250       "already initialised GnuTLS, Exim developer bug");
4251
4252 #if defined(HAVE_GNUTLS_PKCS11) && !defined(GNUTLS_AUTO_PKCS11_MANUAL)
4253 if (!gnutls_allow_auto_pkcs11)
4254   {
4255   rc = gnutls_pkcs11_init(GNUTLS_PKCS11_FLAG_MANUAL, NULL);
4256   validate_check_rc(US"gnutls_pkcs11_init");
4257   }
4258 #endif
4259 #ifndef GNUTLS_AUTO_GLOBAL_INIT
4260 rc = gnutls_global_init();
4261 validate_check_rc(US"gnutls_global_init()");
4262 #endif
4263 exim_gnutls_base_init_done = TRUE;
4264
4265 if (!(tls_require_ciphers && *tls_require_ciphers))
4266   return_deinit(NULL);
4267
4268 if (!expand_check(tls_require_ciphers, US"tls_require_ciphers", &expciphers,
4269                   &dummy_errstr))
4270   return_deinit(US"failed to expand tls_require_ciphers");
4271
4272 if (!(expciphers && *expciphers))
4273   return_deinit(NULL);
4274
4275 DEBUG(D_tls)
4276   debug_printf("tls_require_ciphers expands to \"%s\"\n", expciphers);
4277
4278 rc = gnutls_priority_init(&priority_cache, CS expciphers, &errpos);
4279 validate_check_rc(string_sprintf(
4280       "gnutls_priority_init(%s) failed at offset %ld, \"%.8s..\"",
4281       expciphers, (long)(errpos - CS expciphers), errpos));
4282
4283 #undef return_deinit
4284 #undef validate_check_rc
4285 #ifndef GNUTLS_AUTO_GLOBAL_INIT
4286 gnutls_global_deinit();
4287 #endif
4288
4289 return NULL;
4290 }
4291
4292
4293
4294
4295 /*************************************************
4296 *         Report the library versions.           *
4297 *************************************************/
4298
4299 /* See a description in tls-openssl.c for an explanation of why this exists.
4300
4301 Arguments:   string to append to
4302 Returns:     string
4303 */
4304
4305 gstring *
4306 tls_version_report(gstring * g)
4307 {
4308 return string_fmt_append(g,
4309     "Library version: GnuTLS: Compile: %s\n"
4310     "                         Runtime: %s\n",
4311              LIBGNUTLS_VERSION,
4312              gnutls_check_version(NULL));
4313 }
4314
4315 #endif  /*!MACRO_PREDEF*/
4316 /* vi: aw ai sw=2
4317 */
4318 /* End of tls-gnu.c */