91ddc579b8eabd64c324a45346c1694359e1bd68
[exim.git] / src / src / tls-gnu.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Copyright (c) Phil Pennock 2012 */
9
10 /* This file provides TLS/SSL support for Exim using the GnuTLS library,
11 one of the available supported implementations.  This file is #included into
12 tls.c when USE_GNUTLS has been set.
13
14 The code herein is a revamp of GnuTLS integration using the current APIs; the
15 original tls-gnu.c was based on a patch which was contributed by Nikos
16 Mavrogiannopoulos.  The revamp is partially a rewrite, partially cut&paste as
17 appropriate.
18
19 APIs current as of GnuTLS 2.12.18; note that the GnuTLS manual is for GnuTLS 3,
20 which is not widely deployed by OS vendors.  Will note issues below, which may
21 assist in updating the code in the future.  Another sources of hints is
22 mod_gnutls for Apache (SNI callback registration and handling).
23
24 Keeping client and server variables more split than before and is currently
25 the norm, in anticipation of TLS in ACL callouts.
26
27 I wanted to switch to gnutls_certificate_set_verify_function() so that
28 certificate rejection could happen during handshake where it belongs, rather
29 than being dropped afterwards, but that was introduced in 2.10.0 and Debian
30 (6.0.5) is still on 2.8.6.  So for now we have to stick with sub-par behaviour.
31
32 (I wasn't looking for libraries quite that old, when updating to get rid of
33 compiler warnings of deprecated APIs.  If it turns out that a lot of the rest
34 require current GnuTLS, then we'll drop support for the ancient libraries).
35 */
36
37 #include <gnutls/gnutls.h>
38 /* needed for cert checks in verification and DN extraction: */
39 #include <gnutls/x509.h>
40 /* man-page is incorrect, gnutls_rnd() is not in gnutls.h: */
41 #include <gnutls/crypto.h>
42
43 /* needed to disable PKCS11 autoload unless requested */
44 #if GNUTLS_VERSION_NUMBER >= 0x020c00
45 # include <gnutls/pkcs11.h>
46 # define SUPPORT_PARAM_TO_PK_BITS
47 #endif
48 #if GNUTLS_VERSION_NUMBER < 0x030103 && !defined(DISABLE_OCSP)
49 # warning "GnuTLS library version too old; define DISABLE_OCSP in Makefile"
50 # define DISABLE_OCSP
51 #endif
52 #if GNUTLS_VERSION_NUMBER < 0x020a00 && !defined(DISABLE_EVENT)
53 # warning "GnuTLS library version too old; tls:cert event unsupported"
54 # define DISABLE_EVENT
55 #endif
56 #if GNUTLS_VERSION_NUMBER >= 0x030306
57 # define SUPPORT_CA_DIR
58 #else
59 # undef  SUPPORT_CA_DIR
60 #endif
61 #if GNUTLS_VERSION_NUMBER >= 0x030014
62 # define SUPPORT_SYSDEFAULT_CABUNDLE
63 #endif
64 #if GNUTLS_VERSION_NUMBER >= 0x030104
65 # define GNUTLS_CERT_VFY_STATUS_PRINT
66 #endif
67 #if GNUTLS_VERSION_NUMBER >= 0x030109
68 # define SUPPORT_CORK
69 #endif
70 #if GNUTLS_VERSION_NUMBER >= 0x03010a
71 # define SUPPORT_GNUTLS_SESS_DESC
72 #endif
73 #if GNUTLS_VERSION_NUMBER >= 0x030500
74 # define SUPPORT_GNUTLS_KEYLOG
75 #endif
76 #if GNUTLS_VERSION_NUMBER >= 0x030506 && !defined(DISABLE_OCSP)
77 # define SUPPORT_SRV_OCSP_STACK
78 #endif
79
80 #ifdef SUPPORT_DANE
81 # if GNUTLS_VERSION_NUMBER >= 0x030000
82 #  define DANESSL_USAGE_DANE_TA 2
83 #  define DANESSL_USAGE_DANE_EE 3
84 # else
85 #  error GnuTLS version too early for DANE
86 # endif
87 # if GNUTLS_VERSION_NUMBER < 0x999999
88 #  define GNUTLS_BROKEN_DANE_VALIDATION
89 # endif
90 #endif
91
92 #ifndef DISABLE_OCSP
93 # include <gnutls/ocsp.h>
94 #endif
95 #ifdef SUPPORT_DANE
96 # include <gnutls/dane.h>
97 #endif
98
99 #include "tls-cipher-stdname.c"
100
101
102 /* GnuTLS 2 vs 3
103
104 GnuTLS 3 only:
105   gnutls_global_set_audit_log_function()
106
107 Changes:
108   gnutls_certificate_verify_peers2(): is new, drop the 2 for old version
109 */
110
111 /* Local static variables for GnuTLS */
112
113 /* Values for verify_requirement */
114
115 enum peer_verify_requirement
116   { VERIFY_NONE, VERIFY_OPTIONAL, VERIFY_REQUIRED, VERIFY_DANE };
117
118 /* This holds most state for server or client; with this, we can set up an
119 outbound TLS-enabled connection in an ACL callout, while not stomping all
120 over the TLS variables available for expansion.
121
122 Some of these correspond to variables in globals.c; those variables will
123 be set to point to content in one of these instances, as appropriate for
124 the stage of the process lifetime.
125
126 Not handled here: global tls_channelbinding_b64.
127 */
128
129 typedef struct exim_gnutls_state {
130   gnutls_session_t      session;
131   gnutls_certificate_credentials_t x509_cred;
132   gnutls_priority_t     priority_cache;
133   enum peer_verify_requirement verify_requirement;
134   int                   fd_in;
135   int                   fd_out;
136   BOOL                  peer_cert_verified;
137   BOOL                  peer_dane_verified;
138   BOOL                  trigger_sni_changes;
139   BOOL                  have_set_peerdn;
140   const struct host_item *host;         /* NULL if server */
141   gnutls_x509_crt_t     peercert;
142   uschar                *peerdn;
143   uschar                *ciphersuite;
144   uschar                *received_sni;
145
146   const uschar *tls_certificate;
147   const uschar *tls_privatekey;
148   const uschar *tls_sni; /* client send only, not received */
149   const uschar *tls_verify_certificates;
150   const uschar *tls_crl;
151   const uschar *tls_require_ciphers;
152
153   uschar *exp_tls_certificate;
154   uschar *exp_tls_privatekey;
155   uschar *exp_tls_verify_certificates;
156   uschar *exp_tls_crl;
157   uschar *exp_tls_require_ciphers;
158   const uschar *exp_tls_verify_cert_hostnames;
159 #ifndef DISABLE_EVENT
160   uschar *event_action;
161 #endif
162 #ifdef SUPPORT_DANE
163   char * const *        dane_data;
164   const int *           dane_data_len;
165 #endif
166
167   tls_support *tlsp;    /* set in tls_init() */
168
169   uschar *xfer_buffer;
170   int xfer_buffer_lwm;
171   int xfer_buffer_hwm;
172   BOOL xfer_eof;        /*XXX never gets set! */
173   BOOL xfer_error;
174 } exim_gnutls_state_st;
175
176 static const exim_gnutls_state_st exim_gnutls_state_init = {
177   .session =            NULL,
178   .x509_cred =          NULL,
179   .priority_cache =     NULL,
180   .verify_requirement = VERIFY_NONE,
181   .fd_in =              -1,
182   .fd_out =             -1,
183   .peer_cert_verified = FALSE,
184   .peer_dane_verified = FALSE,
185   .trigger_sni_changes =FALSE,
186   .have_set_peerdn =    FALSE,
187   .host =               NULL,
188   .peercert =           NULL,
189   .peerdn =             NULL,
190   .ciphersuite =        NULL,
191   .received_sni =       NULL,
192
193   .tls_certificate =    NULL,
194   .tls_privatekey =     NULL,
195   .tls_sni =            NULL,
196   .tls_verify_certificates = NULL,
197   .tls_crl =            NULL,
198   .tls_require_ciphers =NULL,
199
200   .exp_tls_certificate = NULL,
201   .exp_tls_privatekey = NULL,
202   .exp_tls_verify_certificates = NULL,
203   .exp_tls_crl =        NULL,
204   .exp_tls_require_ciphers = NULL,
205   .exp_tls_verify_cert_hostnames = NULL,
206 #ifndef DISABLE_EVENT
207   .event_action =       NULL,
208 #endif
209   .tlsp =               NULL,
210
211   .xfer_buffer =        NULL,
212   .xfer_buffer_lwm =    0,
213   .xfer_buffer_hwm =    0,
214   .xfer_eof =           FALSE,
215   .xfer_error =         FALSE,
216 };
217
218 /* Not only do we have our own APIs which don't pass around state, assuming
219 it's held in globals, GnuTLS doesn't appear to let us register callback data
220 for callbacks, or as part of the session, so we have to keep a "this is the
221 context we're currently dealing with" pointer and rely upon being
222 single-threaded to keep from processing data on an inbound TLS connection while
223 talking to another TLS connection for an outbound check.  This does mean that
224 there's no way for heart-beats to be responded to, for the duration of the
225 second connection.
226 XXX But see gnutls_session_get_ptr()
227 */
228
229 static exim_gnutls_state_st state_server;
230
231 /* dh_params are initialised once within the lifetime of a process using TLS;
232 if we used TLS in a long-lived daemon, we'd have to reconsider this.  But we
233 don't want to repeat this. */
234
235 static gnutls_dh_params_t dh_server_params = NULL;
236
237 /* No idea how this value was chosen; preserving it.  Default is 3600. */
238
239 static const int ssl_session_timeout = 200;
240
241 static const uschar * const exim_default_gnutls_priority = US"NORMAL";
242
243 /* Guard library core initialisation */
244
245 static BOOL exim_gnutls_base_init_done = FALSE;
246
247 #ifndef DISABLE_OCSP
248 static BOOL gnutls_buggy_ocsp = FALSE;
249 #endif
250
251
252 /* ------------------------------------------------------------------------ */
253 /* macros */
254
255 #define MAX_HOST_LEN 255
256
257 /* Set this to control gnutls_global_set_log_level(); values 0 to 9 will setup
258 the library logging; a value less than 0 disables the calls to set up logging
259 callbacks.  GNuTLS also looks for an environment variable - except not for
260 setuid binaries, making it useless - "GNUTLS_DEBUG_LEVEL".
261 Allegedly the testscript line "GNUTLS_DEBUG_LEVEL=9 sudo exim ..." would work,
262 but the env var must be added to /etc/sudoers too. */
263 #ifndef EXIM_GNUTLS_LIBRARY_LOG_LEVEL
264 # define EXIM_GNUTLS_LIBRARY_LOG_LEVEL -1
265 #endif
266
267 #ifndef EXIM_CLIENT_DH_MIN_BITS
268 # define EXIM_CLIENT_DH_MIN_BITS 1024
269 #endif
270
271 /* With GnuTLS 2.12.x+ we have gnutls_sec_param_to_pk_bits() with which we
272 can ask for a bit-strength.  Without that, we stick to the constant we had
273 before, for now. */
274 #ifndef EXIM_SERVER_DH_BITS_PRE2_12
275 # define EXIM_SERVER_DH_BITS_PRE2_12 1024
276 #endif
277
278 #define expand_check_tlsvar(Varname, errstr) \
279   expand_check(state->Varname, US #Varname, &state->exp_##Varname, errstr)
280
281 #if GNUTLS_VERSION_NUMBER >= 0x020c00
282 # define HAVE_GNUTLS_SESSION_CHANNEL_BINDING
283 # define HAVE_GNUTLS_SEC_PARAM_CONSTANTS
284 # define HAVE_GNUTLS_RND
285 /* The security fix we provide with the gnutls_allow_auto_pkcs11 option
286  * (4.82 PP/09) introduces a compatibility regression. The symbol simply
287  * isn't available sometimes, so this needs to become a conditional
288  * compilation; the sanest way to deal with this being a problem on
289  * older OSes is to block it in the Local/Makefile with this compiler
290  * definition  */
291 # ifndef AVOID_GNUTLS_PKCS11
292 #  define HAVE_GNUTLS_PKCS11
293 # endif /* AVOID_GNUTLS_PKCS11 */
294 #endif
295
296
297
298
299 /* ------------------------------------------------------------------------ */
300 /* Callback declarations */
301
302 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
303 static void exim_gnutls_logger_cb(int level, const char *message);
304 #endif
305
306 static int exim_sni_handling_cb(gnutls_session_t session);
307
308 #ifndef DISABLE_OCSP
309 static int server_ocsp_stapling_cb(gnutls_session_t session, void * ptr,
310   gnutls_datum_t * ocsp_response);
311 #endif
312
313
314
315 /* ------------------------------------------------------------------------ */
316 /* Static functions */
317
318 /*************************************************
319 *               Handle TLS error                 *
320 *************************************************/
321
322 /* Called from lots of places when errors occur before actually starting to do
323 the TLS handshake, that is, while the session is still in clear. Always returns
324 DEFER for a server and FAIL for a client so that most calls can use "return
325 tls_error(...)" to do this processing and then give an appropriate return. A
326 single function is used for both server and client, because it is called from
327 some shared functions.
328
329 Argument:
330   prefix    text to include in the logged error
331   msg       additional error string (may be NULL)
332             usually obtained from gnutls_strerror()
333   host      NULL if setting up a server;
334             the connected host if setting up a client
335   errstr    pointer to returned error string
336
337 Returns:    OK/DEFER/FAIL
338 */
339
340 static int
341 tls_error(const uschar *prefix, const uschar *msg, const host_item *host,
342   uschar ** errstr)
343 {
344 if (errstr)
345   *errstr = string_sprintf("(%s)%s%s", prefix, msg ? ": " : "", msg ? msg : US"");
346 return host ? FAIL : DEFER;
347 }
348
349
350 static int
351 tls_error_gnu(const uschar *prefix, int err, const host_item *host,
352   uschar ** errstr)
353 {
354 return tls_error(prefix, US gnutls_strerror(err), host, errstr);
355 }
356
357 static int
358 tls_error_sys(const uschar *prefix, int err, const host_item *host,
359   uschar ** errstr)
360 {
361 return tls_error(prefix, US strerror(err), host, errstr);
362 }
363
364
365 /*************************************************
366 *    Deal with logging errors during I/O         *
367 *************************************************/
368
369 /* We have to get the identity of the peer from saved data.
370
371 Argument:
372   state    the current GnuTLS exim state container
373   rc       the GnuTLS error code, or 0 if it's a local error
374   when     text identifying read or write
375   text     local error text when rc is 0
376
377 Returns:   nothing
378 */
379
380 static void
381 record_io_error(exim_gnutls_state_st *state, int rc, uschar *when, uschar *text)
382 {
383 const uschar * msg;
384 uschar * errstr;
385
386 if (rc == GNUTLS_E_FATAL_ALERT_RECEIVED)
387   msg = string_sprintf("A TLS fatal alert has been received: %s",
388     US gnutls_alert_get_name(gnutls_alert_get(state->session)));
389 else
390   msg = US gnutls_strerror(rc);
391
392 (void) tls_error(when, msg, state->host, &errstr);
393
394 if (state->host)
395   log_write(0, LOG_MAIN, "H=%s [%s] TLS error on connection %s",
396     state->host->name, state->host->address, errstr);
397 else
398   {
399   uschar * conn_info = smtp_get_connection_info();
400   if (Ustrncmp(conn_info, US"SMTP ", 5) == 0) conn_info += 5;
401   /* I'd like to get separated H= here, but too hard for now */
402   log_write(0, LOG_MAIN, "TLS error on %s %s", conn_info, errstr);
403   }
404 }
405
406
407
408
409 /*************************************************
410 *        Set various Exim expansion vars         *
411 *************************************************/
412
413 #define exim_gnutls_cert_err(Label) \
414   do \
415     { \
416     if (rc != GNUTLS_E_SUCCESS) \
417       { \
418       DEBUG(D_tls) debug_printf("TLS: cert problem: %s: %s\n", \
419         (Label), gnutls_strerror(rc)); \
420       return rc; \
421       } \
422     } while (0)
423
424 static int
425 import_cert(const gnutls_datum_t * cert, gnutls_x509_crt_t * crtp)
426 {
427 int rc;
428
429 rc = gnutls_x509_crt_init(crtp);
430 exim_gnutls_cert_err(US"gnutls_x509_crt_init (crt)");
431
432 rc = gnutls_x509_crt_import(*crtp, cert, GNUTLS_X509_FMT_DER);
433 exim_gnutls_cert_err(US"failed to import certificate [gnutls_x509_crt_import(cert)]");
434
435 return rc;
436 }
437
438 #undef exim_gnutls_cert_err
439
440
441 /* We set various Exim global variables from the state, once a session has
442 been established.  With TLS callouts, may need to change this to stack
443 variables, or just re-call it with the server state after client callout
444 has finished.
445
446 Make sure anything set here is unset in tls_getc().
447
448 Sets:
449   tls_active                fd
450   tls_bits                  strength indicator
451   tls_certificate_verified  bool indicator
452   tls_channelbinding_b64    for some SASL mechanisms
453   tls_cipher                a string
454   tls_peercert              pointer to library internal
455   tls_peerdn                a string
456   tls_sni                   a (UTF-8) string
457   tls_ourcert               pointer to library internal
458
459 Argument:
460   state      the relevant exim_gnutls_state_st *
461 */
462
463 static void
464 extract_exim_vars_from_tls_state(exim_gnutls_state_st * state)
465 {
466 gnutls_cipher_algorithm_t cipher;
467 #ifdef HAVE_GNUTLS_SESSION_CHANNEL_BINDING
468 int old_pool;
469 int rc;
470 gnutls_datum_t channel;
471 #endif
472 tls_support * tlsp = state->tlsp;
473
474 tlsp->active.sock = state->fd_out;
475 tlsp->active.tls_ctx = state;
476
477 cipher = gnutls_cipher_get(state->session);
478 /* returns size in "bytes" */
479 tlsp->bits = gnutls_cipher_get_key_size(cipher) * 8;
480
481 tlsp->cipher = state->ciphersuite;
482
483 DEBUG(D_tls) debug_printf("cipher: %s\n", state->ciphersuite);
484
485 tlsp->certificate_verified = state->peer_cert_verified;
486 #ifdef SUPPORT_DANE
487 tlsp->dane_verified = state->peer_dane_verified;
488 #endif
489
490 /* note that tls_channelbinding_b64 is not saved to the spool file, since it's
491 only available for use for authenticators while this TLS session is running. */
492
493 tls_channelbinding_b64 = NULL;
494 #ifdef HAVE_GNUTLS_SESSION_CHANNEL_BINDING
495 channel.data = NULL;
496 channel.size = 0;
497 if ((rc = gnutls_session_channel_binding(state->session, GNUTLS_CB_TLS_UNIQUE, &channel)))
498   { DEBUG(D_tls) debug_printf("Channel binding error: %s\n", gnutls_strerror(rc)); }
499 else
500   {
501   old_pool = store_pool;
502   store_pool = POOL_PERM;
503   tls_channelbinding_b64 = b64encode(CUS channel.data, (int)channel.size);
504   store_pool = old_pool;
505   DEBUG(D_tls) debug_printf("Have channel bindings cached for possible auth usage.\n");
506   }
507 #endif
508
509 /* peercert is set in peer_status() */
510 tlsp->peerdn = state->peerdn;
511 tlsp->sni =    state->received_sni;
512
513 /* record our certificate */
514   {
515   const gnutls_datum_t * cert = gnutls_certificate_get_ours(state->session);
516   gnutls_x509_crt_t crt;
517
518   tlsp->ourcert = cert && import_cert(cert, &crt)==0 ? crt : NULL;
519   }
520 }
521
522
523
524
525 /*************************************************
526 *            Setup up DH parameters              *
527 *************************************************/
528
529 /* Generating the D-H parameters may take a long time. They only need to
530 be re-generated every so often, depending on security policy. What we do is to
531 keep these parameters in a file in the spool directory. If the file does not
532 exist, we generate them. This means that it is easy to cause a regeneration.
533
534 The new file is written as a temporary file and renamed, so that an incomplete
535 file is never present. If two processes both compute some new parameters, you
536 waste a bit of effort, but it doesn't seem worth messing around with locking to
537 prevent this.
538
539 Returns:     OK/DEFER/FAIL
540 */
541
542 static int
543 init_server_dh(uschar ** errstr)
544 {
545 int fd, rc;
546 unsigned int dh_bits;
547 gnutls_datum_t m;
548 uschar filename_buf[PATH_MAX];
549 uschar *filename = NULL;
550 size_t sz;
551 uschar *exp_tls_dhparam;
552 BOOL use_file_in_spool = FALSE;
553 host_item *host = NULL; /* dummy for macros */
554
555 DEBUG(D_tls) debug_printf("Initialising GnuTLS server params.\n");
556
557 if ((rc = gnutls_dh_params_init(&dh_server_params)))
558   return tls_error_gnu(US"gnutls_dh_params_init", rc, host, errstr);
559
560 m.data = NULL;
561 m.size = 0;
562
563 if (!expand_check(tls_dhparam, US"tls_dhparam", &exp_tls_dhparam, errstr))
564   return DEFER;
565
566 if (!exp_tls_dhparam)
567   {
568   DEBUG(D_tls) debug_printf("Loading default hard-coded DH params\n");
569   m.data = US std_dh_prime_default();
570   m.size = Ustrlen(m.data);
571   }
572 else if (Ustrcmp(exp_tls_dhparam, "historic") == 0)
573   use_file_in_spool = TRUE;
574 else if (Ustrcmp(exp_tls_dhparam, "none") == 0)
575   {
576   DEBUG(D_tls) debug_printf("Requested no DH parameters.\n");
577   return OK;
578   }
579 else if (exp_tls_dhparam[0] != '/')
580   {
581   if (!(m.data = US std_dh_prime_named(exp_tls_dhparam)))
582     return tls_error(US"No standard prime named", exp_tls_dhparam, NULL, errstr);
583   m.size = Ustrlen(m.data);
584   }
585 else
586   filename = exp_tls_dhparam;
587
588 if (m.data)
589   {
590   if ((rc = gnutls_dh_params_import_pkcs3(dh_server_params, &m, GNUTLS_X509_FMT_PEM)))
591     return tls_error_gnu(US"gnutls_dh_params_import_pkcs3", rc, host, errstr);
592   DEBUG(D_tls) debug_printf("Loaded fixed standard D-H parameters\n");
593   return OK;
594   }
595
596 #ifdef HAVE_GNUTLS_SEC_PARAM_CONSTANTS
597 /* If you change this constant, also change dh_param_fn_ext so that we can use a
598 different filename and ensure we have sufficient bits. */
599
600 if (!(dh_bits = gnutls_sec_param_to_pk_bits(GNUTLS_PK_DH, GNUTLS_SEC_PARAM_NORMAL)))
601   return tls_error(US"gnutls_sec_param_to_pk_bits() failed", NULL, NULL, errstr);
602 DEBUG(D_tls)
603   debug_printf("GnuTLS tells us that for D-H PK, NORMAL is %d bits.\n",
604       dh_bits);
605 #else
606 dh_bits = EXIM_SERVER_DH_BITS_PRE2_12;
607 DEBUG(D_tls)
608   debug_printf("GnuTLS lacks gnutls_sec_param_to_pk_bits(), using %d bits.\n",
609       dh_bits);
610 #endif
611
612 /* Some clients have hard-coded limits. */
613 if (dh_bits > tls_dh_max_bits)
614   {
615   DEBUG(D_tls)
616     debug_printf("tls_dh_max_bits clamping override, using %d bits instead.\n",
617         tls_dh_max_bits);
618   dh_bits = tls_dh_max_bits;
619   }
620
621 if (use_file_in_spool)
622   {
623   if (!string_format(filename_buf, sizeof(filename_buf),
624         "%s/gnutls-params-%d", spool_directory, dh_bits))
625     return tls_error(US"overlong filename", NULL, NULL, errstr);
626   filename = filename_buf;
627   }
628
629 /* Open the cache file for reading and if successful, read it and set up the
630 parameters. */
631
632 if ((fd = Uopen(filename, O_RDONLY, 0)) >= 0)
633   {
634   struct stat statbuf;
635   FILE *fp;
636   int saved_errno;
637
638   if (fstat(fd, &statbuf) < 0)  /* EIO */
639     {
640     saved_errno = errno;
641     (void)close(fd);
642     return tls_error_sys(US"TLS cache stat failed", saved_errno, NULL, errstr);
643     }
644   if (!S_ISREG(statbuf.st_mode))
645     {
646     (void)close(fd);
647     return tls_error(US"TLS cache not a file", NULL, NULL, errstr);
648     }
649   if (!(fp = fdopen(fd, "rb")))
650     {
651     saved_errno = errno;
652     (void)close(fd);
653     return tls_error_sys(US"fdopen(TLS cache stat fd) failed",
654         saved_errno, NULL, errstr);
655     }
656
657   m.size = statbuf.st_size;
658   if (!(m.data = malloc(m.size)))
659     {
660     fclose(fp);
661     return tls_error_sys(US"malloc failed", errno, NULL, errstr);
662     }
663   if (!(sz = fread(m.data, m.size, 1, fp)))
664     {
665     saved_errno = errno;
666     fclose(fp);
667     free(m.data);
668     return tls_error_sys(US"fread failed", saved_errno, NULL, errstr);
669     }
670   fclose(fp);
671
672   rc = gnutls_dh_params_import_pkcs3(dh_server_params, &m, GNUTLS_X509_FMT_PEM);
673   free(m.data);
674   if (rc)
675     return tls_error_gnu(US"gnutls_dh_params_import_pkcs3", rc, host, errstr);
676   DEBUG(D_tls) debug_printf("read D-H parameters from file \"%s\"\n", filename);
677   }
678
679 /* If the file does not exist, fall through to compute new data and cache it.
680 If there was any other opening error, it is serious. */
681
682 else if (errno == ENOENT)
683   {
684   rc = -1;
685   DEBUG(D_tls)
686     debug_printf("D-H parameter cache file \"%s\" does not exist\n", filename);
687   }
688 else
689   return tls_error(string_open_failed(errno, "\"%s\" for reading", filename),
690       NULL, NULL, errstr);
691
692 /* If ret < 0, either the cache file does not exist, or the data it contains
693 is not useful. One particular case of this is when upgrading from an older
694 release of Exim in which the data was stored in a different format. We don't
695 try to be clever and support both formats; we just regenerate new data in this
696 case. */
697
698 if (rc < 0)
699   {
700   uschar *temp_fn;
701   unsigned int dh_bits_gen = dh_bits;
702
703   if ((PATH_MAX - Ustrlen(filename)) < 10)
704     return tls_error(US"Filename too long to generate replacement",
705         filename, NULL, errstr);
706
707   temp_fn = string_copy(US"%s.XXXXXXX");
708   if ((fd = mkstemp(CS temp_fn)) < 0)   /* modifies temp_fn */
709     return tls_error_sys(US"Unable to open temp file", errno, NULL, errstr);
710   (void)exim_chown(temp_fn, exim_uid, exim_gid);   /* Probably not necessary */
711
712   /* GnuTLS overshoots!
713    * If we ask for 2236, we might get 2237 or more.
714    * But there's no way to ask GnuTLS how many bits there really are.
715    * We can ask how many bits were used in a TLS session, but that's it!
716    * The prime itself is hidden behind too much abstraction.
717    * So we ask for less, and proceed on a wing and a prayer.
718    * First attempt, subtracted 3 for 2233 and got 2240.
719    */
720   if (dh_bits >= EXIM_CLIENT_DH_MIN_BITS + 10)
721     {
722     dh_bits_gen = dh_bits - 10;
723     DEBUG(D_tls)
724       debug_printf("being paranoid about DH generation, make it '%d' bits'\n",
725           dh_bits_gen);
726     }
727
728   DEBUG(D_tls)
729     debug_printf("requesting generation of %d bit Diffie-Hellman prime ...\n",
730         dh_bits_gen);
731   if ((rc = gnutls_dh_params_generate2(dh_server_params, dh_bits_gen)))
732     return tls_error_gnu(US"gnutls_dh_params_generate2", rc, host, errstr);
733
734   /* gnutls_dh_params_export_pkcs3() will tell us the exact size, every time,
735   and I confirmed that a NULL call to get the size first is how the GnuTLS
736   sample apps handle this. */
737
738   sz = 0;
739   m.data = NULL;
740   if (  (rc = gnutls_dh_params_export_pkcs3(dh_server_params,
741                 GNUTLS_X509_FMT_PEM, m.data, &sz))
742      && rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
743     return tls_error_gnu(US"gnutls_dh_params_export_pkcs3(NULL) sizing",
744               rc, host, errstr);
745   m.size = sz;
746   if (!(m.data = malloc(m.size)))
747     return tls_error_sys(US"memory allocation failed", errno, NULL, errstr);
748
749   /* this will return a size 1 less than the allocation size above */
750   if ((rc = gnutls_dh_params_export_pkcs3(dh_server_params, GNUTLS_X509_FMT_PEM,
751       m.data, &sz)))
752     {
753     free(m.data);
754     return tls_error_gnu(US"gnutls_dh_params_export_pkcs3() real", rc, host, errstr);
755     }
756   m.size = sz; /* shrink by 1, probably */
757
758   if ((sz = write_to_fd_buf(fd, m.data, (size_t) m.size)) != m.size)
759     {
760     free(m.data);
761     return tls_error_sys(US"TLS cache write D-H params failed",
762         errno, NULL, errstr);
763     }
764   free(m.data);
765   if ((sz = write_to_fd_buf(fd, US"\n", 1)) != 1)
766     return tls_error_sys(US"TLS cache write D-H params final newline failed",
767         errno, NULL, errstr);
768
769   if ((rc = close(fd)))
770     return tls_error_sys(US"TLS cache write close() failed", errno, NULL, errstr);
771
772   if (Urename(temp_fn, filename) < 0)
773     return tls_error_sys(string_sprintf("failed to rename \"%s\" as \"%s\"",
774           temp_fn, filename), errno, NULL, errstr);
775
776   DEBUG(D_tls) debug_printf("wrote D-H parameters to file \"%s\"\n", filename);
777   }
778
779 DEBUG(D_tls) debug_printf("initialized server D-H parameters\n");
780 return OK;
781 }
782
783
784
785
786 /* Create and install a selfsigned certificate, for use in server mode */
787
788 static int
789 tls_install_selfsign(exim_gnutls_state_st * state, uschar ** errstr)
790 {
791 gnutls_x509_crt_t cert = NULL;
792 time_t now;
793 gnutls_x509_privkey_t pkey = NULL;
794 const uschar * where;
795 int rc;
796
797 where = US"initialising pkey";
798 if ((rc = gnutls_x509_privkey_init(&pkey))) goto err;
799
800 where = US"initialising cert";
801 if ((rc = gnutls_x509_crt_init(&cert))) goto err;
802
803 where = US"generating pkey";
804 if ((rc = gnutls_x509_privkey_generate(pkey, GNUTLS_PK_RSA,
805 #ifdef SUPPORT_PARAM_TO_PK_BITS
806 # ifndef GNUTLS_SEC_PARAM_MEDIUM
807 #  define GNUTLS_SEC_PARAM_MEDIUM GNUTLS_SEC_PARAM_HIGH
808 # endif
809             gnutls_sec_param_to_pk_bits(GNUTLS_PK_RSA, GNUTLS_SEC_PARAM_MEDIUM),
810 #else
811             2048,
812 #endif
813             0)))
814   goto err;
815
816 where = US"configuring cert";
817 now = 1;
818 if (  (rc = gnutls_x509_crt_set_version(cert, 3))
819    || (rc = gnutls_x509_crt_set_serial(cert, &now, sizeof(now)))
820    || (rc = gnutls_x509_crt_set_activation_time(cert, now = time(NULL)))
821    || (rc = gnutls_x509_crt_set_expiration_time(cert, now + 60 * 60)) /* 1 hr */
822    || (rc = gnutls_x509_crt_set_key(cert, pkey))
823
824    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
825               GNUTLS_OID_X520_COUNTRY_NAME, 0, "UK", 2))
826    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
827               GNUTLS_OID_X520_ORGANIZATION_NAME, 0, "Exim Developers", 15))
828    || (rc = gnutls_x509_crt_set_dn_by_oid(cert,
829               GNUTLS_OID_X520_COMMON_NAME, 0,
830               smtp_active_hostname, Ustrlen(smtp_active_hostname)))
831    )
832   goto err;
833
834 where = US"signing cert";
835 if ((rc = gnutls_x509_crt_sign(cert, cert, pkey))) goto err;
836
837 where = US"installing selfsign cert";
838                                         /* Since: 2.4.0 */
839 if ((rc = gnutls_certificate_set_x509_key(state->x509_cred, &cert, 1, pkey)))
840   goto err;
841
842 rc = OK;
843
844 out:
845   if (cert) gnutls_x509_crt_deinit(cert);
846   if (pkey) gnutls_x509_privkey_deinit(pkey);
847   return rc;
848
849 err:
850   rc = tls_error_gnu(where, rc, NULL, errstr);
851   goto out;
852 }
853
854
855
856
857 /* Add certificate and key, from files.
858
859 Return:
860   Zero or negative: good.  Negate value for certificate index if < 0.
861   Greater than zero: FAIL or DEFER code.
862 */
863
864 static int
865 tls_add_certfile(exim_gnutls_state_st * state, const host_item * host,
866   uschar * certfile, uschar * keyfile, uschar ** errstr)
867 {
868 int rc = gnutls_certificate_set_x509_key_file(state->x509_cred,
869     CS certfile, CS keyfile, GNUTLS_X509_FMT_PEM);
870 if (rc < 0)
871   return tls_error_gnu(
872     string_sprintf("cert/key setup: cert=%s key=%s", certfile, keyfile),
873     rc, host, errstr);
874 return -rc;
875 }
876
877
878 /*************************************************
879 *       Variables re-expanded post-SNI           *
880 *************************************************/
881
882 /* Called from both server and client code, via tls_init(), and also from
883 the SNI callback after receiving an SNI, if tls_certificate includes "tls_sni".
884
885 We can tell the two apart by state->received_sni being non-NULL in callback.
886
887 The callback should not call us unless state->trigger_sni_changes is true,
888 which we are responsible for setting on the first pass through.
889
890 Arguments:
891   state           exim_gnutls_state_st *
892   errstr          error string pointer
893
894 Returns:          OK/DEFER/FAIL
895 */
896
897 static int
898 tls_expand_session_files(exim_gnutls_state_st * state, uschar ** errstr)
899 {
900 struct stat statbuf;
901 int rc;
902 const host_item *host = state->host;  /* macro should be reconsidered? */
903 uschar *saved_tls_certificate = NULL;
904 uschar *saved_tls_privatekey = NULL;
905 uschar *saved_tls_verify_certificates = NULL;
906 uschar *saved_tls_crl = NULL;
907 int cert_count;
908
909 /* We check for tls_sni *before* expansion. */
910 if (!host)      /* server */
911   if (!state->received_sni)
912     {
913     if (  state->tls_certificate
914        && (  Ustrstr(state->tls_certificate, US"tls_sni")
915           || Ustrstr(state->tls_certificate, US"tls_in_sni")
916           || Ustrstr(state->tls_certificate, US"tls_out_sni")
917        )  )
918       {
919       DEBUG(D_tls) debug_printf("We will re-expand TLS session files if we receive SNI.\n");
920       state->trigger_sni_changes = TRUE;
921       }
922     }
923   else
924     {
925     /* useful for debugging */
926     saved_tls_certificate = state->exp_tls_certificate;
927     saved_tls_privatekey = state->exp_tls_privatekey;
928     saved_tls_verify_certificates = state->exp_tls_verify_certificates;
929     saved_tls_crl = state->exp_tls_crl;
930     }
931
932 if ((rc = gnutls_certificate_allocate_credentials(&state->x509_cred)))
933   return tls_error_gnu(US"gnutls_certificate_allocate_credentials",
934             rc, host, errstr);
935
936 #ifdef SUPPORT_SRV_OCSP_STACK
937 gnutls_certificate_set_flags(state->x509_cred, GNUTLS_CERTIFICATE_API_V2);
938 #endif
939
940 /* remember: expand_check_tlsvar() is expand_check() but fiddling with
941 state members, assuming consistent naming; and expand_check() returns
942 false if expansion failed, unless expansion was forced to fail. */
943
944 /* check if we at least have a certificate, before doing expensive
945 D-H generation. */
946
947 if (!expand_check_tlsvar(tls_certificate, errstr))
948   return DEFER;
949
950 /* certificate is mandatory in server, optional in client */
951
952 if (  !state->exp_tls_certificate
953    || !*state->exp_tls_certificate
954    )
955   if (!host)
956     return tls_install_selfsign(state, errstr);
957   else
958     DEBUG(D_tls) debug_printf("TLS: no client certificate specified; okay\n");
959
960 if (state->tls_privatekey && !expand_check_tlsvar(tls_privatekey, errstr))
961   return DEFER;
962
963 /* tls_privatekey is optional, defaulting to same file as certificate */
964
965 if (state->tls_privatekey == NULL || *state->tls_privatekey == '\0')
966   {
967   state->tls_privatekey = state->tls_certificate;
968   state->exp_tls_privatekey = state->exp_tls_certificate;
969   }
970
971
972 if (state->exp_tls_certificate && *state->exp_tls_certificate)
973   {
974   DEBUG(D_tls) debug_printf("certificate file = %s\nkey file = %s\n",
975       state->exp_tls_certificate, state->exp_tls_privatekey);
976
977   if (state->received_sni)
978     if (  Ustrcmp(state->exp_tls_certificate, saved_tls_certificate) == 0
979        && Ustrcmp(state->exp_tls_privatekey,  saved_tls_privatekey)  == 0
980        )
981       {
982       DEBUG(D_tls) debug_printf("TLS SNI: cert and key unchanged\n");
983       }
984     else
985       {
986       DEBUG(D_tls) debug_printf("TLS SNI: have a changed cert/key pair.\n");
987       }
988
989   if (!host)    /* server */
990     {
991     const uschar * clist = state->exp_tls_certificate;
992     const uschar * klist = state->exp_tls_privatekey;
993     const uschar * olist;
994     int csep = 0, ksep = 0, osep = 0, cnt = 0;
995     uschar * cfile, * kfile, * ofile;
996
997 #ifndef DISABLE_OCSP
998     if (!expand_check(tls_ocsp_file, US"tls_ocsp_file", &ofile, errstr))
999       return DEFER;
1000     olist = ofile;
1001 #endif
1002
1003     while (cfile = string_nextinlist(&clist, &csep, NULL, 0))
1004
1005       if (!(kfile = string_nextinlist(&klist, &ksep, NULL, 0)))
1006         return tls_error(US"cert/key setup: out of keys", NULL, host, errstr);
1007       else if (0 < (rc = tls_add_certfile(state, host, cfile, kfile, errstr)))
1008         return rc;
1009       else
1010         {
1011         int gnutls_cert_index = -rc;
1012         DEBUG(D_tls) debug_printf("TLS: cert/key %s registered\n", cfile);
1013
1014         /* Set the OCSP stapling server info */
1015
1016 #ifndef DISABLE_OCSP
1017         if (tls_ocsp_file)
1018           if (gnutls_buggy_ocsp)
1019             {
1020             DEBUG(D_tls)
1021               debug_printf("GnuTLS library is buggy for OCSP; avoiding\n");
1022             }
1023           else if ((ofile = string_nextinlist(&olist, &osep, NULL, 0)))
1024             {
1025             /* Use the full callback method for stapling just to get
1026             observability.  More efficient would be to read the file once only,
1027             if it never changed (due to SNI). Would need restart on file update,
1028             or watch datestamp.  */
1029
1030 # ifdef SUPPORT_SRV_OCSP_STACK
1031             if ((rc = gnutls_certificate_set_ocsp_status_request_function2(
1032                         state->x509_cred, gnutls_cert_index,
1033                         server_ocsp_stapling_cb, ofile)))
1034               return tls_error_gnu(
1035                       US"gnutls_certificate_set_ocsp_status_request_function2",
1036                       rc, host, errstr);
1037 # else
1038             if (cnt++ > 0)
1039               {
1040               DEBUG(D_tls)
1041                 debug_printf("oops; multiple OCSP files not supported\n");
1042               break;
1043               }
1044               gnutls_certificate_set_ocsp_status_request_function(
1045                 state->x509_cred, server_ocsp_stapling_cb, ofile);
1046 # endif
1047
1048             DEBUG(D_tls) debug_printf("OCSP response file = %s\n", ofile);
1049             }
1050           else
1051             DEBUG(D_tls) debug_printf("ran out of OCSP response files in list\n");
1052 #endif
1053         }
1054     }
1055   else
1056     {
1057     if (0 < (rc = tls_add_certfile(state, host,
1058                 state->exp_tls_certificate, state->exp_tls_privatekey, errstr)))
1059       return rc;
1060     DEBUG(D_tls) debug_printf("TLS: cert/key registered\n");
1061     }
1062
1063   } /* tls_certificate */
1064
1065
1066 /* Set the trusted CAs file if one is provided, and then add the CRL if one is
1067 provided. Experiment shows that, if the certificate file is empty, an unhelpful
1068 error message is provided. However, if we just refrain from setting anything up
1069 in that case, certificate verification fails, which seems to be the correct
1070 behaviour. */
1071
1072 if (state->tls_verify_certificates && *state->tls_verify_certificates)
1073   {
1074   if (!expand_check_tlsvar(tls_verify_certificates, errstr))
1075     return DEFER;
1076 #ifndef SUPPORT_SYSDEFAULT_CABUNDLE
1077   if (Ustrcmp(state->exp_tls_verify_certificates, "system") == 0)
1078     state->exp_tls_verify_certificates = NULL;
1079 #endif
1080   if (state->tls_crl && *state->tls_crl)
1081     if (!expand_check_tlsvar(tls_crl, errstr))
1082       return DEFER;
1083
1084   if (!(state->exp_tls_verify_certificates &&
1085         *state->exp_tls_verify_certificates))
1086     {
1087     DEBUG(D_tls)
1088       debug_printf("TLS: tls_verify_certificates expanded empty, ignoring\n");
1089     /* With no tls_verify_certificates, we ignore tls_crl too */
1090     return OK;
1091     }
1092   }
1093 else
1094   {
1095   DEBUG(D_tls)
1096     debug_printf("TLS: tls_verify_certificates not set or empty, ignoring\n");
1097   return OK;
1098   }
1099
1100 #ifdef SUPPORT_SYSDEFAULT_CABUNDLE
1101 if (Ustrcmp(state->exp_tls_verify_certificates, "system") == 0)
1102   cert_count = gnutls_certificate_set_x509_system_trust(state->x509_cred);
1103 else
1104 #endif
1105   {
1106   if (Ustat(state->exp_tls_verify_certificates, &statbuf) < 0)
1107     {
1108     log_write(0, LOG_MAIN|LOG_PANIC, "could not stat %s "
1109         "(tls_verify_certificates): %s", state->exp_tls_verify_certificates,
1110         strerror(errno));
1111     return DEFER;
1112     }
1113
1114 #ifndef SUPPORT_CA_DIR
1115   /* The test suite passes in /dev/null; we could check for that path explicitly,
1116   but who knows if someone has some weird FIFO which always dumps some certs, or
1117   other weirdness.  The thing we really want to check is that it's not a
1118   directory, since while OpenSSL supports that, GnuTLS does not.
1119   So s/!S_ISREG/S_ISDIR/ and change some messaging ... */
1120   if (S_ISDIR(statbuf.st_mode))
1121     {
1122     DEBUG(D_tls)
1123       debug_printf("verify certificates path is a dir: \"%s\"\n",
1124           state->exp_tls_verify_certificates);
1125     log_write(0, LOG_MAIN|LOG_PANIC,
1126         "tls_verify_certificates \"%s\" is a directory",
1127         state->exp_tls_verify_certificates);
1128     return DEFER;
1129     }
1130 #endif
1131
1132   DEBUG(D_tls) debug_printf("verify certificates = %s size=" OFF_T_FMT "\n",
1133           state->exp_tls_verify_certificates, statbuf.st_size);
1134
1135   if (statbuf.st_size == 0)
1136     {
1137     DEBUG(D_tls)
1138       debug_printf("cert file empty, no certs, no verification, ignoring any CRL\n");
1139     return OK;
1140     }
1141
1142   cert_count =
1143
1144 #ifdef SUPPORT_CA_DIR
1145     (statbuf.st_mode & S_IFMT) == S_IFDIR
1146     ?
1147     gnutls_certificate_set_x509_trust_dir(state->x509_cred,
1148       CS state->exp_tls_verify_certificates, GNUTLS_X509_FMT_PEM)
1149     :
1150 #endif
1151     gnutls_certificate_set_x509_trust_file(state->x509_cred,
1152       CS state->exp_tls_verify_certificates, GNUTLS_X509_FMT_PEM);
1153   }
1154
1155 if (cert_count < 0)
1156   return tls_error_gnu(US"setting certificate trust", cert_count, host, errstr);
1157 DEBUG(D_tls)
1158   debug_printf("Added %d certificate authorities.\n", cert_count);
1159
1160 if (state->tls_crl && *state->tls_crl &&
1161     state->exp_tls_crl && *state->exp_tls_crl)
1162   {
1163   DEBUG(D_tls) debug_printf("loading CRL file = %s\n", state->exp_tls_crl);
1164   if ((cert_count = gnutls_certificate_set_x509_crl_file(state->x509_cred,
1165       CS state->exp_tls_crl, GNUTLS_X509_FMT_PEM)) < 0)
1166     return tls_error_gnu(US"gnutls_certificate_set_x509_crl_file",
1167               cert_count, host, errstr);
1168
1169   DEBUG(D_tls) debug_printf("Processed %d CRLs.\n", cert_count);
1170   }
1171
1172 return OK;
1173 }
1174
1175
1176
1177
1178 /*************************************************
1179 *          Set X.509 state variables             *
1180 *************************************************/
1181
1182 /* In GnuTLS, the registered cert/key are not replaced by a later
1183 set of a cert/key, so for SNI support we need a whole new x509_cred
1184 structure.  Which means various other non-re-expanded pieces of state
1185 need to be re-set in the new struct, so the setting logic is pulled
1186 out to this.
1187
1188 Arguments:
1189   state           exim_gnutls_state_st *
1190   errstr          error string pointer
1191
1192 Returns:          OK/DEFER/FAIL
1193 */
1194
1195 static int
1196 tls_set_remaining_x509(exim_gnutls_state_st *state, uschar ** errstr)
1197 {
1198 int rc;
1199 const host_item *host = state->host;  /* macro should be reconsidered? */
1200
1201 /* Create D-H parameters, or read them from the cache file. This function does
1202 its own SMTP error messaging. This only happens for the server, TLS D-H ignores
1203 client-side params. */
1204
1205 if (!state->host)
1206   {
1207   if (!dh_server_params)
1208     if ((rc = init_server_dh(errstr)) != OK) return rc;
1209   gnutls_certificate_set_dh_params(state->x509_cred, dh_server_params);
1210   }
1211
1212 /* Link the credentials to the session. */
1213
1214 if ((rc = gnutls_credentials_set(state->session,
1215             GNUTLS_CRD_CERTIFICATE, state->x509_cred)))
1216   return tls_error_gnu(US"gnutls_credentials_set", rc, host, errstr);
1217
1218 return OK;
1219 }
1220
1221 /*************************************************
1222 *            Initialize for GnuTLS               *
1223 *************************************************/
1224
1225
1226 #ifndef DISABLE_OCSP
1227
1228 static BOOL
1229 tls_is_buggy_ocsp(void)
1230 {
1231 const uschar * s;
1232 uschar maj, mid, mic;
1233
1234 s = CUS gnutls_check_version(NULL);
1235 maj = atoi(CCS s);
1236 if (maj == 3)
1237   {
1238   while (*s && *s != '.') s++;
1239   mid = atoi(CCS ++s);
1240   if (mid <= 2)
1241     return TRUE;
1242   else if (mid >= 5)
1243     return FALSE;
1244   else
1245     {
1246     while (*s && *s != '.') s++;
1247     mic = atoi(CCS ++s);
1248     return mic <= (mid == 3 ? 16 : 3);
1249     }
1250   }
1251 return FALSE;
1252 }
1253
1254 #endif
1255
1256
1257 /* Called from both server and client code. In the case of a server, errors
1258 before actual TLS negotiation return DEFER.
1259
1260 Arguments:
1261   host            connected host, if client; NULL if server
1262   certificate     certificate file
1263   privatekey      private key file
1264   sni             TLS SNI to send, sometimes when client; else NULL
1265   cas             CA certs file
1266   crl             CRL file
1267   require_ciphers tls_require_ciphers setting
1268   caller_state    returned state-info structure
1269   errstr          error string pointer
1270
1271 Returns:          OK/DEFER/FAIL
1272 */
1273
1274 static int
1275 tls_init(
1276     const host_item *host,
1277     const uschar *certificate,
1278     const uschar *privatekey,
1279     const uschar *sni,
1280     const uschar *cas,
1281     const uschar *crl,
1282     const uschar *require_ciphers,
1283     exim_gnutls_state_st **caller_state,
1284     tls_support * tlsp,
1285     uschar ** errstr)
1286 {
1287 exim_gnutls_state_st * state;
1288 int rc;
1289 size_t sz;
1290 const char * errpos;
1291 const uschar * p;
1292
1293 if (!exim_gnutls_base_init_done)
1294   {
1295   DEBUG(D_tls) debug_printf("GnuTLS global init required.\n");
1296
1297 #ifdef HAVE_GNUTLS_PKCS11
1298   /* By default, gnutls_global_init will init PKCS11 support in auto mode,
1299   which loads modules from a config file, which sounds good and may be wanted
1300   by some sysadmin, but also means in common configurations that GNOME keyring
1301   environment variables are used and so breaks for users calling mailq.
1302   To prevent this, we init PKCS11 first, which is the documented approach. */
1303   if (!gnutls_allow_auto_pkcs11)
1304     if ((rc = gnutls_pkcs11_init(GNUTLS_PKCS11_FLAG_MANUAL, NULL)))
1305       return tls_error_gnu(US"gnutls_pkcs11_init", rc, host, errstr);
1306 #endif
1307
1308   if ((rc = gnutls_global_init()))
1309     return tls_error_gnu(US"gnutls_global_init", rc, host, errstr);
1310
1311 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
1312   DEBUG(D_tls)
1313     {
1314     gnutls_global_set_log_function(exim_gnutls_logger_cb);
1315     /* arbitrarily chosen level; bump up to 9 for more */
1316     gnutls_global_set_log_level(EXIM_GNUTLS_LIBRARY_LOG_LEVEL);
1317     }
1318 #endif
1319
1320 #ifndef DISABLE_OCSP
1321   if (tls_ocsp_file && (gnutls_buggy_ocsp = tls_is_buggy_ocsp()))
1322     log_write(0, LOG_MAIN, "OCSP unusable with this GnuTLS library version");
1323 #endif
1324
1325   exim_gnutls_base_init_done = TRUE;
1326   }
1327
1328 if (host)
1329   {
1330   /* For client-side sessions we allocate a context. This lets us run
1331   several in parallel. */
1332   int old_pool = store_pool;
1333   store_pool = POOL_PERM;
1334   state = store_get(sizeof(exim_gnutls_state_st));
1335   store_pool = old_pool;
1336
1337   memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
1338   state->tlsp = tlsp;
1339   DEBUG(D_tls) debug_printf("initialising GnuTLS client session\n");
1340   rc = gnutls_init(&state->session, GNUTLS_CLIENT);
1341   }
1342 else
1343   {
1344   state = &state_server;
1345   memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
1346   state->tlsp = tlsp;
1347   DEBUG(D_tls) debug_printf("initialising GnuTLS server session\n");
1348   rc = gnutls_init(&state->session, GNUTLS_SERVER);
1349   }
1350 if (rc)
1351   return tls_error_gnu(US"gnutls_init", rc, host, errstr);
1352
1353 state->host = host;
1354
1355 state->tls_certificate = certificate;
1356 state->tls_privatekey = privatekey;
1357 state->tls_require_ciphers = require_ciphers;
1358 state->tls_sni = sni;
1359 state->tls_verify_certificates = cas;
1360 state->tls_crl = crl;
1361
1362 /* This handles the variables that might get re-expanded after TLS SNI;
1363 that's tls_certificate, tls_privatekey, tls_verify_certificates, tls_crl */
1364
1365 DEBUG(D_tls)
1366   debug_printf("Expanding various TLS configuration options for session credentials.\n");
1367 if ((rc = tls_expand_session_files(state, errstr)) != OK) return rc;
1368
1369 /* These are all other parts of the x509_cred handling, since SNI in GnuTLS
1370 requires a new structure afterwards. */
1371
1372 if ((rc = tls_set_remaining_x509(state, errstr)) != OK) return rc;
1373
1374 /* set SNI in client, only */
1375 if (host)
1376   {
1377   if (!expand_check(sni, US"tls_out_sni", &state->tlsp->sni, errstr))
1378     return DEFER;
1379   if (state->tlsp->sni && *state->tlsp->sni)
1380     {
1381     DEBUG(D_tls)
1382       debug_printf("Setting TLS client SNI to \"%s\"\n", state->tlsp->sni);
1383     sz = Ustrlen(state->tlsp->sni);
1384     if ((rc = gnutls_server_name_set(state->session,
1385           GNUTLS_NAME_DNS, state->tlsp->sni, sz)))
1386       return tls_error_gnu(US"gnutls_server_name_set", rc, host, errstr);
1387     }
1388   }
1389 else if (state->tls_sni)
1390   DEBUG(D_tls) debug_printf("*** PROBABLY A BUG *** " \
1391       "have an SNI set for a server [%s]\n", state->tls_sni);
1392
1393 /* This is the priority string support,
1394 http://www.gnutls.org/manual/html_node/Priority-Strings.html
1395 and replaces gnutls_require_kx, gnutls_require_mac & gnutls_require_protocols.
1396 This was backwards incompatible, but means Exim no longer needs to track
1397 all algorithms and provide string forms for them. */
1398
1399 p = NULL;
1400 if (state->tls_require_ciphers && *state->tls_require_ciphers)
1401   {
1402   if (!expand_check_tlsvar(tls_require_ciphers, errstr))
1403     return DEFER;
1404   if (state->exp_tls_require_ciphers && *state->exp_tls_require_ciphers)
1405     {
1406     p = state->exp_tls_require_ciphers;
1407     DEBUG(D_tls) debug_printf("GnuTLS session cipher/priority \"%s\"\n", p);
1408     }
1409   }
1410 if (!p)
1411   {
1412   p = exim_default_gnutls_priority;
1413   DEBUG(D_tls)
1414     debug_printf("GnuTLS using default session cipher/priority \"%s\"\n", p);
1415   }
1416
1417 if ((rc = gnutls_priority_init(&state->priority_cache, CCS p, &errpos)))
1418   return tls_error_gnu(string_sprintf(
1419                       "gnutls_priority_init(%s) failed at offset %ld, \"%.6s..\"",
1420                       p, errpos - CS p, errpos),
1421                   rc, host, errstr);
1422
1423 if ((rc = gnutls_priority_set(state->session, state->priority_cache)))
1424   return tls_error_gnu(US"gnutls_priority_set", rc, host, errstr);
1425
1426 gnutls_db_set_cache_expiration(state->session, ssl_session_timeout);
1427
1428 /* Reduce security in favour of increased compatibility, if the admin
1429 decides to make that trade-off. */
1430 if (gnutls_compat_mode)
1431   {
1432 #if LIBGNUTLS_VERSION_NUMBER >= 0x020104
1433   DEBUG(D_tls) debug_printf("lowering GnuTLS security, compatibility mode\n");
1434   gnutls_session_enable_compatibility_mode(state->session);
1435 #else
1436   DEBUG(D_tls) debug_printf("Unable to set gnutls_compat_mode - GnuTLS version too old\n");
1437 #endif
1438   }
1439
1440 *caller_state = state;
1441 return OK;
1442 }
1443
1444
1445
1446 /*************************************************
1447 *            Extract peer information            *
1448 *************************************************/
1449
1450 static const uschar *
1451 cipher_stdname_kcm(gnutls_kx_algorithm_t kx, gnutls_cipher_algorithm_t cipher,
1452   gnutls_mac_algorithm_t mac)
1453 {
1454 uschar cs_id[2];
1455 gnutls_kx_algorithm_t kx_i;
1456 gnutls_cipher_algorithm_t cipher_i;
1457 gnutls_mac_algorithm_t mac_i;
1458
1459 for (size_t i = 0;
1460      gnutls_cipher_suite_info(i, cs_id, &kx_i, &cipher_i, &mac_i, NULL);
1461      i++)
1462   if (kx_i == kx && cipher_i == cipher && mac_i == mac)
1463     return cipher_stdname(cs_id[0], cs_id[1]);
1464 return NULL;
1465 }
1466
1467
1468
1469 /* Called from both server and client code.
1470 Only this is allowed to set state->peerdn and state->have_set_peerdn
1471 and we use that to detect double-calls.
1472
1473 NOTE: the state blocks last while the TLS connection is up, which is fine
1474 for logging in the server side, but for the client side, we log after teardown
1475 in src/deliver.c.  While the session is up, we can twist about states and
1476 repoint tls_* globals, but those variables used for logging or other variable
1477 expansion that happens _after_ delivery need to have a longer life-time.
1478
1479 So for those, we get the data from POOL_PERM; the re-invoke guard keeps us from
1480 doing this more than once per generation of a state context.  We set them in
1481 the state context, and repoint tls_* to them.  After the state goes away, the
1482 tls_* copies of the pointers remain valid and client delivery logging is happy.
1483
1484 tls_certificate_verified is a BOOL, so the tls_peerdn and tls_cipher issues
1485 don't apply.
1486
1487 Arguments:
1488   state           exim_gnutls_state_st *
1489   errstr          pointer to error string
1490
1491 Returns:          OK/DEFER/FAIL
1492 */
1493
1494 static int
1495 peer_status(exim_gnutls_state_st *state, uschar ** errstr)
1496 {
1497 const gnutls_datum_t *cert_list;
1498 int old_pool, rc;
1499 unsigned int cert_list_size = 0;
1500 gnutls_protocol_t protocol;
1501 gnutls_cipher_algorithm_t cipher;
1502 gnutls_kx_algorithm_t kx;
1503 gnutls_mac_algorithm_t mac;
1504 gnutls_certificate_type_t ct;
1505 gnutls_x509_crt_t crt;
1506 uschar *dn_buf;
1507 size_t sz;
1508
1509 if (state->have_set_peerdn)
1510   return OK;
1511 state->have_set_peerdn = TRUE;
1512
1513 state->peerdn = NULL;
1514
1515 /* tls_cipher */
1516 cipher = gnutls_cipher_get(state->session);
1517 protocol = gnutls_protocol_get_version(state->session);
1518 mac = gnutls_mac_get(state->session);
1519 kx =
1520 #ifdef GNUTLS_TLS1_3
1521     protocol >= GNUTLS_TLS1_3 ? 0 :
1522 #endif
1523   gnutls_kx_get(state->session);
1524
1525 old_pool = store_pool;
1526   {
1527   store_pool = POOL_PERM;
1528
1529 #ifdef SUPPORT_GNUTLS_SESS_DESC
1530     {
1531     gstring * g = NULL;
1532     uschar * s = US gnutls_session_get_desc(state->session), c;
1533
1534     /* Nikos M suggests we use this by preference.  It returns like:
1535     (TLS1.3)-(ECDHE-SECP256R1)-(RSA-PSS-RSAE-SHA256)-(AES-256-GCM)
1536
1537     For partial back-compat, put a colon after the TLS version, replace the
1538     )-( grouping with __, replace in-group - with _ and append the :keysize. */
1539
1540     /* debug_printf("peer_status: gnutls_session_get_desc %s\n", s); */
1541
1542     for (s++; (c = *s) && c != ')'; s++) g = string_catn(g, s, 1);
1543     g = string_catn(g, US":", 1);
1544     if (*s) s++;                /* now on _ between groups */
1545     while ((c = *s))
1546       {
1547       for (*++s && ++s; (c = *s) && c != ')'; s++) g = string_catn(g, c == '-' ? US"_" : s, 1);
1548       /* now on ) closing group */
1549       if ((c = *s) && *++s == '-') g = string_catn(g, US"__", 2);
1550       /* now on _ between groups */
1551       }
1552     g = string_catn(g, US":", 1);
1553     g = string_cat(g, string_sprintf("%d", (int) gnutls_cipher_get_key_size(cipher) * 8));
1554     state->ciphersuite = string_from_gstring(g);
1555     }
1556 #else
1557   state->ciphersuite = string_sprintf("%s:%s:%d",
1558       gnutls_protocol_get_name(protocol),
1559       gnutls_cipher_suite_get_name(kx, cipher, mac),
1560       (int) gnutls_cipher_get_key_size(cipher) * 8);
1561
1562   /* I don't see a way that spaces could occur, in the current GnuTLS
1563   code base, but it was a concern in the old code and perhaps older GnuTLS
1564   releases did return "TLS 1.0"; play it safe, just in case. */
1565
1566   for (uschar * p = state->ciphersuite; *p; p++) if (isspace(*p)) *p = '-';
1567 #endif
1568
1569 /* debug_printf("peer_status: ciphersuite %s\n", state->ciphersuite); */
1570
1571   state->tlsp->cipher = state->ciphersuite;
1572   state->tlsp->bits = gnutls_cipher_get_key_size(cipher) * 8;
1573
1574   state->tlsp->cipher_stdname = cipher_stdname_kcm(kx, cipher, mac);
1575   }
1576 store_pool = old_pool;
1577
1578 /* tls_peerdn */
1579 cert_list = gnutls_certificate_get_peers(state->session, &cert_list_size);
1580
1581 if (!cert_list || cert_list_size == 0)
1582   {
1583   DEBUG(D_tls) debug_printf("TLS: no certificate from peer (%p & %d)\n",
1584       cert_list, cert_list_size);
1585   if (state->verify_requirement >= VERIFY_REQUIRED)
1586     return tls_error(US"certificate verification failed",
1587         US"no certificate received from peer", state->host, errstr);
1588   return OK;
1589   }
1590
1591 if ((ct = gnutls_certificate_type_get(state->session)) != GNUTLS_CRT_X509)
1592   {
1593   const uschar * ctn = US gnutls_certificate_type_get_name(ct);
1594   DEBUG(D_tls)
1595     debug_printf("TLS: peer cert not X.509 but instead \"%s\"\n", ctn);
1596   if (state->verify_requirement >= VERIFY_REQUIRED)
1597     return tls_error(US"certificate verification not possible, unhandled type",
1598         ctn, state->host, errstr);
1599   return OK;
1600   }
1601
1602 #define exim_gnutls_peer_err(Label) \
1603   do { \
1604     if (rc != GNUTLS_E_SUCCESS) \
1605       { \
1606       DEBUG(D_tls) debug_printf("TLS: peer cert problem: %s: %s\n", \
1607         (Label), gnutls_strerror(rc)); \
1608       if (state->verify_requirement >= VERIFY_REQUIRED) \
1609         return tls_error_gnu((Label), rc, state->host, errstr); \
1610       return OK; \
1611       } \
1612     } while (0)
1613
1614 rc = import_cert(&cert_list[0], &crt);
1615 exim_gnutls_peer_err(US"cert 0");
1616
1617 state->tlsp->peercert = state->peercert = crt;
1618
1619 sz = 0;
1620 rc = gnutls_x509_crt_get_dn(crt, NULL, &sz);
1621 if (rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
1622   {
1623   exim_gnutls_peer_err(US"getting size for cert DN failed");
1624   return FAIL; /* should not happen */
1625   }
1626 dn_buf = store_get_perm(sz);
1627 rc = gnutls_x509_crt_get_dn(crt, CS dn_buf, &sz);
1628 exim_gnutls_peer_err(US"failed to extract certificate DN [gnutls_x509_crt_get_dn(cert 0)]");
1629
1630 state->peerdn = dn_buf;
1631
1632 return OK;
1633 #undef exim_gnutls_peer_err
1634 }
1635
1636
1637
1638
1639 /*************************************************
1640 *            Verify peer certificate             *
1641 *************************************************/
1642
1643 /* Called from both server and client code.
1644 *Should* be using a callback registered with
1645 gnutls_certificate_set_verify_function() to fail the handshake if we dislike
1646 the peer information, but that's too new for some OSes.
1647
1648 Arguments:
1649   state         exim_gnutls_state_st *
1650   errstr        where to put an error message
1651
1652 Returns:
1653   FALSE     if the session should be rejected
1654   TRUE      if the cert is okay or we just don't care
1655 */
1656
1657 static BOOL
1658 verify_certificate(exim_gnutls_state_st * state, uschar ** errstr)
1659 {
1660 int rc;
1661 uint verify;
1662
1663 if (state->verify_requirement == VERIFY_NONE)
1664   return TRUE;
1665
1666 DEBUG(D_tls) debug_printf("TLS: checking peer certificate\n");
1667 *errstr = NULL;
1668
1669 if ((rc = peer_status(state, errstr)) != OK || !state->peerdn)
1670   {
1671   verify = GNUTLS_CERT_INVALID;
1672   *errstr = US"certificate not supplied";
1673   }
1674 else
1675
1676   {
1677 #ifdef SUPPORT_DANE
1678   if (state->verify_requirement == VERIFY_DANE && state->host)
1679     {
1680     /* Using dane_verify_session_crt() would be easy, as it does it all for us
1681     including talking to a DNS resolver.  But we want to do that bit ourselves
1682     as the testsuite intercepts and fakes its own DNS environment. */
1683
1684     dane_state_t s;
1685     dane_query_t r;
1686     uint lsize;
1687     const gnutls_datum_t * certlist =
1688       gnutls_certificate_get_peers(state->session, &lsize);
1689     int usage = tls_out.tlsa_usage;
1690
1691 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
1692     /* Split the TLSA records into two sets, TA and EE selectors.  Run the
1693     dane-verification separately so that we know which selector verified;
1694     then we know whether to do name-verification (needed for TA but not EE). */
1695
1696     if (usage == ((1<<DANESSL_USAGE_DANE_TA) | (1<<DANESSL_USAGE_DANE_EE)))
1697       {                                         /* a mixed-usage bundle */
1698       int i, j, nrec;
1699       const char ** dd;
1700       int * ddl;
1701
1702       for(nrec = 0; state->dane_data_len[nrec]; ) nrec++;
1703       nrec++;
1704
1705       dd = store_get(nrec * sizeof(uschar *));
1706       ddl = store_get(nrec * sizeof(int));
1707       nrec--;
1708
1709       if ((rc = dane_state_init(&s, 0)))
1710         goto tlsa_prob;
1711
1712       for (usage = DANESSL_USAGE_DANE_EE;
1713            usage >= DANESSL_USAGE_DANE_TA; usage--)
1714         {                               /* take records with this usage */
1715         for (j = i = 0; i < nrec; i++)
1716           if (state->dane_data[i][0] == usage)
1717             {
1718             dd[j] = state->dane_data[i];
1719             ddl[j++] = state->dane_data_len[i];
1720             }
1721         if (j)
1722           {
1723           dd[j] = NULL;
1724           ddl[j] = 0;
1725
1726           if ((rc = dane_raw_tlsa(s, &r, (char * const *)dd, ddl, 1, 0)))
1727             goto tlsa_prob;
1728
1729           if ((rc = dane_verify_crt_raw(s, certlist, lsize,
1730                             gnutls_certificate_type_get(state->session),
1731                             r, 0,
1732                             usage == DANESSL_USAGE_DANE_EE
1733                             ? DANE_VFLAG_ONLY_CHECK_EE_USAGE : 0,
1734                             &verify)))
1735             {
1736             DEBUG(D_tls)
1737               debug_printf("TLSA record problem: %s\n", dane_strerror(rc));
1738             }
1739           else if (verify == 0) /* verification passed */
1740             {
1741             usage = 1 << usage;
1742             break;
1743             }
1744           }
1745         }
1746
1747         if (rc) goto tlsa_prob;
1748       }
1749     else
1750 # endif
1751       {
1752       if (  (rc = dane_state_init(&s, 0))
1753          || (rc = dane_raw_tlsa(s, &r, state->dane_data, state->dane_data_len,
1754                         1, 0))
1755          || (rc = dane_verify_crt_raw(s, certlist, lsize,
1756                         gnutls_certificate_type_get(state->session),
1757                         r, 0,
1758 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
1759                         usage == (1 << DANESSL_USAGE_DANE_EE)
1760                         ? DANE_VFLAG_ONLY_CHECK_EE_USAGE : 0,
1761 # else
1762                         0,
1763 # endif
1764                         &verify))
1765          )
1766         goto tlsa_prob;
1767       }
1768
1769     if (verify != 0)            /* verification failed */
1770       {
1771       gnutls_datum_t str;
1772       (void) dane_verification_status_print(verify, &str, 0);
1773       *errstr = US str.data;    /* don't bother to free */
1774       goto badcert;
1775       }
1776
1777 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
1778     /* If a TA-mode TLSA record was used for verification we must additionally
1779     verify the cert name (but not the CA chain).  For EE-mode, skip it. */
1780
1781     if (usage & (1 << DANESSL_USAGE_DANE_EE))
1782 # endif
1783       {
1784       state->peer_dane_verified = state->peer_cert_verified = TRUE;
1785       goto goodcert;
1786       }
1787 # ifdef GNUTLS_BROKEN_DANE_VALIDATION
1788     /* Assume that the name on the A-record is the one that should be matching
1789     the cert.  An alternate view is that the domain part of the email address
1790     is also permissible. */
1791
1792     if (gnutls_x509_crt_check_hostname(state->tlsp->peercert,
1793           CS state->host->name))
1794       {
1795       state->peer_dane_verified = state->peer_cert_verified = TRUE;
1796       goto goodcert;
1797       }
1798 # endif
1799     }
1800 #endif  /*SUPPORT_DANE*/
1801
1802   rc = gnutls_certificate_verify_peers2(state->session, &verify);
1803   }
1804
1805 /* Handle the result of verification. INVALID is set if any others are. */
1806
1807 if (rc < 0 || verify & (GNUTLS_CERT_INVALID|GNUTLS_CERT_REVOKED))
1808   {
1809   state->peer_cert_verified = FALSE;
1810   if (!*errstr)
1811     {
1812 #ifdef GNUTLS_CERT_VFY_STATUS_PRINT
1813     DEBUG(D_tls)
1814       {
1815       gnutls_datum_t txt;
1816
1817       if (gnutls_certificate_verification_status_print(verify,
1818             gnutls_certificate_type_get(state->session), &txt, 0)
1819           == GNUTLS_E_SUCCESS)
1820         {
1821         debug_printf("%s\n", txt.data);
1822         gnutls_free(txt.data);
1823         }
1824       }
1825 #endif
1826     *errstr = verify & GNUTLS_CERT_REVOKED
1827       ? US"certificate revoked" : US"certificate invalid";
1828     }
1829
1830   DEBUG(D_tls)
1831     debug_printf("TLS certificate verification failed (%s): peerdn=\"%s\"\n",
1832         *errstr, state->peerdn ? state->peerdn : US"<unset>");
1833
1834   if (state->verify_requirement >= VERIFY_REQUIRED)
1835     goto badcert;
1836   DEBUG(D_tls)
1837     debug_printf("TLS verify failure overridden (host in tls_try_verify_hosts)\n");
1838   }
1839
1840 else
1841   {
1842   /* Client side, check the server's certificate name versus the name on the
1843   A-record for the connection we made.  What to do for server side - what name
1844   to use for client?  We document that there is no such checking for server
1845   side. */
1846
1847   if (  state->exp_tls_verify_cert_hostnames
1848      && !gnutls_x509_crt_check_hostname(state->tlsp->peercert,
1849                 CS state->exp_tls_verify_cert_hostnames)
1850      )
1851     {
1852     DEBUG(D_tls)
1853       debug_printf("TLS certificate verification failed: cert name mismatch\n");
1854     if (state->verify_requirement >= VERIFY_REQUIRED)
1855       goto badcert;
1856     return TRUE;
1857     }
1858
1859   state->peer_cert_verified = TRUE;
1860   DEBUG(D_tls) debug_printf("TLS certificate verified: peerdn=\"%s\"\n",
1861       state->peerdn ? state->peerdn : US"<unset>");
1862   }
1863
1864 goodcert:
1865   state->tlsp->peerdn = state->peerdn;
1866   return TRUE;
1867
1868 #ifdef SUPPORT_DANE
1869 tlsa_prob:
1870   *errstr = string_sprintf("TLSA record problem: %s",
1871     rc == DANE_E_REQUESTED_DATA_NOT_AVAILABLE ? "none usable" : dane_strerror(rc));
1872 #endif
1873
1874 badcert:
1875   gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_BAD_CERTIFICATE);
1876   return FALSE;
1877 }
1878
1879
1880
1881
1882 /* ------------------------------------------------------------------------ */
1883 /* Callbacks */
1884
1885 /* Logging function which can be registered with
1886  *   gnutls_global_set_log_function()
1887  *   gnutls_global_set_log_level() 0..9
1888  */
1889 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
1890 static void
1891 exim_gnutls_logger_cb(int level, const char *message)
1892 {
1893   size_t len = strlen(message);
1894   if (len < 1)
1895     {
1896     DEBUG(D_tls) debug_printf("GnuTLS<%d> empty debug message\n", level);
1897     return;
1898     }
1899   DEBUG(D_tls) debug_printf("GnuTLS<%d>: %s%s", level, message,
1900       message[len-1] == '\n' ? "" : "\n");
1901 }
1902 #endif
1903
1904
1905 /* Called after client hello, should handle SNI work.
1906 This will always set tls_sni (state->received_sni) if available,
1907 and may trigger presenting different certificates,
1908 if state->trigger_sni_changes is TRUE.
1909
1910 Should be registered with
1911   gnutls_handshake_set_post_client_hello_function()
1912
1913 "This callback must return 0 on success or a gnutls error code to terminate the
1914 handshake.".
1915
1916 For inability to get SNI information, we return 0.
1917 We only return non-zero if re-setup failed.
1918 Only used for server-side TLS.
1919 */
1920
1921 static int
1922 exim_sni_handling_cb(gnutls_session_t session)
1923 {
1924 char sni_name[MAX_HOST_LEN];
1925 size_t data_len = MAX_HOST_LEN;
1926 exim_gnutls_state_st *state = &state_server;
1927 unsigned int sni_type;
1928 int rc, old_pool;
1929 uschar * dummy_errstr;
1930
1931 rc = gnutls_server_name_get(session, sni_name, &data_len, &sni_type, 0);
1932 if (rc != GNUTLS_E_SUCCESS)
1933   {
1934   DEBUG(D_tls) {
1935     if (rc == GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE)
1936       debug_printf("TLS: no SNI presented in handshake.\n");
1937     else
1938       debug_printf("TLS failure: gnutls_server_name_get(): %s [%d]\n",
1939         gnutls_strerror(rc), rc);
1940     }
1941   return 0;
1942   }
1943
1944 if (sni_type != GNUTLS_NAME_DNS)
1945   {
1946   DEBUG(D_tls) debug_printf("TLS: ignoring SNI of unhandled type %u\n", sni_type);
1947   return 0;
1948   }
1949
1950 /* We now have a UTF-8 string in sni_name */
1951 old_pool = store_pool;
1952 store_pool = POOL_PERM;
1953 state->received_sni = string_copyn(US sni_name, data_len);
1954 store_pool = old_pool;
1955
1956 /* We set this one now so that variable expansions below will work */
1957 state->tlsp->sni = state->received_sni;
1958
1959 DEBUG(D_tls) debug_printf("Received TLS SNI \"%s\"%s\n", sni_name,
1960     state->trigger_sni_changes ? "" : " (unused for certificate selection)");
1961
1962 if (!state->trigger_sni_changes)
1963   return 0;
1964
1965 if ((rc = tls_expand_session_files(state, &dummy_errstr)) != OK)
1966   {
1967   /* If the setup of certs/etc failed before handshake, TLS would not have
1968   been offered.  The best we can do now is abort. */
1969   return GNUTLS_E_APPLICATION_ERROR_MIN;
1970   }
1971
1972 rc = tls_set_remaining_x509(state, &dummy_errstr);
1973 if (rc != OK) return GNUTLS_E_APPLICATION_ERROR_MIN;
1974
1975 return 0;
1976 }
1977
1978
1979
1980 #ifndef DISABLE_OCSP
1981
1982 static int
1983 server_ocsp_stapling_cb(gnutls_session_t session, void * ptr,
1984   gnutls_datum_t * ocsp_response)
1985 {
1986 int ret;
1987 DEBUG(D_tls) debug_printf("OCSP stapling callback: %s\n", US ptr);
1988
1989 if ((ret = gnutls_load_file(ptr, ocsp_response)) < 0)
1990   {
1991   DEBUG(D_tls) debug_printf("Failed to load ocsp stapling file %s\n",
1992                               CS ptr);
1993   tls_in.ocsp = OCSP_NOT_RESP;
1994   return GNUTLS_E_NO_CERTIFICATE_STATUS;
1995   }
1996
1997 tls_in.ocsp = OCSP_VFY_NOT_TRIED;
1998 return 0;
1999 }
2000
2001 #endif
2002
2003
2004 #ifndef DISABLE_EVENT
2005 /*
2006 We use this callback to get observability and detail-level control
2007 for an exim TLS connection (either direction), raising a tls:cert event
2008 for each cert in the chain presented by the peer.  Any event
2009 can deny verification.
2010
2011 Return 0 for the handshake to continue or non-zero to terminate.
2012 */
2013
2014 static int
2015 verify_cb(gnutls_session_t session)
2016 {
2017 const gnutls_datum_t * cert_list;
2018 unsigned int cert_list_size = 0;
2019 gnutls_x509_crt_t crt;
2020 int rc;
2021 uschar * yield;
2022 exim_gnutls_state_st * state = gnutls_session_get_ptr(session);
2023
2024 if ((cert_list = gnutls_certificate_get_peers(session, &cert_list_size)))
2025   while (cert_list_size--)
2026   {
2027   if ((rc = import_cert(&cert_list[cert_list_size], &crt)) != GNUTLS_E_SUCCESS)
2028     {
2029     DEBUG(D_tls) debug_printf("TLS: peer cert problem: depth %d: %s\n",
2030       cert_list_size, gnutls_strerror(rc));
2031     break;
2032     }
2033
2034   state->tlsp->peercert = crt;
2035   if ((yield = event_raise(state->event_action,
2036               US"tls:cert", string_sprintf("%d", cert_list_size))))
2037     {
2038     log_write(0, LOG_MAIN,
2039               "SSL verify denied by event-action: depth=%d: %s",
2040               cert_list_size, yield);
2041     return 1;                     /* reject */
2042     }
2043   state->tlsp->peercert = NULL;
2044   }
2045
2046 return 0;
2047 }
2048
2049 #endif
2050
2051
2052 static gstring *
2053 ddump(gnutls_datum_t * d)
2054 {
2055 gstring * g = string_get((d->size+1) * 2);
2056 uschar * s = d->data;
2057 for (unsigned i = d->size; i > 0; i--, s++)
2058   {
2059   g = string_catn(g, US "0123456789abcdef" + (*s >> 4), 1);
2060   g = string_catn(g, US "0123456789abcdef" + (*s & 0xf), 1);
2061   }
2062 return g;
2063 }
2064
2065 static void
2066 post_handshake_debug(exim_gnutls_state_st * state)
2067 {
2068 debug_printf("gnutls_handshake was successful\n");
2069 #ifdef SUPPORT_GNUTLS_SESS_DESC
2070 debug_printf("%s\n", gnutls_session_get_desc(state->session));
2071 #endif
2072 #ifdef SUPPORT_GNUTLS_KEYLOG
2073 # ifdef GNUTLS_TLS1_3
2074 if (gnutls_protocol_get_version(state->session) < GNUTLS_TLS1_3)
2075 #else
2076 if (TRUE)
2077 #endif
2078   {
2079   gnutls_datum_t c, s;
2080   gstring * gc, * gs;
2081   /* we only want the client random and the master secret */
2082   gnutls_session_get_random(state->session, &c, &s);
2083   gnutls_session_get_master_secret(state->session, &s);
2084   gc = ddump(&c);
2085   gs = ddump(&s);
2086   debug_printf("CLIENT_RANDOM %.*s %.*s\n", (int)gc->ptr, gc->s, (int)gs->ptr, gs->s);
2087   }
2088 else
2089   debug_printf("To get keying info for TLS1.3 is hard:\n"
2090     " set environment variable SSLKEYLOGFILE to a filename writable by uid exim\n"
2091     " add SSLKEYLOGFILE to keep_environment in the exim config\n"
2092     " run exim as root\n"
2093     " if using sudo, add SSLKEYLOGFILE to env_keep in /etc/sudoers\n");
2094 #endif
2095 }
2096
2097 /* ------------------------------------------------------------------------ */
2098 /* Exported functions */
2099
2100
2101
2102
2103 /*************************************************
2104 *       Start a TLS session in a server          *
2105 *************************************************/
2106
2107 /* This is called when Exim is running as a server, after having received
2108 the STARTTLS command. It must respond to that command, and then negotiate
2109 a TLS session.
2110
2111 Arguments:
2112   require_ciphers  list of allowed ciphers or NULL
2113   errstr           pointer to error string
2114
2115 Returns:           OK on success
2116                    DEFER for errors before the start of the negotiation
2117                    FAIL for errors during the negotiation; the server can't
2118                      continue running.
2119 */
2120
2121 int
2122 tls_server_start(const uschar * require_ciphers, uschar ** errstr)
2123 {
2124 int rc;
2125 exim_gnutls_state_st * state = NULL;
2126
2127 /* Check for previous activation */
2128 if (tls_in.active.sock >= 0)
2129   {
2130   tls_error(US"STARTTLS received after TLS started", US "", NULL, errstr);
2131   smtp_printf("554 Already in TLS\r\n", FALSE);
2132   return FAIL;
2133   }
2134
2135 /* Initialize the library. If it fails, it will already have logged the error
2136 and sent an SMTP response. */
2137
2138 DEBUG(D_tls) debug_printf("initialising GnuTLS as a server\n");
2139
2140 if ((rc = tls_init(NULL, tls_certificate, tls_privatekey,
2141     NULL, tls_verify_certificates, tls_crl,
2142     require_ciphers, &state, &tls_in, errstr)) != OK) return rc;
2143
2144 /* If this is a host for which certificate verification is mandatory or
2145 optional, set up appropriately. */
2146
2147 if (verify_check_host(&tls_verify_hosts) == OK)
2148   {
2149   DEBUG(D_tls)
2150     debug_printf("TLS: a client certificate will be required.\n");
2151   state->verify_requirement = VERIFY_REQUIRED;
2152   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
2153   }
2154 else if (verify_check_host(&tls_try_verify_hosts) == OK)
2155   {
2156   DEBUG(D_tls)
2157     debug_printf("TLS: a client certificate will be requested but not required.\n");
2158   state->verify_requirement = VERIFY_OPTIONAL;
2159   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
2160   }
2161 else
2162   {
2163   DEBUG(D_tls)
2164     debug_printf("TLS: a client certificate will not be requested.\n");
2165   state->verify_requirement = VERIFY_NONE;
2166   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_IGNORE);
2167   }
2168
2169 #ifndef DISABLE_EVENT
2170 if (event_action)
2171   {
2172   state->event_action = event_action;
2173   gnutls_session_set_ptr(state->session, state);
2174   gnutls_certificate_set_verify_function(state->x509_cred, verify_cb);
2175   }
2176 #endif
2177
2178 /* Register SNI handling; always, even if not in tls_certificate, so that the
2179 expansion variable $tls_sni is always available. */
2180
2181 gnutls_handshake_set_post_client_hello_function(state->session,
2182     exim_sni_handling_cb);
2183
2184 /* Set context and tell client to go ahead, except in the case of TLS startup
2185 on connection, where outputting anything now upsets the clients and tends to
2186 make them disconnect. We need to have an explicit fflush() here, to force out
2187 the response. Other smtp_printf() calls do not need it, because in non-TLS
2188 mode, the fflush() happens when smtp_getc() is called. */
2189
2190 if (!state->tlsp->on_connect)
2191   {
2192   smtp_printf("220 TLS go ahead\r\n", FALSE);
2193   fflush(smtp_out);
2194   }
2195
2196 /* Now negotiate the TLS session. We put our own timer on it, since it seems
2197 that the GnuTLS library doesn't.
2198 From 3.1.0 there is gnutls_handshake_set_timeout() - but it requires you
2199 to set (and clear down afterwards) up a pull-timeout callback function that does
2200 a select, so we're no better off unless avoiding signals becomes an issue. */
2201
2202 gnutls_transport_set_ptr2(state->session,
2203     (gnutls_transport_ptr_t)(long) fileno(smtp_in),
2204     (gnutls_transport_ptr_t)(long) fileno(smtp_out));
2205 state->fd_in = fileno(smtp_in);
2206 state->fd_out = fileno(smtp_out);
2207
2208 sigalrm_seen = FALSE;
2209 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
2210 do
2211   rc = gnutls_handshake(state->session);
2212 while (rc == GNUTLS_E_AGAIN ||  rc == GNUTLS_E_INTERRUPTED && !sigalrm_seen);
2213 ALARM_CLR(0);
2214
2215 if (rc != GNUTLS_E_SUCCESS)
2216   {
2217   /* It seems that, except in the case of a timeout, we have to close the
2218   connection right here; otherwise if the other end is running OpenSSL it hangs
2219   until the server times out. */
2220
2221   if (sigalrm_seen)
2222     {
2223     tls_error(US"gnutls_handshake", US"timed out", NULL, errstr);
2224     gnutls_db_remove_session(state->session);
2225     }
2226   else
2227     {
2228     tls_error_gnu(US"gnutls_handshake", rc, NULL, errstr);
2229     (void) gnutls_alert_send_appropriate(state->session, rc);
2230     gnutls_deinit(state->session);
2231     gnutls_certificate_free_credentials(state->x509_cred);
2232     millisleep(500);
2233     shutdown(state->fd_out, SHUT_WR);
2234     for (int i = 1024; fgetc(smtp_in) != EOF && i > 0; ) i--;   /* drain skt */
2235     (void)fclose(smtp_out);
2236     (void)fclose(smtp_in);
2237     smtp_out = smtp_in = NULL;
2238     }
2239
2240   return FAIL;
2241   }
2242
2243 DEBUG(D_tls) post_handshake_debug(state);
2244
2245 /* Verify after the fact */
2246
2247 if (!verify_certificate(state, errstr))
2248   {
2249   if (state->verify_requirement != VERIFY_OPTIONAL)
2250     {
2251     (void) tls_error(US"certificate verification failed", *errstr, NULL, errstr);
2252     return FAIL;
2253     }
2254   DEBUG(D_tls)
2255     debug_printf("TLS: continuing on only because verification was optional, after: %s\n",
2256         *errstr);
2257   }
2258
2259 /* Figure out peer DN, and if authenticated, etc. */
2260
2261 if ((rc = peer_status(state, NULL)) != OK) return rc;
2262
2263 /* Sets various Exim expansion variables; always safe within server */
2264
2265 extract_exim_vars_from_tls_state(state);
2266
2267 /* TLS has been set up. Adjust the input functions to read via TLS,
2268 and initialize appropriately. */
2269
2270 state->xfer_buffer = store_malloc(ssl_xfer_buffer_size);
2271
2272 receive_getc = tls_getc;
2273 receive_getbuf = tls_getbuf;
2274 receive_get_cache = tls_get_cache;
2275 receive_ungetc = tls_ungetc;
2276 receive_feof = tls_feof;
2277 receive_ferror = tls_ferror;
2278 receive_smtp_buffered = tls_smtp_buffered;
2279
2280 return OK;
2281 }
2282
2283
2284
2285
2286 static void
2287 tls_client_setup_hostname_checks(host_item * host, exim_gnutls_state_st * state,
2288   smtp_transport_options_block * ob)
2289 {
2290 if (verify_check_given_host(CUSS &ob->tls_verify_cert_hostnames, host) == OK)
2291   {
2292   state->exp_tls_verify_cert_hostnames =
2293 #ifdef SUPPORT_I18N
2294     string_domain_utf8_to_alabel(host->name, NULL);
2295 #else
2296     host->name;
2297 #endif
2298   DEBUG(D_tls)
2299     debug_printf("TLS: server cert verification includes hostname: \"%s\".\n",
2300                     state->exp_tls_verify_cert_hostnames);
2301   }
2302 }
2303
2304
2305
2306
2307 #ifdef SUPPORT_DANE
2308 /* Given our list of RRs from the TLSA lookup, build a lookup block in
2309 GnuTLS-DANE's preferred format.  Hang it on the state str for later
2310 use in DANE verification.
2311
2312 We point at the dnsa data not copy it, so it must remain valid until
2313 after verification is done.*/
2314
2315 static BOOL
2316 dane_tlsa_load(exim_gnutls_state_st * state, dns_answer * dnsa)
2317 {
2318 dns_scan dnss;
2319 int i;
2320 const char **   dane_data;
2321 int *           dane_data_len;
2322
2323 i = 1;
2324 for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS); rr;
2325      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)
2326     ) if (rr->type == T_TLSA) i++;
2327
2328 dane_data = store_get(i * sizeof(uschar *));
2329 dane_data_len = store_get(i * sizeof(int));
2330
2331 i = 0;
2332 for (dns_record * rr = dns_next_rr(dnsa, &dnss, RESET_ANSWERS); rr;
2333      rr = dns_next_rr(dnsa, &dnss, RESET_NEXT)
2334     ) if (rr->type == T_TLSA && rr->size > 3)
2335   {
2336   const uschar * p = rr->data;
2337   uint8_t usage = p[0], sel = p[1], type = p[2];
2338
2339   DEBUG(D_tls)
2340     debug_printf("TLSA: %d %d %d size %d\n", usage, sel, type, rr->size);
2341
2342   if (  (usage != DANESSL_USAGE_DANE_TA && usage != DANESSL_USAGE_DANE_EE)
2343      || (sel != 0 && sel != 1)
2344      )
2345     continue;
2346   switch(type)
2347     {
2348     case 0:     /* Full: cannot check at present */
2349                 break;
2350     case 1:     if (rr->size != 3 + 256/8) continue;    /* sha2-256 */
2351                 break;
2352     case 2:     if (rr->size != 3 + 512/8) continue;    /* sha2-512 */
2353                 break;
2354     default:    continue;
2355     }
2356
2357   tls_out.tlsa_usage |= 1<<usage;
2358   dane_data[i] = CS p;
2359   dane_data_len[i++] = rr->size;
2360   }
2361
2362 if (!i) return FALSE;
2363
2364 dane_data[i] = NULL;
2365 dane_data_len[i] = 0;
2366
2367 state->dane_data = (char * const *)dane_data;
2368 state->dane_data_len = dane_data_len;
2369 return TRUE;
2370 }
2371 #endif
2372
2373
2374
2375 /*************************************************
2376 *    Start a TLS session in a client             *
2377 *************************************************/
2378
2379 /* Called from the smtp transport after STARTTLS has been accepted.
2380
2381 Arguments:
2382   cctx          connection context
2383   conn_args     connection details
2384   cookie        datum for randomness (not used)
2385   tlsp          record details of channel configuration here; must be non-NULL
2386   errstr        error string pointer
2387
2388 Returns:        TRUE for success with TLS session context set in smtp context,
2389                 FALSE on error
2390 */
2391
2392 BOOL
2393 tls_client_start(client_conn_ctx * cctx, smtp_connect_args * conn_args,
2394   void * cookie ARG_UNUSED,
2395   tls_support * tlsp, uschar ** errstr)
2396 {
2397 host_item * host = conn_args->host;          /* for msgs and option-tests */
2398 transport_instance * tb = conn_args->tblock; /* always smtp or NULL */
2399 smtp_transport_options_block * ob = tb
2400   ? (smtp_transport_options_block *)tb->options_block
2401   : &smtp_transport_option_defaults;
2402 int rc;
2403 exim_gnutls_state_st * state = NULL;
2404 uschar * cipher_list = NULL;
2405
2406 #ifndef DISABLE_OCSP
2407 BOOL require_ocsp =
2408   verify_check_given_host(CUSS &ob->hosts_require_ocsp, host) == OK;
2409 BOOL request_ocsp = require_ocsp ? TRUE
2410   : verify_check_given_host(CUSS &ob->hosts_request_ocsp, host) == OK;
2411 #endif
2412
2413 DEBUG(D_tls) debug_printf("initialising GnuTLS as a client on fd %d\n", cctx->sock);
2414
2415 #ifdef SUPPORT_DANE
2416 /* If dane is flagged, have either request or require dane for this host, and
2417 a TLSA record found.  Therefore, dane verify required.  Which implies cert must
2418 be requested and supplied, dane verify must pass, and cert verify irrelevant
2419 (incl.  hostnames), and (caller handled) require_tls */
2420
2421 if (conn_args->dane && ob->dane_require_tls_ciphers)
2422   {
2423   /* not using expand_check_tlsvar because not yet in state */
2424   if (!expand_check(ob->dane_require_tls_ciphers, US"dane_require_tls_ciphers",
2425       &cipher_list, errstr))
2426     return FALSE;
2427   cipher_list = cipher_list && *cipher_list
2428     ? ob->dane_require_tls_ciphers : ob->tls_require_ciphers;
2429   }
2430 #endif
2431
2432 if (!cipher_list)
2433   cipher_list = ob->tls_require_ciphers;
2434
2435 if (tls_init(host, ob->tls_certificate, ob->tls_privatekey,
2436     ob->tls_sni, ob->tls_verify_certificates, ob->tls_crl,
2437     cipher_list, &state, tlsp, errstr) != OK)
2438   return FALSE;
2439
2440   {
2441   int dh_min_bits = ob->tls_dh_min_bits;
2442   if (dh_min_bits < EXIM_CLIENT_DH_MIN_MIN_BITS)
2443     {
2444     DEBUG(D_tls)
2445       debug_printf("WARNING: tls_dh_min_bits far too low,"
2446                     " clamping %d up to %d\n",
2447           dh_min_bits, EXIM_CLIENT_DH_MIN_MIN_BITS);
2448     dh_min_bits = EXIM_CLIENT_DH_MIN_MIN_BITS;
2449     }
2450
2451   DEBUG(D_tls) debug_printf("Setting D-H prime minimum"
2452                     " acceptable bits to %d\n",
2453       dh_min_bits);
2454   gnutls_dh_set_prime_bits(state->session, dh_min_bits);
2455   }
2456
2457 /* Stick to the old behaviour for compatibility if tls_verify_certificates is
2458 set but both tls_verify_hosts and tls_try_verify_hosts are unset. Check only
2459 the specified host patterns if one of them is defined */
2460
2461 #ifdef SUPPORT_DANE
2462 if (conn_args->dane && dane_tlsa_load(state, &conn_args->tlsa_dnsa))
2463   {
2464   DEBUG(D_tls)
2465     debug_printf("TLS: server certificate DANE required.\n");
2466   state->verify_requirement = VERIFY_DANE;
2467   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
2468   }
2469 else
2470 #endif
2471     if (  (  state->exp_tls_verify_certificates
2472           && !ob->tls_verify_hosts
2473           && (!ob->tls_try_verify_hosts || !*ob->tls_try_verify_hosts)
2474           )
2475         || verify_check_given_host(CUSS &ob->tls_verify_hosts, host) == OK
2476        )
2477   {
2478   tls_client_setup_hostname_checks(host, state, ob);
2479   DEBUG(D_tls)
2480     debug_printf("TLS: server certificate verification required.\n");
2481   state->verify_requirement = VERIFY_REQUIRED;
2482   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
2483   }
2484 else if (verify_check_given_host(CUSS &ob->tls_try_verify_hosts, host) == OK)
2485   {
2486   tls_client_setup_hostname_checks(host, state, ob);
2487   DEBUG(D_tls)
2488     debug_printf("TLS: server certificate verification optional.\n");
2489   state->verify_requirement = VERIFY_OPTIONAL;
2490   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
2491   }
2492 else
2493   {
2494   DEBUG(D_tls)
2495     debug_printf("TLS: server certificate verification not required.\n");
2496   state->verify_requirement = VERIFY_NONE;
2497   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_IGNORE);
2498   }
2499
2500 #ifndef DISABLE_OCSP
2501                         /* supported since GnuTLS 3.1.3 */
2502 if (request_ocsp)
2503   {
2504   DEBUG(D_tls) debug_printf("TLS: will request OCSP stapling\n");
2505   if ((rc = gnutls_ocsp_status_request_enable_client(state->session,
2506                     NULL, 0, NULL)) != OK)
2507     {
2508     tls_error_gnu(US"cert-status-req", rc, state->host, errstr);
2509     return FALSE;
2510     }
2511   tlsp->ocsp = OCSP_NOT_RESP;
2512   }
2513 #endif
2514
2515 #ifndef DISABLE_EVENT
2516 if (tb && tb->event_action)
2517   {
2518   state->event_action = tb->event_action;
2519   gnutls_session_set_ptr(state->session, state);
2520   gnutls_certificate_set_verify_function(state->x509_cred, verify_cb);
2521   }
2522 #endif
2523
2524 gnutls_transport_set_ptr(state->session, (gnutls_transport_ptr_t)(long) cctx->sock);
2525 state->fd_in = cctx->sock;
2526 state->fd_out = cctx->sock;
2527
2528 DEBUG(D_tls) debug_printf("about to gnutls_handshake\n");
2529 /* There doesn't seem to be a built-in timeout on connection. */
2530
2531 sigalrm_seen = FALSE;
2532 ALARM(ob->command_timeout);
2533 do
2534   rc = gnutls_handshake(state->session);
2535 while (rc == GNUTLS_E_AGAIN || rc == GNUTLS_E_INTERRUPTED && !sigalrm_seen);
2536 ALARM_CLR(0);
2537
2538 if (rc != GNUTLS_E_SUCCESS)
2539   {
2540   if (sigalrm_seen)
2541     {
2542     gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_USER_CANCELED);
2543     tls_error(US"gnutls_handshake", US"timed out", state->host, errstr);
2544     }
2545   else
2546     tls_error_gnu(US"gnutls_handshake", rc, state->host, errstr);
2547   return FALSE;
2548   }
2549
2550 DEBUG(D_tls) post_handshake_debug(state);
2551
2552 /* Verify late */
2553
2554 if (!verify_certificate(state, errstr))
2555   {
2556   tls_error(US"certificate verification failed", *errstr, state->host, errstr);
2557   return FALSE;
2558   }
2559
2560 #ifndef DISABLE_OCSP
2561 if (require_ocsp)
2562   {
2563   DEBUG(D_tls)
2564     {
2565     gnutls_datum_t stapling;
2566     gnutls_ocsp_resp_t resp;
2567     gnutls_datum_t printed;
2568     if (  (rc= gnutls_ocsp_status_request_get(state->session, &stapling)) == 0
2569        && (rc= gnutls_ocsp_resp_init(&resp)) == 0
2570        && (rc= gnutls_ocsp_resp_import(resp, &stapling)) == 0
2571        && (rc= gnutls_ocsp_resp_print(resp, GNUTLS_OCSP_PRINT_FULL, &printed)) == 0
2572        )
2573       {
2574       debug_printf("%.4096s", printed.data);
2575       gnutls_free(printed.data);
2576       }
2577     else
2578       (void) tls_error_gnu(US"ocsp decode", rc, state->host, errstr);
2579     }
2580
2581   if (gnutls_ocsp_status_request_is_checked(state->session, 0) == 0)
2582     {
2583     tlsp->ocsp = OCSP_FAILED;
2584     tls_error(US"certificate status check failed", NULL, state->host, errstr);
2585     return FALSE;
2586     }
2587   DEBUG(D_tls) debug_printf("Passed OCSP checking\n");
2588   tlsp->ocsp = OCSP_VFIED;
2589   }
2590 #endif
2591
2592 /* Figure out peer DN, and if authenticated, etc. */
2593
2594 if (peer_status(state, errstr) != OK)
2595   return FALSE;
2596
2597 /* Sets various Exim expansion variables; may need to adjust for ACL callouts */
2598
2599 extract_exim_vars_from_tls_state(state);
2600
2601 cctx->tls_ctx = state;
2602 return TRUE;
2603 }
2604
2605
2606
2607
2608 /*************************************************
2609 *         Close down a TLS session               *
2610 *************************************************/
2611
2612 /* This is also called from within a delivery subprocess forked from the
2613 daemon, to shut down the TLS library, without actually doing a shutdown (which
2614 would tamper with the TLS session in the parent process).
2615
2616 Arguments:
2617   ct_ctx        client context pointer, or NULL for the one global server context
2618   shutdown      1 if TLS close-alert is to be sent,
2619                 2 if also response to be waited for
2620
2621 Returns:     nothing
2622 */
2623
2624 void
2625 tls_close(void * ct_ctx, int shutdown)
2626 {
2627 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
2628
2629 if (!state->tlsp || state->tlsp->active.sock < 0) return;  /* TLS was not active */
2630
2631 if (shutdown)
2632   {
2633   DEBUG(D_tls) debug_printf("tls_close(): shutting down TLS%s\n",
2634     shutdown > 1 ? " (with response-wait)" : "");
2635
2636   ALARM(2);
2637   gnutls_bye(state->session, shutdown > 1 ? GNUTLS_SHUT_RDWR : GNUTLS_SHUT_WR);
2638   ALARM_CLR(0);
2639   }
2640
2641 gnutls_deinit(state->session);
2642 gnutls_certificate_free_credentials(state->x509_cred);
2643
2644
2645 state->tlsp->active.sock = -1;
2646 state->tlsp->active.tls_ctx = NULL;
2647 if (state->xfer_buffer) store_free(state->xfer_buffer);
2648 memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
2649 }
2650
2651
2652
2653
2654 static BOOL
2655 tls_refill(unsigned lim)
2656 {
2657 exim_gnutls_state_st * state = &state_server;
2658 ssize_t inbytes;
2659
2660 DEBUG(D_tls) debug_printf("Calling gnutls_record_recv(%p, %p, %u)\n",
2661   state->session, state->xfer_buffer, ssl_xfer_buffer_size);
2662
2663 sigalrm_seen = FALSE;
2664 if (smtp_receive_timeout > 0) ALARM(smtp_receive_timeout);
2665
2666 do
2667   inbytes = gnutls_record_recv(state->session, state->xfer_buffer,
2668     MIN(ssl_xfer_buffer_size, lim));
2669 while (inbytes == GNUTLS_E_AGAIN);
2670
2671 if (smtp_receive_timeout > 0) ALARM_CLR(0);
2672
2673 if (had_command_timeout)                /* set by signal handler */
2674   smtp_command_timeout_exit();          /* does not return */
2675 if (had_command_sigterm)
2676   smtp_command_sigterm_exit();
2677 if (had_data_timeout)
2678   smtp_data_timeout_exit();
2679 if (had_data_sigint)
2680   smtp_data_sigint_exit();
2681
2682 /* Timeouts do not get this far.  A zero-byte return appears to mean that the
2683 TLS session has been closed down, not that the socket itself has been closed
2684 down. Revert to non-TLS handling. */
2685
2686 if (sigalrm_seen)
2687   {
2688   DEBUG(D_tls) debug_printf("Got tls read timeout\n");
2689   state->xfer_error = TRUE;
2690   return FALSE;
2691   }
2692
2693 else if (inbytes == 0)
2694   {
2695   DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
2696
2697   receive_getc = smtp_getc;
2698   receive_getbuf = smtp_getbuf;
2699   receive_get_cache = smtp_get_cache;
2700   receive_ungetc = smtp_ungetc;
2701   receive_feof = smtp_feof;
2702   receive_ferror = smtp_ferror;
2703   receive_smtp_buffered = smtp_buffered;
2704
2705   gnutls_deinit(state->session);
2706   gnutls_certificate_free_credentials(state->x509_cred);
2707
2708   state->session = NULL;
2709   state->tlsp->active.sock = -1;
2710   state->tlsp->active.tls_ctx = NULL;
2711   state->tlsp->bits = 0;
2712   state->tlsp->certificate_verified = FALSE;
2713   tls_channelbinding_b64 = NULL;
2714   state->tlsp->cipher = NULL;
2715   state->tlsp->peercert = NULL;
2716   state->tlsp->peerdn = NULL;
2717
2718   return FALSE;
2719   }
2720
2721 /* Handle genuine errors */
2722
2723 else if (inbytes < 0)
2724   {
2725   DEBUG(D_tls) debug_printf("%s: err from gnutls_record_recv\n", __FUNCTION__);
2726   record_io_error(state, (int) inbytes, US"recv", NULL);
2727   state->xfer_error = TRUE;
2728   return FALSE;
2729   }
2730 #ifndef DISABLE_DKIM
2731 dkim_exim_verify_feed(state->xfer_buffer, inbytes);
2732 #endif
2733 state->xfer_buffer_hwm = (int) inbytes;
2734 state->xfer_buffer_lwm = 0;
2735 return TRUE;
2736 }
2737
2738 /*************************************************
2739 *            TLS version of getc                 *
2740 *************************************************/
2741
2742 /* This gets the next byte from the TLS input buffer. If the buffer is empty,
2743 it refills the buffer via the GnuTLS reading function.
2744 Only used by the server-side TLS.
2745
2746 This feeds DKIM and should be used for all message-body reads.
2747
2748 Arguments:  lim         Maximum amount to read/buffer
2749 Returns:    the next character or EOF
2750 */
2751
2752 int
2753 tls_getc(unsigned lim)
2754 {
2755 exim_gnutls_state_st * state = &state_server;
2756
2757 if (state->xfer_buffer_lwm >= state->xfer_buffer_hwm)
2758   if (!tls_refill(lim))
2759     return state->xfer_error ? EOF : smtp_getc(lim);
2760
2761 /* Something in the buffer; return next uschar */
2762
2763 return state->xfer_buffer[state->xfer_buffer_lwm++];
2764 }
2765
2766 uschar *
2767 tls_getbuf(unsigned * len)
2768 {
2769 exim_gnutls_state_st * state = &state_server;
2770 unsigned size;
2771 uschar * buf;
2772
2773 if (state->xfer_buffer_lwm >= state->xfer_buffer_hwm)
2774   if (!tls_refill(*len))
2775     {
2776     if (!state->xfer_error) return smtp_getbuf(len);
2777     *len = 0;
2778     return NULL;
2779     }
2780
2781 if ((size = state->xfer_buffer_hwm - state->xfer_buffer_lwm) > *len)
2782   size = *len;
2783 buf = &state->xfer_buffer[state->xfer_buffer_lwm];
2784 state->xfer_buffer_lwm += size;
2785 *len = size;
2786 return buf;
2787 }
2788
2789
2790 void
2791 tls_get_cache()
2792 {
2793 #ifndef DISABLE_DKIM
2794 exim_gnutls_state_st * state = &state_server;
2795 int n = state->xfer_buffer_hwm - state->xfer_buffer_lwm;
2796 if (n > 0)
2797   dkim_exim_verify_feed(state->xfer_buffer+state->xfer_buffer_lwm, n);
2798 #endif
2799 }
2800
2801
2802 BOOL
2803 tls_could_read(void)
2804 {
2805 return state_server.xfer_buffer_lwm < state_server.xfer_buffer_hwm
2806  || gnutls_record_check_pending(state_server.session) > 0;
2807 }
2808
2809
2810
2811
2812 /*************************************************
2813 *          Read bytes from TLS channel           *
2814 *************************************************/
2815
2816 /* This does not feed DKIM, so if the caller uses this for reading message body,
2817 then the caller must feed DKIM.
2818
2819 Arguments:
2820   ct_ctx    client context pointer, or NULL for the one global server context
2821   buff      buffer of data
2822   len       size of buffer
2823
2824 Returns:    the number of bytes read
2825             -1 after a failed read, including EOF
2826 */
2827
2828 int
2829 tls_read(void * ct_ctx, uschar *buff, size_t len)
2830 {
2831 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
2832 ssize_t inbytes;
2833
2834 if (len > INT_MAX)
2835   len = INT_MAX;
2836
2837 if (state->xfer_buffer_lwm < state->xfer_buffer_hwm)
2838   DEBUG(D_tls)
2839     debug_printf("*** PROBABLY A BUG *** " \
2840         "tls_read() called with data in the tls_getc() buffer, %d ignored\n",
2841         state->xfer_buffer_hwm - state->xfer_buffer_lwm);
2842
2843 DEBUG(D_tls)
2844   debug_printf("Calling gnutls_record_recv(%p, %p, " SIZE_T_FMT ")\n",
2845       state->session, buff, len);
2846
2847 do
2848   inbytes = gnutls_record_recv(state->session, buff, len);
2849 while (inbytes == GNUTLS_E_AGAIN);
2850
2851 if (inbytes > 0) return inbytes;
2852 if (inbytes == 0)
2853   {
2854   DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
2855   }
2856 else
2857   {
2858   DEBUG(D_tls) debug_printf("%s: err from gnutls_record_recv\n", __FUNCTION__);
2859   record_io_error(state, (int)inbytes, US"recv", NULL);
2860   }
2861
2862 return -1;
2863 }
2864
2865
2866
2867
2868 /*************************************************
2869 *         Write bytes down TLS channel           *
2870 *************************************************/
2871
2872 /*
2873 Arguments:
2874   ct_ctx    client context pointer, or NULL for the one global server context
2875   buff      buffer of data
2876   len       number of bytes
2877   more      more data expected soon
2878
2879 Returns:    the number of bytes after a successful write,
2880             -1 after a failed write
2881 */
2882
2883 int
2884 tls_write(void * ct_ctx, const uschar * buff, size_t len, BOOL more)
2885 {
2886 ssize_t outbytes;
2887 size_t left = len;
2888 exim_gnutls_state_st * state = ct_ctx ? ct_ctx : &state_server;
2889 #ifdef SUPPORT_CORK
2890 static BOOL corked = FALSE;
2891
2892 if (more && !corked) gnutls_record_cork(state->session);
2893 #endif
2894
2895 DEBUG(D_tls) debug_printf("%s(%p, " SIZE_T_FMT "%s)\n", __FUNCTION__,
2896   buff, left, more ? ", more" : "");
2897
2898 while (left > 0)
2899   {
2900   DEBUG(D_tls) debug_printf("gnutls_record_send(SSL, %p, " SIZE_T_FMT ")\n",
2901       buff, left);
2902
2903   do
2904     outbytes = gnutls_record_send(state->session, buff, left);
2905   while (outbytes == GNUTLS_E_AGAIN);
2906
2907   DEBUG(D_tls) debug_printf("outbytes=" SSIZE_T_FMT "\n", outbytes);
2908   if (outbytes < 0)
2909     {
2910     DEBUG(D_tls) debug_printf("%s: gnutls_record_send err\n", __FUNCTION__);
2911     record_io_error(state, outbytes, US"send", NULL);
2912     return -1;
2913     }
2914   if (outbytes == 0)
2915     {
2916     record_io_error(state, 0, US"send", US"TLS channel closed on write");
2917     return -1;
2918     }
2919
2920   left -= outbytes;
2921   buff += outbytes;
2922   }
2923
2924 if (len > INT_MAX)
2925   {
2926   DEBUG(D_tls)
2927     debug_printf("Whoops!  Wrote more bytes (" SIZE_T_FMT ") than INT_MAX\n",
2928         len);
2929   len = INT_MAX;
2930   }
2931
2932 #ifdef SUPPORT_CORK
2933 if (more != corked)
2934   {
2935   if (!more) (void) gnutls_record_uncork(state->session, 0);
2936   corked = more;
2937   }
2938 #endif
2939
2940 return (int) len;
2941 }
2942
2943
2944
2945
2946 /*************************************************
2947 *            Random number generation            *
2948 *************************************************/
2949
2950 /* Pseudo-random number generation.  The result is not expected to be
2951 cryptographically strong but not so weak that someone will shoot themselves
2952 in the foot using it as a nonce in input in some email header scheme or
2953 whatever weirdness they'll twist this into.  The result should handle fork()
2954 and avoid repeating sequences.  OpenSSL handles that for us.
2955
2956 Arguments:
2957   max       range maximum
2958 Returns     a random number in range [0, max-1]
2959 */
2960
2961 #ifdef HAVE_GNUTLS_RND
2962 int
2963 vaguely_random_number(int max)
2964 {
2965 unsigned int r;
2966 int i, needed_len;
2967 uschar smallbuf[sizeof(r)];
2968
2969 if (max <= 1)
2970   return 0;
2971
2972 needed_len = sizeof(r);
2973 /* Don't take 8 times more entropy than needed if int is 8 octets and we were
2974 asked for a number less than 10. */
2975
2976 for (r = max, i = 0; r; ++i)
2977   r >>= 1;
2978 i = (i + 7) / 8;
2979 if (i < needed_len)
2980   needed_len = i;
2981
2982 i = gnutls_rnd(GNUTLS_RND_NONCE, smallbuf, needed_len);
2983 if (i < 0)
2984   {
2985   DEBUG(D_all) debug_printf("gnutls_rnd() failed, using fallback.\n");
2986   return vaguely_random_number_fallback(max);
2987   }
2988 r = 0;
2989 for (uschar * p = smallbuf; needed_len; --needed_len, ++p)
2990   r = r * 256 + *p;
2991
2992 /* We don't particularly care about weighted results; if someone wants
2993  * smooth distribution and cares enough then they should submit a patch then. */
2994 return r % max;
2995 }
2996 #else /* HAVE_GNUTLS_RND */
2997 int
2998 vaguely_random_number(int max)
2999 {
3000   return vaguely_random_number_fallback(max);
3001 }
3002 #endif /* HAVE_GNUTLS_RND */
3003
3004
3005
3006
3007 /*************************************************
3008 *  Let tls_require_ciphers be checked at startup *
3009 *************************************************/
3010
3011 /* The tls_require_ciphers option, if set, must be something which the
3012 library can parse.
3013
3014 Returns:     NULL on success, or error message
3015 */
3016
3017 uschar *
3018 tls_validate_require_cipher(void)
3019 {
3020 int rc;
3021 uschar *expciphers = NULL;
3022 gnutls_priority_t priority_cache;
3023 const char *errpos;
3024 uschar * dummy_errstr;
3025
3026 #define validate_check_rc(Label) do { \
3027   if (rc != GNUTLS_E_SUCCESS) { if (exim_gnutls_base_init_done) gnutls_global_deinit(); \
3028   return string_sprintf("%s failed: %s", (Label), gnutls_strerror(rc)); } } while (0)
3029 #define return_deinit(Label) do { gnutls_global_deinit(); return (Label); } while (0)
3030
3031 if (exim_gnutls_base_init_done)
3032   log_write(0, LOG_MAIN|LOG_PANIC,
3033       "already initialised GnuTLS, Exim developer bug");
3034
3035 #ifdef HAVE_GNUTLS_PKCS11
3036 if (!gnutls_allow_auto_pkcs11)
3037   {
3038   rc = gnutls_pkcs11_init(GNUTLS_PKCS11_FLAG_MANUAL, NULL);
3039   validate_check_rc(US"gnutls_pkcs11_init");
3040   }
3041 #endif
3042 rc = gnutls_global_init();
3043 validate_check_rc(US"gnutls_global_init()");
3044 exim_gnutls_base_init_done = TRUE;
3045
3046 if (!(tls_require_ciphers && *tls_require_ciphers))
3047   return_deinit(NULL);
3048
3049 if (!expand_check(tls_require_ciphers, US"tls_require_ciphers", &expciphers,
3050                   &dummy_errstr))
3051   return_deinit(US"failed to expand tls_require_ciphers");
3052
3053 if (!(expciphers && *expciphers))
3054   return_deinit(NULL);
3055
3056 DEBUG(D_tls)
3057   debug_printf("tls_require_ciphers expands to \"%s\"\n", expciphers);
3058
3059 rc = gnutls_priority_init(&priority_cache, CS expciphers, &errpos);
3060 validate_check_rc(string_sprintf(
3061       "gnutls_priority_init(%s) failed at offset %ld, \"%.8s..\"",
3062       expciphers, errpos - CS expciphers, errpos));
3063
3064 #undef return_deinit
3065 #undef validate_check_rc
3066 gnutls_global_deinit();
3067
3068 return NULL;
3069 }
3070
3071
3072
3073
3074 /*************************************************
3075 *         Report the library versions.           *
3076 *************************************************/
3077
3078 /* See a description in tls-openssl.c for an explanation of why this exists.
3079
3080 Arguments:   a FILE* to print the results to
3081 Returns:     nothing
3082 */
3083
3084 void
3085 tls_version_report(FILE *f)
3086 {
3087 fprintf(f, "Library version: GnuTLS: Compile: %s\n"
3088            "                         Runtime: %s\n",
3089            LIBGNUTLS_VERSION,
3090            gnutls_check_version(NULL));
3091 }
3092
3093 /* vi: aw ai sw=2
3094 */
3095 /* End of tls-gnu.c */