More GnuTLS cleanups/fixes.
[exim.git] / src / src / tls-gnu.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2012 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Copyright (c) Phil Pennock 2012 */
9
10 /* This file provides TLS/SSL support for Exim using the GnuTLS library,
11 one of the available supported implementations.  This file is #included into
12 tls.c when USE_GNUTLS has been set.
13
14 The code herein is a revamp of GnuTLS integration using the current APIs; the
15 original tls-gnu.c was based on a patch which was contributed by Nikos
16 Mavroyanopoulos.  The revamp is partially a rewrite, partially cut&paste as
17 appropriate.
18
19 APIs current as of GnuTLS 2.12.18; note that the GnuTLS manual is for GnuTLS 3,
20 which is not widely deployed by OS vendors.  Will note issues below, which may
21 assist in updating the code in the future.  Another sources of hints is
22 mod_gnutls for Apache (SNI callback registration and handling).
23
24 Keeping client and server variables more split than before and is currently
25 the norm, in anticipation of TLS in ACL callouts.
26
27 I wanted to switch to gnutls_certificate_set_verify_function() so that
28 certificate rejection could happen during handshake where it belongs, rather
29 than being dropped afterwards, but that was introduced in 2.10.0 and Debian
30 (6.0.5) is still on 2.8.6.  So for now we have to stick with sub-par behaviour.
31
32 (I wasn't looking for libraries quite that old, when updating to get rid of
33 compiler warnings of deprecated APIs.  If it turns out that a lot of the rest
34 require current GnuTLS, then we'll drop support for the ancient libraries).
35 */
36
37 #include <gnutls/gnutls.h>
38 /* needed for cert checks in verification and DN extraction: */
39 #include <gnutls/x509.h>
40 /* man-page is incorrect, gnutls_rnd() is not in gnutls.h: */
41 #include <gnutls/crypto.h>
42
43 /* GnuTLS 2 vs 3
44
45 GnuTLS 3 only:
46   gnutls_global_set_audit_log_function()
47
48 Changes:
49   gnutls_certificate_verify_peers2(): is new, drop the 2 for old version
50 */
51
52 /* Local static variables for GnuTLS */
53
54 /* Values for verify_requirement */
55
56 enum peer_verify_requirement { VERIFY_NONE, VERIFY_OPTIONAL, VERIFY_REQUIRED };
57
58 /* This holds most state for server or client; with this, we can set up an
59 outbound TLS-enabled connection in an ACL callout, while not stomping all
60 over the TLS variables available for expansion.
61
62 Some of these correspond to variables in globals.c; those variables will
63 be set to point to content in one of these instances, as appropriate for
64 the stage of the process lifetime.
65
66 Not handled here: globals tls_active, tls_bits, tls_cipher, tls_peerdn,
67 tls_certificate_verified, tls_channelbinding_b64, tls_sni.
68 */
69
70 typedef struct exim_gnutls_state {
71   gnutls_session_t session;
72   gnutls_certificate_credentials_t x509_cred;
73   gnutls_priority_t priority_cache;
74   enum peer_verify_requirement verify_requirement;
75   int fd_in;
76   int fd_out;
77   BOOL peer_cert_verified;
78   BOOL trigger_sni_changes;
79   BOOL have_set_peerdn;
80   const struct host_item *host;
81   uschar *peerdn;
82   uschar *received_sni;
83
84   const uschar *tls_certificate;
85   const uschar *tls_privatekey;
86   const uschar *tls_sni; /* client send only, not received */
87   const uschar *tls_verify_certificates;
88   const uschar *tls_crl;
89   const uschar *tls_require_ciphers;
90   uschar *exp_tls_certificate;
91   uschar *exp_tls_privatekey;
92   uschar *exp_tls_sni;
93   uschar *exp_tls_verify_certificates;
94   uschar *exp_tls_crl;
95   uschar *exp_tls_require_ciphers;
96
97   uschar *xfer_buffer;
98   int xfer_buffer_lwm;
99   int xfer_buffer_hwm;
100   int xfer_eof;
101   int xfer_error;
102
103   uschar cipherbuf[256];
104 } exim_gnutls_state_st;
105
106 static const exim_gnutls_state_st exim_gnutls_state_init = {
107   NULL, NULL, NULL, VERIFY_NONE, -1, -1, FALSE, FALSE, FALSE,
108   NULL, NULL, NULL,
109   NULL, NULL, NULL, NULL, NULL, NULL,
110   NULL, NULL, NULL, NULL, NULL, NULL,
111   NULL, 0, 0, 0, 0,
112   ""
113 };
114
115 /* Not only do we have our own APIs which don't pass around state, assuming
116 it's held in globals, GnuTLS doesn't appear to let us register callback data
117 for callbacks, or as part of the session, so we have to keep a "this is the
118 context we're currently dealing with" pointer and rely upon being
119 single-threaded to keep from processing data on an inbound TLS connection while
120 talking to another TLS connection for an outbound check.  This does mean that
121 there's no way for heart-beats to be responded to, for the duration of the
122 second connection. */
123
124 static exim_gnutls_state_st state_server, state_client;
125 static exim_gnutls_state_st *current_global_tls_state;
126
127 /* dh_params are initialised once within the lifetime of a process using TLS;
128 if we used TLS in a long-lived daemon, we'd have to reconsider this.  But we
129 don't want to repeat this. */
130
131 static gnutls_dh_params_t dh_server_params = NULL;
132
133 /* No idea how this value was chosen; preserving it.  Default is 3600. */
134
135 static const int ssl_session_timeout = 200;
136
137 static const char * const exim_default_gnutls_priority = "NORMAL";
138
139 /* Guard library core initialisation */
140
141 static BOOL exim_gnutls_base_init_done = FALSE;
142
143
144 /* ------------------------------------------------------------------------ */
145 /* macros */
146
147 #define MAX_HOST_LEN 255
148
149 /* Set this to control gnutls_global_set_log_level(); values 0 to 9 will setup
150 the library logging; a value less than 0 disables the calls to set up logging
151 callbacks. */
152 #ifndef EXIM_GNUTLS_LIBRARY_LOG_LEVEL
153 #define EXIM_GNUTLS_LIBRARY_LOG_LEVEL -1
154 #endif
155
156 #ifndef EXIM_CLIENT_DH_MIN_BITS
157 #define EXIM_CLIENT_DH_MIN_BITS 1024
158 #endif
159
160 /* With GnuTLS 2.12.x+ we have gnutls_sec_param_to_pk_bits() with which we
161 can ask for a bit-strength.  Without that, we stick to the constant we had
162 before, for now. */
163 #ifndef EXIM_SERVER_DH_BITS_PRE2_12
164 #define EXIM_SERVER_DH_BITS_PRE2_12 1024
165 #endif
166
167 #define exim_gnutls_err_check(Label) do { \
168   if (rc != GNUTLS_E_SUCCESS) { return tls_error((Label), gnutls_strerror(rc), host); } } while (0)
169
170 #define expand_check_tlsvar(Varname) expand_check(state->Varname, US #Varname, &state->exp_##Varname)
171
172 #if GNUTLS_VERSION_NUMBER >= 0x020c00
173 #define HAVE_GNUTLS_SESSION_CHANNEL_BINDING
174 #define HAVE_GNUTLS_SEC_PARAM_CONSTANTS
175 #define HAVE_GNUTLS_RND
176 #endif
177
178
179
180
181 /* ------------------------------------------------------------------------ */
182 /* Callback declarations */
183
184 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
185 static void exim_gnutls_logger_cb(int level, const char *message);
186 #endif
187
188 static int exim_sni_handling_cb(gnutls_session_t session);
189
190
191
192
193 /* ------------------------------------------------------------------------ */
194 /* Static functions */
195
196 /*************************************************
197 *               Handle TLS error                 *
198 *************************************************/
199
200 /* Called from lots of places when errors occur before actually starting to do
201 the TLS handshake, that is, while the session is still in clear. Always returns
202 DEFER for a server and FAIL for a client so that most calls can use "return
203 tls_error(...)" to do this processing and then give an appropriate return. A
204 single function is used for both server and client, because it is called from
205 some shared functions.
206
207 Argument:
208   prefix    text to include in the logged error
209   msg       additional error string (may be NULL)
210             usually obtained from gnutls_strerror()
211   host      NULL if setting up a server;
212             the connected host if setting up a client
213
214 Returns:    OK/DEFER/FAIL
215 */
216
217 static int
218 tls_error(const uschar *prefix, const char *msg, const host_item *host)
219 {
220 if (host)
221   {
222   log_write(0, LOG_MAIN, "TLS error on connection to %s [%s] (%s)%s%s",
223       host->name, host->address, prefix, msg ? ": " : "", msg ? msg : "");
224   return FAIL;
225   }
226 else
227   {
228   uschar *conn_info = smtp_get_connection_info();
229   if (Ustrncmp(conn_info, US"SMTP ", 5) == 0)
230     conn_info += 5;
231   log_write(0, LOG_MAIN, "TLS error on %s (%s)%s%s",
232       conn_info, prefix, msg ? ": " : "", msg ? msg : "");
233   return DEFER;
234   }
235 }
236
237
238
239
240 /*************************************************
241 *    Deal with logging errors during I/O         *
242 *************************************************/
243
244 /* We have to get the identity of the peer from saved data.
245
246 Argument:
247   state    the current GnuTLS exim state container
248   rc       the GnuTLS error code, or 0 if it's a local error
249   when     text identifying read or write
250   text     local error text when ec is 0
251
252 Returns:   nothing
253 */
254
255 static void
256 record_io_error(exim_gnutls_state_st *state, int rc, uschar *when, uschar *text)
257 {
258 const char *msg;
259
260 if (rc == GNUTLS_E_FATAL_ALERT_RECEIVED)
261   msg = CS string_sprintf("%s: %s", US gnutls_strerror(rc),
262     US gnutls_alert_get_name(gnutls_alert_get(state->session)));
263 else
264   msg = gnutls_strerror(rc);
265
266 tls_error(when, msg, state->host);
267 }
268
269
270
271
272 /*************************************************
273 *        Set various Exim expansion vars         *
274 *************************************************/
275
276 /* We set various Exim global variables from the state, once a session has
277 been established.  With TLS callouts, may need to change this to stack
278 variables, or just re-call it with the server state after client callout
279 has finished.
280
281 Make sure anything set here is inset in tls_getc().
282
283 Sets:
284   tls_active                fd
285   tls_bits                  strength indicator
286   tls_certificate_verified  bool indicator
287   tls_channelbinding_b64    for some SASL mechanisms
288   tls_cipher                a string
289   tls_peerdn                a string
290   tls_sni                   a (UTF-8) string
291 Also:
292   current_global_tls_state  for API limitations
293
294 Argument:
295   state      the relevant exim_gnutls_state_st *
296 */
297
298 static void
299 extract_exim_vars_from_tls_state(exim_gnutls_state_st *state)
300 {
301 gnutls_cipher_algorithm_t cipher;
302 #ifdef HAVE_GNUTLS_SESSION_CHANNEL_BINDING
303 int old_pool;
304 int rc;
305 gnutls_datum_t channel;
306 #endif
307
308 current_global_tls_state = state;
309
310 tls_active = state->fd_out;
311
312 cipher = gnutls_cipher_get(state->session);
313 /* returns size in "bytes" */
314 tls_bits = gnutls_cipher_get_key_size(cipher) * 8;
315
316 tls_cipher = state->cipherbuf;
317
318 DEBUG(D_tls) debug_printf("cipher: %s\n", tls_cipher);
319
320 tls_certificate_verified = state->peer_cert_verified;
321
322 /* note that tls_channelbinding_b64 is not saved to the spool file, since it's
323 only available for use for authenticators while this TLS session is running. */
324
325 tls_channelbinding_b64 = NULL;
326 #ifdef HAVE_GNUTLS_SESSION_CHANNEL_BINDING
327 channel.data = NULL;
328 channel.size = 0;
329 rc = gnutls_session_channel_binding(state->session, GNUTLS_CB_TLS_UNIQUE, &channel);
330 if (rc) {
331   DEBUG(D_tls) debug_printf("Channel binding error: %s\n", gnutls_strerror(rc));
332 } else {
333   old_pool = store_pool;
334   store_pool = POOL_PERM;
335   tls_channelbinding_b64 = auth_b64encode(channel.data, (int)channel.size);
336   store_pool = old_pool;
337   DEBUG(D_tls) debug_printf("Have channel bindings cached for possible auth usage.\n");
338 }
339 #endif
340
341 tls_peerdn = state->peerdn;
342
343 tls_sni = state->received_sni;
344 }
345
346
347
348
349 /*************************************************
350 *            Setup up DH parameters              *
351 *************************************************/
352
353 /* Generating the D-H parameters may take a long time. They only need to
354 be re-generated every so often, depending on security policy. What we do is to
355 keep these parameters in a file in the spool directory. If the file does not
356 exist, we generate them. This means that it is easy to cause a regeneration.
357
358 The new file is written as a temporary file and renamed, so that an incomplete
359 file is never present. If two processes both compute some new parameters, you
360 waste a bit of effort, but it doesn't seem worth messing around with locking to
361 prevent this.
362
363 Argument:
364   host       NULL for server, server for client (for error handling)
365
366 Returns:     OK/DEFER/FAIL
367 */
368
369 static int
370 init_server_dh(void)
371 {
372 int fd, rc;
373 unsigned int dh_bits;
374 gnutls_datum m;
375 uschar filename[PATH_MAX];
376 size_t sz;
377 host_item *host = NULL; /* dummy for macros */
378
379 DEBUG(D_tls) debug_printf("Initialising GnuTLS server params.\n");
380
381 rc = gnutls_dh_params_init(&dh_server_params);
382 exim_gnutls_err_check(US"gnutls_dh_params_init");
383
384 #ifdef HAVE_GNUTLS_SEC_PARAM_CONSTANTS
385 /* If you change this constant, also change dh_param_fn_ext so that we can use a
386 different filename and ensure we have sufficient bits. */
387 dh_bits = gnutls_sec_param_to_pk_bits(GNUTLS_PK_DH, GNUTLS_SEC_PARAM_NORMAL);
388 if (!dh_bits)
389   return tls_error(US"gnutls_sec_param_to_pk_bits() failed", NULL, NULL);
390 DEBUG(D_tls)
391   debug_printf("GnuTLS tells us that for D-H PK, NORMAL is %d bits.\n",
392       dh_bits);
393 #else
394 dh_bits = EXIM_SERVER_DH_BITS_PRE2_12;
395 DEBUG(D_tls)
396   debug_printf("GnuTLS lacks gnutls_sec_param_to_pk_bits(), using %d bits.\n",
397       dh_bits);
398 #endif
399
400 if (!string_format(filename, sizeof(filename),
401       "%s/gnutls-params-%d", spool_directory, dh_bits))
402   return tls_error(US"overlong filename", NULL, NULL);
403
404 /* Open the cache file for reading and if successful, read it and set up the
405 parameters. */
406
407 fd = Uopen(filename, O_RDONLY, 0);
408 if (fd >= 0)
409   {
410   struct stat statbuf;
411   FILE *fp;
412   int saved_errno;
413
414   if (fstat(fd, &statbuf) < 0)  /* EIO */
415     {
416     saved_errno = errno;
417     (void)close(fd);
418     return tls_error(US"TLS cache stat failed", strerror(saved_errno), NULL);
419     }
420   if (!S_ISREG(statbuf.st_mode))
421     {
422     (void)close(fd);
423     return tls_error(US"TLS cache not a file", NULL, NULL);
424     }
425   fp = fdopen(fd, "rb");
426   if (!fp)
427     {
428     saved_errno = errno;
429     (void)close(fd);
430     return tls_error(US"fdopen(TLS cache stat fd) failed",
431         strerror(saved_errno), NULL);
432     }
433
434   m.size = statbuf.st_size;
435   m.data = malloc(m.size);
436   if (m.data == NULL)
437     {
438     fclose(fp);
439     return tls_error(US"malloc failed", strerror(errno), NULL);
440     }
441   sz = fread(m.data, m.size, 1, fp);
442   if (!sz)
443     {
444     saved_errno = errno;
445     fclose(fp);
446     free(m.data);
447     return tls_error(US"fread failed", strerror(saved_errno), NULL);
448     }
449   fclose(fp);
450
451   rc = gnutls_dh_params_import_pkcs3(dh_server_params, &m, GNUTLS_X509_FMT_PEM);
452   free(m.data);
453   exim_gnutls_err_check(US"gnutls_dh_params_import_pkcs3");
454   DEBUG(D_tls) debug_printf("read D-H parameters from file \"%s\"\n", filename);
455   }
456
457 /* If the file does not exist, fall through to compute new data and cache it.
458 If there was any other opening error, it is serious. */
459
460 else if (errno == ENOENT)
461   {
462   rc = -1;
463   DEBUG(D_tls)
464     debug_printf("D-H parameter cache file \"%s\" does not exist\n", filename);
465   }
466 else
467   return tls_error(string_open_failed(errno, "\"%s\" for reading", filename),
468       NULL, NULL);
469
470 /* If ret < 0, either the cache file does not exist, or the data it contains
471 is not useful. One particular case of this is when upgrading from an older
472 release of Exim in which the data was stored in a different format. We don't
473 try to be clever and support both formats; we just regenerate new data in this
474 case. */
475
476 if (rc < 0)
477   {
478   uschar *temp_fn;
479
480   if ((PATH_MAX - Ustrlen(filename)) < 10)
481     return tls_error(US"Filename too long to generate replacement",
482         CS filename, NULL);
483
484   temp_fn = string_copy(US "%s.XXXXXXX");
485   fd = mkstemp(CS temp_fn); /* modifies temp_fn */
486   if (fd < 0)
487     return tls_error(US"Unable to open temp file", strerror(errno), NULL);
488   (void)fchown(fd, exim_uid, exim_gid);   /* Probably not necessary */
489
490   DEBUG(D_tls) debug_printf("generating %d bits Diffie-Hellman key ...\n", dh_bits);
491   rc = gnutls_dh_params_generate2(dh_server_params, dh_bits);
492   exim_gnutls_err_check(US"gnutls_dh_params_generate2");
493
494   /* gnutls_dh_params_export_pkcs3() will tell us the exact size, every time,
495   and I confirmed that a NULL call to get the size first is how the GnuTLS
496   sample apps handle this. */
497
498   sz = 0;
499   m.data = NULL;
500   rc = gnutls_dh_params_export_pkcs3(dh_server_params, GNUTLS_X509_FMT_PEM,
501       m.data, &sz);
502   if (rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
503     exim_gnutls_err_check(US"gnutls_dh_params_export_pkcs3(NULL) sizing");
504   m.size = sz;
505   m.data = malloc(m.size);
506   if (m.data == NULL)
507     return tls_error(US"memory allocation failed", strerror(errno), NULL);
508   rc = gnutls_dh_params_export_pkcs3(dh_server_params, GNUTLS_X509_FMT_PEM,
509       m.data, &sz);
510   if (rc != GNUTLS_E_SUCCESS)
511     {
512     free(m.data);
513     exim_gnutls_err_check(US"gnutls_dh_params_export_pkcs3() real");
514     }
515
516   sz = write_to_fd_buf(fd, m.data, (size_t) m.size);
517   if (sz != m.size)
518     {
519     free(m.data);
520     return tls_error(US"TLS cache write D-H params failed",
521         strerror(errno), NULL);
522     }
523   free(m.data);
524   sz = write_to_fd_buf(fd, US"\n", 1);
525   if (sz != 1)
526     return tls_error(US"TLS cache write D-H params final newline failed",
527         strerror(errno), NULL);
528
529   rc = close(fd);
530   if (rc)
531     return tls_error(US"TLS cache write close() failed",
532         strerror(errno), NULL);
533
534   if (Urename(temp_fn, filename) < 0)
535     return tls_error(string_sprintf("failed to rename \"%s\" as \"%s\"",
536           temp_fn, filename), strerror(errno), NULL);
537
538   DEBUG(D_tls) debug_printf("wrote D-H parameters to file \"%s\"\n", filename);
539   }
540
541 DEBUG(D_tls) debug_printf("initialized server D-H parameters\n");
542 return OK;
543 }
544
545
546
547
548 /*************************************************
549 *       Variables re-expanded post-SNI           *
550 *************************************************/
551
552 /* Called from both server and client code, via tls_init(), and also from
553 the SNI callback after receiving an SNI, if tls_certificate includes "tls_sni".
554
555 We can tell the two apart by state->received_sni being non-NULL in callback.
556
557 The callback should not call us unless state->trigger_sni_changes is true,
558 which we are responsible for setting on the first pass through.
559
560 Arguments:
561   state           exim_gnutls_state_st *
562
563 Returns:          OK/DEFER/FAIL
564 */
565
566 static int
567 tls_expand_session_files(exim_gnutls_state_st *state)
568 {
569 struct stat statbuf;
570 int rc;
571 const host_item *host = state->host;  /* macro should be reconsidered? */
572 uschar *saved_tls_certificate = NULL;
573 uschar *saved_tls_privatekey = NULL;
574 uschar *saved_tls_verify_certificates = NULL;
575 uschar *saved_tls_crl = NULL;
576 int cert_count;
577
578 /* We check for tls_sni *before* expansion. */
579 if (!state->host)
580   {
581   if (!state->received_sni)
582     {
583     if (Ustrstr(state->tls_certificate, US"tls_sni"))
584       {
585       DEBUG(D_tls) debug_printf("We will re-expand TLS session files if we receive SNI.\n");
586       state->trigger_sni_changes = TRUE;
587       }
588     }
589   else
590     {
591     /* useful for debugging */
592     saved_tls_certificate = state->exp_tls_certificate;
593     saved_tls_privatekey = state->exp_tls_privatekey;
594     saved_tls_verify_certificates = state->exp_tls_verify_certificates;
595     saved_tls_crl = state->exp_tls_crl;
596     }
597   }
598
599 rc = gnutls_certificate_allocate_credentials(&state->x509_cred);
600 exim_gnutls_err_check(US"gnutls_certificate_allocate_credentials");
601
602 /* remember: expand_check_tlsvar() is expand_check() but fiddling with
603 state members, assuming consistent naming; and expand_check() returns
604 false if expansion failed, unless expansion was forced to fail. */
605
606 /* check if we at least have a certificate, before doing expensive
607 D-H generation. */
608
609 if (!expand_check_tlsvar(tls_certificate))
610   return DEFER;
611
612 /* certificate is mandatory in server, optional in client */
613
614 if ((state->exp_tls_certificate == NULL) ||
615     (*state->exp_tls_certificate == '\0'))
616   {
617   if (state->host == NULL)
618     return tls_error(US"no TLS server certificate is specified", NULL, NULL);
619   else
620     DEBUG(D_tls) debug_printf("TLS: no client certificate specified; okay\n");
621   }
622
623 if (state->tls_privatekey && !expand_check_tlsvar(tls_privatekey))
624   return DEFER;
625
626 /* tls_privatekey is optional, defaulting to same file as certificate */
627
628 if (state->tls_privatekey == NULL || *state->tls_privatekey == '\0')
629   {
630   state->tls_privatekey = state->tls_certificate;
631   state->exp_tls_privatekey = state->exp_tls_certificate;
632   }
633
634
635 if (state->exp_tls_certificate && *state->exp_tls_certificate)
636   {
637   DEBUG(D_tls) debug_printf("certificate file = %s\nkey file = %s\n",
638       state->exp_tls_certificate, state->exp_tls_privatekey);
639
640   if (state->received_sni)
641     {
642     if ((Ustrcmp(state->exp_tls_certificate, saved_tls_certificate) == 0) &&
643         (Ustrcmp(state->exp_tls_privatekey, saved_tls_privatekey) == 0))
644       {
645       DEBUG(D_tls) debug_printf("TLS SNI: cert and key unchanged\n");
646       }
647     else
648       {
649       DEBUG(D_tls) debug_printf("TLS SNI: have a changed cert/key pair.\n");
650       }
651     }
652
653   rc = gnutls_certificate_set_x509_key_file(state->x509_cred,
654       CS state->exp_tls_certificate, CS state->exp_tls_privatekey,
655       GNUTLS_X509_FMT_PEM);
656   exim_gnutls_err_check(
657       string_sprintf("cert/key setup: cert=%s key=%s",
658         state->exp_tls_certificate, state->exp_tls_privatekey));
659   DEBUG(D_tls) debug_printf("TLS: cert/key registered\n");
660   } /* tls_certificate */
661
662 /* Set the trusted CAs file if one is provided, and then add the CRL if one is
663 provided. Experiment shows that, if the certificate file is empty, an unhelpful
664 error message is provided. However, if we just refrain from setting anything up
665 in that case, certificate verification fails, which seems to be the correct
666 behaviour. */
667
668 if (state->tls_verify_certificates && *state->tls_verify_certificates)
669   {
670   if (!expand_check_tlsvar(tls_verify_certificates))
671     return DEFER;
672   if (state->tls_crl && *state->tls_crl)
673     if (!expand_check_tlsvar(tls_crl))
674       return DEFER;
675
676   if (!(state->exp_tls_verify_certificates &&
677         *state->exp_tls_verify_certificates))
678     {
679     DEBUG(D_tls)
680       debug_printf("TLS: tls_verify_certificates expanded empty, ignoring\n");
681     /* With no tls_verify_certificates, we ignore tls_crl too */
682     return OK;
683     }
684   }
685 else
686   {
687   DEBUG(D_tls)
688     debug_printf("TLS: tls_verify_certificates not set or empty, ignoring\n");
689   return OK;
690   }
691
692 if (Ustat(state->exp_tls_verify_certificates, &statbuf) < 0)
693   {
694   log_write(0, LOG_MAIN|LOG_PANIC, "could not stat %s "
695       "(tls_verify_certificates): %s", state->exp_tls_verify_certificates,
696       strerror(errno));
697   return DEFER;
698   }
699
700 if (!S_ISREG(statbuf.st_mode))
701   {
702   DEBUG(D_tls)
703     debug_printf("verify certificates path is not a file: \"%s\"\n%s\n",
704         state->exp_tls_verify_certificates,
705         S_ISDIR(statbuf.st_mode)
706           ? " it's a directory, that's OpenSSL, this is GnuTLS"
707           : " (not a directory either)");
708   log_write(0, LOG_MAIN|LOG_PANIC,
709       "tls_verify_certificates \"%s\" is not a file",
710       state->exp_tls_verify_certificates);
711   return DEFER;
712   }
713
714 DEBUG(D_tls) debug_printf("verify certificates = %s size=" OFF_T_FMT "\n",
715         state->exp_tls_verify_certificates, statbuf.st_size);
716
717 if (statbuf.st_size == 0)
718   {
719   DEBUG(D_tls)
720     debug_printf("cert file empty, no certs, no verification, ignoring any CRL\n");
721   return OK;
722   }
723
724 cert_count = gnutls_certificate_set_x509_trust_file(state->x509_cred,
725     CS state->exp_tls_verify_certificates, GNUTLS_X509_FMT_PEM);
726 if (cert_count < 0)
727   {
728   rc = cert_count;
729   exim_gnutls_err_check(US"gnutls_certificate_set_x509_trust_file");
730   }
731 DEBUG(D_tls) debug_printf("Added %d certificate authorities.\n", cert_count);
732
733 if (state->tls_crl && *state->tls_crl)
734   {
735   if (state->exp_tls_crl && *state->exp_tls_crl)
736     {
737     DEBUG(D_tls) debug_printf("loading CRL file = %s\n", state->exp_tls_crl);
738     rc = gnutls_certificate_set_x509_crl_file(state->x509_cred,
739         CS state->exp_tls_crl, GNUTLS_X509_FMT_PEM);
740     exim_gnutls_err_check(US"gnutls_certificate_set_x509_crl_file");
741     }
742   }
743
744 return OK;
745 }
746
747
748
749
750 /*************************************************
751 *          Set X.509 state variables             *
752 *************************************************/
753
754 /* In GnuTLS, the registered cert/key are not replaced by a later
755 set of a cert/key, so for SNI support we need a whole new x509_cred
756 structure.  Which means various other non-re-expanded pieces of state
757 need to be re-set in the new struct, so the setting logic is pulled
758 out to this.
759
760 Arguments:
761   state           exim_gnutls_state_st *
762
763 Returns:          OK/DEFER/FAIL
764 */
765
766 static int
767 tls_set_remaining_x509(exim_gnutls_state_st *state)
768 {
769 int rc;
770 const host_item *host = state->host;  /* macro should be reconsidered? */
771
772 /* Create D-H parameters, or read them from the cache file. This function does
773 its own SMTP error messaging. This only happens for the server, TLS D-H ignores
774 client-side params. */
775
776 if (!state->host)
777   {
778   if (!dh_server_params)
779     {
780     rc = init_server_dh();
781     if (rc != OK) return rc;
782     }
783   gnutls_certificate_set_dh_params(state->x509_cred, dh_server_params);
784   }
785
786 /* Link the credentials to the session. */
787
788 rc = gnutls_credentials_set(state->session, GNUTLS_CRD_CERTIFICATE, state->x509_cred);
789 exim_gnutls_err_check(US"gnutls_credentials_set");
790
791 return OK;
792 }
793
794 /*************************************************
795 *            Initialize for GnuTLS               *
796 *************************************************/
797
798 /* Called from both server and client code. In the case of a server, errors
799 before actual TLS negotiation return DEFER.
800
801 Arguments:
802   host            connected host, if client; NULL if server
803   certificate     certificate file
804   privatekey      private key file
805   sni             TLS SNI to send, sometimes when client; else NULL
806   cas             CA certs file
807   crl             CRL file
808   require_ciphers tls_require_ciphers setting
809
810 Returns:          OK/DEFER/FAIL
811 */
812
813 static int
814 tls_init(
815     const host_item *host,
816     const uschar *certificate,
817     const uschar *privatekey,
818     const uschar *sni,
819     const uschar *cas,
820     const uschar *crl,
821     const uschar *require_ciphers,
822     exim_gnutls_state_st **caller_state)
823 {
824 exim_gnutls_state_st *state;
825 int rc;
826 size_t sz;
827 const char *errpos;
828 uschar *p;
829 BOOL want_default_priorities;
830
831 if (!exim_gnutls_base_init_done)
832   {
833   DEBUG(D_tls) debug_printf("GnuTLS global init required.\n");
834
835   rc = gnutls_global_init();
836   exim_gnutls_err_check(US"gnutls_global_init");
837
838 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
839   DEBUG(D_tls)
840     {
841     gnutls_global_set_log_function(exim_gnutls_logger_cb);
842     /* arbitrarily chosen level; bump upto 9 for more */
843     gnutls_global_set_log_level(EXIM_GNUTLS_LIBRARY_LOG_LEVEL);
844     }
845 #endif
846
847   exim_gnutls_base_init_done = TRUE;
848   }
849
850 if (host)
851   {
852   state = &state_client;
853   memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
854   DEBUG(D_tls) debug_printf("initialising GnuTLS client session\n");
855   rc = gnutls_init(&state->session, GNUTLS_CLIENT);
856   }
857 else
858   {
859   state = &state_server;
860   memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
861   DEBUG(D_tls) debug_printf("initialising GnuTLS server session\n");
862   rc = gnutls_init(&state->session, GNUTLS_SERVER);
863   }
864 exim_gnutls_err_check(US"gnutls_init");
865
866 state->host = host;
867
868 state->tls_certificate = certificate;
869 state->tls_privatekey = privatekey;
870 state->tls_sni = sni;
871 state->tls_verify_certificates = cas;
872 state->tls_crl = crl;
873
874 /* This handles the variables that might get re-expanded after TLS SNI;
875 that's tls_certificate, tls_privatekey, tls_verify_certificates, tls_crl */
876
877 DEBUG(D_tls)
878   debug_printf("Expanding various TLS configuration options for session credentials.\n");
879 rc = tls_expand_session_files(state);
880 if (rc != OK) return rc;
881
882 /* These are all other parts of the x509_cred handling, since SNI in GnuTLS
883 requires a new structure afterwards. */
884
885 rc = tls_set_remaining_x509(state);
886 if (rc != OK) return rc;
887
888 /* set SNI in client, only */
889 if (host)
890   {
891   if (!expand_check_tlsvar(tls_sni))
892     return DEFER;
893   if (state->exp_tls_sni && *state->exp_tls_sni)
894     {
895     DEBUG(D_tls)
896       debug_printf("Setting TLS client SNI to \"%s\"\n", state->exp_tls_sni);
897     sz = Ustrlen(state->exp_tls_sni);
898     rc = gnutls_server_name_set(state->session,
899         GNUTLS_NAME_DNS, state->exp_tls_sni, sz);
900     exim_gnutls_err_check(US"gnutls_server_name_set");
901     }
902   }
903 else if (state->tls_sni)
904   DEBUG(D_tls) debug_printf("*** PROBABLY A BUG *** " \
905       "have an SNI set for a client [%s]\n", state->tls_sni);
906
907 /* This is the priority string support,
908 http://www.gnu.org/software/gnutls/manual/html_node/Priority-Strings.html
909 and replaces gnutls_require_kx, gnutls_require_mac & gnutls_require_protocols.
910 This was backwards incompatible, but means Exim no longer needs to track
911 all algorithms and provide string forms for them. */
912
913 want_default_priorities = TRUE;
914
915 if (state->tls_require_ciphers && *state->tls_require_ciphers)
916   {
917   if (!expand_check_tlsvar(tls_require_ciphers))
918     return DEFER;
919   if (state->exp_tls_require_ciphers && *state->exp_tls_require_ciphers)
920     {
921     DEBUG(D_tls) debug_printf("GnuTLS session cipher/priority \"%s\"\n",
922         state->exp_tls_require_ciphers);
923
924     rc = gnutls_priority_init(&state->priority_cache,
925         CS state->exp_tls_require_ciphers, &errpos);
926     want_default_priorities = FALSE;
927     p = state->exp_tls_require_ciphers;
928     }
929   }
930 if (want_default_priorities)
931   {
932   DEBUG(D_tls)
933     debug_printf("GnuTLS using default session cipher/priority \"%s\"\n",
934         exim_default_gnutls_priority);
935   rc = gnutls_priority_init(&state->priority_cache,
936       exim_default_gnutls_priority, &errpos);
937   p = US exim_default_gnutls_priority;
938   }
939
940 exim_gnutls_err_check(string_sprintf(
941       "gnutls_priority_init(%s) failed at offset %ld, \"%.6s..\"",
942       p, errpos - CS p, errpos));
943
944 rc = gnutls_priority_set(state->session, state->priority_cache);
945 exim_gnutls_err_check(US"gnutls_priority_set");
946
947 gnutls_db_set_cache_expiration(state->session, ssl_session_timeout);
948
949 /* Reduce security in favour of increased compatibility, if the admin
950 decides to make that trade-off. */
951 if (gnutls_compat_mode)
952   {
953 #if LIBGNUTLS_VERSION_NUMBER >= 0x020104
954   DEBUG(D_tls) debug_printf("lowering GnuTLS security, compatibility mode\n");
955   gnutls_session_enable_compatibility_mode(state->session);
956 #else
957   DEBUG(D_tls) debug_printf("Unable to set gnutls_compat_mode - GnuTLS version too old\n");
958 #endif
959   }
960
961 *caller_state = state;
962 /* needs to happen before callbacks during handshake */
963 current_global_tls_state = state;
964 return OK;
965 }
966
967
968
969
970 /*************************************************
971 *            Extract peer information            *
972 *************************************************/
973
974 /* Called from both server and client code.
975 Only this is allowed to set state->peerdn and state->have_set_peerdn
976 and we use that to detect double-calls.
977
978 Arguments:
979   state           exim_gnutls_state_st *
980
981 Returns:          OK/DEFER/FAIL
982 */
983
984 static int
985 peer_status(exim_gnutls_state_st *state)
986 {
987 const gnutls_datum *cert_list;
988 int rc;
989 unsigned int cert_list_size = 0;
990 gnutls_protocol_t protocol;
991 gnutls_cipher_algorithm_t cipher;
992 gnutls_kx_algorithm_t kx;
993 gnutls_mac_algorithm_t mac;
994 gnutls_certificate_type_t ct;
995 gnutls_x509_crt_t crt;
996 uschar *p, *dn_buf;
997 size_t sz;
998
999 if (state->have_set_peerdn)
1000   return OK;
1001 state->have_set_peerdn = TRUE;
1002
1003 state->peerdn = NULL;
1004
1005 /* tls_cipher */
1006 cipher = gnutls_cipher_get(state->session);
1007 protocol = gnutls_protocol_get_version(state->session);
1008 mac = gnutls_mac_get(state->session);
1009 kx = gnutls_kx_get(state->session);
1010
1011 string_format(state->cipherbuf, sizeof(state->cipherbuf),
1012     "%s:%s:%d",
1013     gnutls_protocol_get_name(protocol),
1014     gnutls_cipher_suite_get_name(kx, cipher, mac),
1015     (int) gnutls_cipher_get_key_size(cipher) * 8);
1016
1017 /* I don't see a way that spaces could occur, in the current GnuTLS
1018 code base, but it was a concern in the old code and perhaps older GnuTLS
1019 releases did return "TLS 1.0"; play it safe, just in case. */
1020 for (p = state->cipherbuf; *p != '\0'; ++p)
1021   if (isspace(*p))
1022     *p = '-';
1023
1024 /* tls_peerdn */
1025 cert_list = gnutls_certificate_get_peers(state->session, &cert_list_size);
1026
1027 if (cert_list == NULL || cert_list_size == 0)
1028   {
1029   DEBUG(D_tls) debug_printf("TLS: no certificate from peer (%p & %d)\n",
1030       cert_list, cert_list_size);
1031   if (state->verify_requirement == VERIFY_REQUIRED)
1032     return tls_error(US"certificate verification failed",
1033         "no certificate received from peer", state->host);
1034   return OK;
1035   }
1036
1037 ct = gnutls_certificate_type_get(state->session);
1038 if (ct != GNUTLS_CRT_X509)
1039   {
1040   const char *ctn = gnutls_certificate_type_get_name(ct);
1041   DEBUG(D_tls)
1042     debug_printf("TLS: peer cert not X.509 but instead \"%s\"\n", ctn);
1043   if (state->verify_requirement == VERIFY_REQUIRED)
1044     return tls_error(US"certificate verification not possible, unhandled type",
1045         ctn, state->host);
1046   return OK;
1047   }
1048
1049 #define exim_gnutls_peer_err(Label) do { \
1050   if (rc != GNUTLS_E_SUCCESS) { \
1051     DEBUG(D_tls) debug_printf("TLS: peer cert problem: %s: %s\n", (Label), gnutls_strerror(rc)); \
1052     if (state->verify_requirement == VERIFY_REQUIRED) { return tls_error((Label), gnutls_strerror(rc), state->host); } \
1053     return OK; } } while (0)
1054
1055 rc = gnutls_x509_crt_init(&crt);
1056 exim_gnutls_peer_err(US"gnutls_x509_crt_init (crt)");
1057
1058 rc = gnutls_x509_crt_import(crt, &cert_list[0], GNUTLS_X509_FMT_DER);
1059 exim_gnutls_peer_err(US"failed to import certificate [gnutls_x509_crt_import(cert 0)]");
1060 sz = 0;
1061 rc = gnutls_x509_crt_get_dn(crt, NULL, &sz);
1062 if (rc != GNUTLS_E_SHORT_MEMORY_BUFFER)
1063   {
1064   exim_gnutls_peer_err(US"getting size for cert DN failed");
1065   return FAIL; /* should not happen */
1066   }
1067 dn_buf = store_get_perm(sz);
1068 rc = gnutls_x509_crt_get_dn(crt, CS dn_buf, &sz);
1069 exim_gnutls_peer_err(US"failed to extract certificate DN [gnutls_x509_crt_get_dn(cert 0)]");
1070 state->peerdn = dn_buf;
1071
1072 return OK;
1073 #undef exim_gnutls_peer_err
1074 }
1075
1076
1077
1078
1079 /*************************************************
1080 *            Verify peer certificate             *
1081 *************************************************/
1082
1083 /* Called from both server and client code.
1084 *Should* be using a callback registered with
1085 gnutls_certificate_set_verify_function() to fail the handshake if we dislike
1086 the peer information, but that's too new for some OSes.
1087
1088 Arguments:
1089   state           exim_gnutls_state_st *
1090   error           where to put an error message
1091
1092 Returns:
1093   FALSE     if the session should be rejected
1094   TRUE      if the cert is okay or we just don't care
1095 */
1096
1097 static BOOL
1098 verify_certificate(exim_gnutls_state_st *state, const char **error)
1099 {
1100 int rc;
1101 unsigned int verify;
1102
1103 *error = NULL;
1104
1105 rc = peer_status(state);
1106 if (rc != OK)
1107   {
1108   verify = GNUTLS_CERT_INVALID;
1109   *error = "not supplied";
1110   }
1111 else
1112   {
1113   rc = gnutls_certificate_verify_peers2(state->session, &verify);
1114   }
1115
1116 /* Handle the result of verification. INVALID seems to be set as well
1117 as REVOKED, but leave the test for both. */
1118
1119 if ((rc < 0) || (verify & (GNUTLS_CERT_INVALID|GNUTLS_CERT_REVOKED)) != 0)
1120   {
1121   state->peer_cert_verified = FALSE;
1122   if (*error == NULL)
1123     *error = ((verify & GNUTLS_CERT_REVOKED) != 0) ? "revoked" : "invalid";
1124
1125   DEBUG(D_tls)
1126     debug_printf("TLS certificate verification failed (%s): peerdn=%s\n",
1127         *error, state->peerdn ? state->peerdn : US"<unset>");
1128
1129   if (state->verify_requirement == VERIFY_REQUIRED)
1130     {
1131     gnutls_alert_send(state->session, GNUTLS_AL_FATAL, GNUTLS_A_BAD_CERTIFICATE);
1132     return FALSE;
1133     }
1134   DEBUG(D_tls)
1135     debug_printf("TLS verify failure overriden (host in tls_try_verify_hosts)\n");
1136   }
1137 else
1138   {
1139   state->peer_cert_verified = TRUE;
1140   DEBUG(D_tls) debug_printf("TLS certificate verified: peerdn=%s\n",
1141       state->peerdn ? state->peerdn : US"<unset>");
1142   }
1143
1144 tls_peerdn = state->peerdn;
1145
1146 return TRUE;
1147 }
1148
1149
1150
1151
1152 /* ------------------------------------------------------------------------ */
1153 /* Callbacks */
1154
1155 /* Logging function which can be registered with
1156  *   gnutls_global_set_log_function()
1157  *   gnutls_global_set_log_level() 0..9
1158  */
1159 #if EXIM_GNUTLS_LIBRARY_LOG_LEVEL >= 0
1160 static void
1161 exim_gnutls_logger_cb(int level, const char *message)
1162 {
1163   DEBUG(D_tls) debug_printf("GnuTLS<%d>: %s\n", level, message);
1164 }
1165 #endif
1166
1167
1168 /* Called after client hello, should handle SNI work.
1169 This will always set tls_sni (state->received_sni) if available,
1170 and may trigger presenting different certificates,
1171 if state->trigger_sni_changes is TRUE.
1172
1173 Should be registered with
1174   gnutls_handshake_set_post_client_hello_function()
1175
1176 "This callback must return 0 on success or a gnutls error code to terminate the
1177 handshake.".
1178
1179 For inability to get SNI information, we return 0.
1180 We only return non-zero if re-setup failed.
1181 */
1182
1183 static int
1184 exim_sni_handling_cb(gnutls_session_t session)
1185 {
1186 char sni_name[MAX_HOST_LEN];
1187 size_t data_len = MAX_HOST_LEN;
1188 exim_gnutls_state_st *state = current_global_tls_state;
1189 unsigned int sni_type;
1190 int rc, old_pool;
1191
1192 rc = gnutls_server_name_get(session, sni_name, &data_len, &sni_type, 0);
1193 if (rc != GNUTLS_E_SUCCESS)
1194   {
1195   DEBUG(D_tls) {
1196     if (rc == GNUTLS_E_REQUESTED_DATA_NOT_AVAILABLE)
1197       debug_printf("TLS: no SNI presented in handshake.\n");
1198     else
1199       debug_printf("TLS failure: gnutls_server_name_get(): %s [%d]\n",
1200         gnutls_strerror(rc), rc);
1201   };
1202   return 0;
1203   }
1204
1205 if (sni_type != GNUTLS_NAME_DNS)
1206   {
1207   DEBUG(D_tls) debug_printf("TLS: ignoring SNI of unhandled type %u\n", sni_type);
1208   return 0;
1209   }
1210
1211 /* We now have a UTF-8 string in sni_name */
1212 old_pool = store_pool;
1213 store_pool = POOL_PERM;
1214 state->received_sni = string_copyn(US sni_name, data_len);
1215 store_pool = old_pool;
1216
1217 /* We set this one now so that variable expansions below will work */
1218 tls_sni = state->received_sni;
1219
1220 DEBUG(D_tls) debug_printf("Received TLS SNI \"%s\"%s\n", sni_name,
1221     state->trigger_sni_changes ? "" : " (unused for certificate selection)");
1222
1223 if (!state->trigger_sni_changes)
1224   return 0;
1225
1226 rc = tls_expand_session_files(state);
1227 if (rc != OK)
1228   {
1229   /* If the setup of certs/etc failed before handshake, TLS would not have
1230   been offered.  The best we can do now is abort. */
1231   return GNUTLS_E_APPLICATION_ERROR_MIN;
1232   }
1233
1234 rc = tls_set_remaining_x509(state);
1235 if (rc != OK) return GNUTLS_E_APPLICATION_ERROR_MIN;
1236
1237 return 0;
1238 }
1239
1240
1241
1242
1243 /* ------------------------------------------------------------------------ */
1244 /* Exported functions */
1245
1246
1247
1248
1249 /*************************************************
1250 *       Start a TLS session in a server          *
1251 *************************************************/
1252
1253 /* This is called when Exim is running as a server, after having received
1254 the STARTTLS command. It must respond to that command, and then negotiate
1255 a TLS session.
1256
1257 Arguments:
1258   require_ciphers  list of allowed ciphers or NULL
1259
1260 Returns:           OK on success
1261                    DEFER for errors before the start of the negotiation
1262                    FAIL for errors during the negotation; the server can't
1263                      continue running.
1264 */
1265
1266 int
1267 tls_server_start(const uschar *require_ciphers)
1268 {
1269 int rc;
1270 const char *error;
1271 exim_gnutls_state_st *state = NULL;
1272
1273 /* Check for previous activation */
1274 /* nb: this will not be TLS callout safe, needs reworking as part of that. */
1275
1276 if (tls_active >= 0)
1277   {
1278   tls_error(US"STARTTLS received after TLS started", "", NULL);
1279   smtp_printf("554 Already in TLS\r\n");
1280   return FAIL;
1281   }
1282
1283 /* Initialize the library. If it fails, it will already have logged the error
1284 and sent an SMTP response. */
1285
1286 DEBUG(D_tls) debug_printf("initialising GnuTLS as a server\n");
1287
1288 rc = tls_init(NULL, tls_certificate, tls_privatekey,
1289     NULL, tls_verify_certificates, tls_crl,
1290     require_ciphers, &state);
1291 if (rc != OK) return rc;
1292
1293 /* If this is a host for which certificate verification is mandatory or
1294 optional, set up appropriately. */
1295
1296 if (verify_check_host(&tls_verify_hosts) == OK)
1297   {
1298   DEBUG(D_tls) debug_printf("TLS: a client certificate will be required.\n");
1299   state->verify_requirement = VERIFY_REQUIRED;
1300   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
1301   }
1302 else if (verify_check_host(&tls_try_verify_hosts) == OK)
1303   {
1304   DEBUG(D_tls) debug_printf("TLS: a client certificate will be requested but not required.\n");
1305   state->verify_requirement = VERIFY_OPTIONAL;
1306   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
1307   }
1308 else
1309   {
1310   DEBUG(D_tls) debug_printf("TLS: a client certificate will not be requested.\n");
1311   state->verify_requirement = VERIFY_NONE;
1312   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_IGNORE);
1313   }
1314
1315 /* Register SNI handling; always, even if not in tls_certificate, so that the
1316 expansion variable $tls_sni is always available. */
1317
1318 gnutls_handshake_set_post_client_hello_function(state->session,
1319     exim_sni_handling_cb);
1320
1321 /* Set context and tell client to go ahead, except in the case of TLS startup
1322 on connection, where outputting anything now upsets the clients and tends to
1323 make them disconnect. We need to have an explicit fflush() here, to force out
1324 the response. Other smtp_printf() calls do not need it, because in non-TLS
1325 mode, the fflush() happens when smtp_getc() is called. */
1326
1327 if (!tls_on_connect)
1328   {
1329   smtp_printf("220 TLS go ahead\r\n");
1330   fflush(smtp_out);
1331   }
1332
1333 /* Now negotiate the TLS session. We put our own timer on it, since it seems
1334 that the GnuTLS library doesn't. */
1335
1336 gnutls_transport_set_ptr2(state->session,
1337     (gnutls_transport_ptr)fileno(smtp_in),
1338     (gnutls_transport_ptr)fileno(smtp_out));
1339 state->fd_in = fileno(smtp_in);
1340 state->fd_out = fileno(smtp_out);
1341
1342 sigalrm_seen = FALSE;
1343 if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
1344 do
1345   {
1346   rc = gnutls_handshake(state->session);
1347   } while ((rc == GNUTLS_E_AGAIN) || (rc == GNUTLS_E_INTERRUPTED));
1348 alarm(0);
1349
1350 if (rc != GNUTLS_E_SUCCESS)
1351   {
1352   tls_error(US"gnutls_handshake",
1353       sigalrm_seen ? "timed out" : gnutls_strerror(rc), NULL);
1354   /* It seems that, except in the case of a timeout, we have to close the
1355   connection right here; otherwise if the other end is running OpenSSL it hangs
1356   until the server times out. */
1357
1358   if (!sigalrm_seen)
1359     {
1360     (void)fclose(smtp_out);
1361     (void)fclose(smtp_in);
1362     }
1363
1364   return FAIL;
1365   }
1366
1367 DEBUG(D_tls) debug_printf("gnutls_handshake was successful\n");
1368
1369 /* Verify after the fact */
1370
1371 if (state->verify_requirement != VERIFY_NONE)
1372   {
1373   if (!verify_certificate(state, &error))
1374     {
1375     if (state->verify_requirement == VERIFY_OPTIONAL)
1376       {
1377       DEBUG(D_tls)
1378         debug_printf("TLS: continuing on only because verification was optional, after: %s\n",
1379             error);
1380       }
1381     else
1382       {
1383       tls_error(US"certificate verification failed", error, NULL);
1384       return FAIL;
1385       }
1386     }
1387   }
1388
1389 /* Figure out peer DN, and if authenticated, etc. */
1390
1391 rc = peer_status(state);
1392 if (rc != OK) return rc;
1393
1394 /* Sets various Exim expansion variables; always safe within server */
1395
1396 extract_exim_vars_from_tls_state(state);
1397
1398 /* TLS has been set up. Adjust the input functions to read via TLS,
1399 and initialize appropriately. */
1400
1401 state->xfer_buffer = store_malloc(ssl_xfer_buffer_size);
1402
1403 receive_getc = tls_getc;
1404 receive_ungetc = tls_ungetc;
1405 receive_feof = tls_feof;
1406 receive_ferror = tls_ferror;
1407 receive_smtp_buffered = tls_smtp_buffered;
1408
1409 return OK;
1410 }
1411
1412
1413
1414
1415 /*************************************************
1416 *    Start a TLS session in a client             *
1417 *************************************************/
1418
1419 /* Called from the smtp transport after STARTTLS has been accepted.
1420
1421 Arguments:
1422   fd                the fd of the connection
1423   host              connected host (for messages)
1424   addr              the first address (not used)
1425   dhparam           DH parameter file (ignored, we're a client)
1426   certificate       certificate file
1427   privatekey        private key file
1428   sni               TLS SNI to send to remote host
1429   verify_certs      file for certificate verify
1430   verify_crl        CRL for verify
1431   require_ciphers   list of allowed ciphers or NULL
1432   timeout           startup timeout
1433
1434 Returns:            OK/DEFER/FAIL (because using common functions),
1435                     but for a client, DEFER and FAIL have the same meaning
1436 */
1437
1438 int
1439 tls_client_start(int fd, host_item *host,
1440     address_item *addr ARG_UNUSED, uschar *dhparam ARG_UNUSED,
1441     uschar *certificate, uschar *privatekey, uschar *sni,
1442     uschar *verify_certs, uschar *verify_crl,
1443     uschar *require_ciphers, int timeout)
1444 {
1445 int rc;
1446 const char *error;
1447 exim_gnutls_state_st *state = NULL;
1448
1449 DEBUG(D_tls) debug_printf("initialising GnuTLS as a client on fd %d\n", fd);
1450
1451 rc = tls_init(host, certificate, privatekey,
1452     sni, verify_certs, verify_crl, require_ciphers, &state);
1453 if (rc != OK) return rc;
1454
1455 gnutls_dh_set_prime_bits(state->session, EXIM_CLIENT_DH_MIN_BITS);
1456
1457 if (verify_certs == NULL)
1458   {
1459   DEBUG(D_tls) debug_printf("TLS: server certificate verification not required\n");
1460   state->verify_requirement = VERIFY_NONE;
1461   /* we still ask for it, to log it, etc */
1462   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUEST);
1463   }
1464 else
1465   {
1466   DEBUG(D_tls) debug_printf("TLS: server certificate verification required\n");
1467   state->verify_requirement = VERIFY_REQUIRED;
1468   gnutls_certificate_server_set_request(state->session, GNUTLS_CERT_REQUIRE);
1469   }
1470
1471 gnutls_transport_set_ptr(state->session, (gnutls_transport_ptr)fd);
1472 state->fd_in = fd;
1473 state->fd_out = fd;
1474
1475 /* There doesn't seem to be a built-in timeout on connection. */
1476
1477 sigalrm_seen = FALSE;
1478 alarm(timeout);
1479 do
1480   {
1481   rc = gnutls_handshake(state->session);
1482   } while ((rc == GNUTLS_E_AGAIN) || (rc == GNUTLS_E_INTERRUPTED));
1483 alarm(0);
1484
1485 if (rc != GNUTLS_E_SUCCESS)
1486   return tls_error(US"gnutls_handshake",
1487       sigalrm_seen ? "timed out" : gnutls_strerror(rc), state->host);
1488
1489 DEBUG(D_tls) debug_printf("gnutls_handshake was successful\n");
1490
1491 /* Verify late */
1492
1493 if (state->verify_requirement != VERIFY_NONE &&
1494     !verify_certificate(state, &error))
1495   return tls_error(US"certificate verification failed", error, state->host);
1496
1497 /* Figure out peer DN, and if authenticated, etc. */
1498
1499 rc = peer_status(state);
1500 if (rc != OK) return rc;
1501
1502 /* Sets various Exim expansion variables; may need to adjust for ACL callouts */
1503
1504 extract_exim_vars_from_tls_state(state);
1505
1506 return OK;
1507 }
1508
1509
1510
1511
1512 /*************************************************
1513 *         Close down a TLS session               *
1514 *************************************************/
1515
1516 /* This is also called from within a delivery subprocess forked from the
1517 daemon, to shut down the TLS library, without actually doing a shutdown (which
1518 would tamper with the TLS session in the parent process).
1519
1520 Arguments:   TRUE if gnutls_bye is to be called
1521 Returns:     nothing
1522 */
1523
1524 void
1525 tls_close(BOOL shutdown)
1526 {
1527 exim_gnutls_state_st *state = current_global_tls_state;
1528
1529 if (tls_active < 0) return;  /* TLS was not active */
1530
1531 if (shutdown)
1532   {
1533   DEBUG(D_tls) debug_printf("tls_close(): shutting down TLS\n");
1534   gnutls_bye(state->session, GNUTLS_SHUT_WR);
1535   }
1536
1537 gnutls_deinit(state->session);
1538
1539 memcpy(state, &exim_gnutls_state_init, sizeof(exim_gnutls_state_init));
1540
1541 if ((state_server.session == NULL) && (state_client.session == NULL))
1542   {
1543   gnutls_global_deinit();
1544   exim_gnutls_base_init_done = FALSE;
1545   }
1546
1547 tls_active = -1;
1548 }
1549
1550
1551
1552
1553 /*************************************************
1554 *            TLS version of getc                 *
1555 *************************************************/
1556
1557 /* This gets the next byte from the TLS input buffer. If the buffer is empty,
1558 it refills the buffer via the GnuTLS reading function.
1559
1560 This feeds DKIM and should be used for all message-body reads.
1561
1562 Arguments:  none
1563 Returns:    the next character or EOF
1564 */
1565
1566 int
1567 tls_getc(void)
1568 {
1569 exim_gnutls_state_st *state = current_global_tls_state;
1570 if (state->xfer_buffer_lwm >= state->xfer_buffer_hwm)
1571   {
1572   ssize_t inbytes;
1573
1574   DEBUG(D_tls) debug_printf("Calling gnutls_record_recv(%p, %p, %u)\n",
1575     state->session, state->xfer_buffer, ssl_xfer_buffer_size);
1576
1577   if (smtp_receive_timeout > 0) alarm(smtp_receive_timeout);
1578   inbytes = gnutls_record_recv(state->session, state->xfer_buffer,
1579     ssl_xfer_buffer_size);
1580   alarm(0);
1581
1582   /* A zero-byte return appears to mean that the TLS session has been
1583      closed down, not that the socket itself has been closed down. Revert to
1584      non-TLS handling. */
1585
1586   if (inbytes == 0)
1587     {
1588     DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
1589
1590     receive_getc = smtp_getc;
1591     receive_ungetc = smtp_ungetc;
1592     receive_feof = smtp_feof;
1593     receive_ferror = smtp_ferror;
1594     receive_smtp_buffered = smtp_buffered;
1595
1596     gnutls_deinit(state->session);
1597     state->session = NULL;
1598     tls_active = -1;
1599     tls_bits = 0;
1600     tls_certificate_verified = FALSE;
1601     tls_channelbinding_b64 = NULL;
1602     tls_cipher = NULL;
1603     tls_peerdn = NULL;
1604
1605     return smtp_getc();
1606     }
1607
1608   /* Handle genuine errors */
1609
1610   else if (inbytes < 0)
1611     {
1612     record_io_error(state, (int) inbytes, US"recv", NULL);
1613     state->xfer_error = 1;
1614     return EOF;
1615     }
1616 #ifndef DISABLE_DKIM
1617   dkim_exim_verify_feed(state->xfer_buffer, inbytes);
1618 #endif
1619   state->xfer_buffer_hwm = (int) inbytes;
1620   state->xfer_buffer_lwm = 0;
1621   }
1622
1623 /* Something in the buffer; return next uschar */
1624
1625 return state->xfer_buffer[state->xfer_buffer_lwm++];
1626 }
1627
1628
1629
1630
1631 /*************************************************
1632 *          Read bytes from TLS channel           *
1633 *************************************************/
1634
1635 /* This does not feed DKIM, so if the caller uses this for reading message body,
1636 then the caller must feed DKIM.
1637 Arguments:
1638   buff      buffer of data
1639   len       size of buffer
1640
1641 Returns:    the number of bytes read
1642             -1 after a failed read
1643 */
1644
1645 int
1646 tls_read(uschar *buff, size_t len)
1647 {
1648 exim_gnutls_state_st *state = current_global_tls_state;
1649 ssize_t inbytes;
1650
1651 if (len > INT_MAX)
1652   len = INT_MAX;
1653
1654 if (state->xfer_buffer_lwm < state->xfer_buffer_hwm)
1655   DEBUG(D_tls)
1656     debug_printf("*** PROBABLY A BUG *** " \
1657         "tls_read() called with data in the tls_getc() buffer, %d ignored\n",
1658         state->xfer_buffer_hwm - state->xfer_buffer_lwm);
1659
1660 DEBUG(D_tls)
1661   debug_printf("Calling gnutls_record_recv(%p, %p, " SIZE_T_FMT ")\n",
1662       state->session, buff, len);
1663
1664 inbytes = gnutls_record_recv(state->session, buff, len);
1665 if (inbytes > 0) return inbytes;
1666 if (inbytes == 0)
1667   {
1668   DEBUG(D_tls) debug_printf("Got TLS_EOF\n");
1669   }
1670 else record_io_error(state, (int)inbytes, US"recv", NULL);
1671
1672 return -1;
1673 }
1674
1675
1676
1677
1678 /*************************************************
1679 *         Write bytes down TLS channel           *
1680 *************************************************/
1681
1682 /*
1683 Arguments:
1684   buff      buffer of data
1685   len       number of bytes
1686
1687 Returns:    the number of bytes after a successful write,
1688             -1 after a failed write
1689 */
1690
1691 int
1692 tls_write(const uschar *buff, size_t len)
1693 {
1694 ssize_t outbytes;
1695 size_t left = len;
1696 exim_gnutls_state_st *state = current_global_tls_state;
1697
1698 DEBUG(D_tls) debug_printf("tls_do_write(%p, " SIZE_T_FMT ")\n", buff, left);
1699 while (left > 0)
1700   {
1701   DEBUG(D_tls) debug_printf("gnutls_record_send(SSL, %p, " SIZE_T_FMT ")\n",
1702       buff, left);
1703   outbytes = gnutls_record_send(state->session, buff, left);
1704
1705   DEBUG(D_tls) debug_printf("outbytes=" SSIZE_T_FMT "\n", outbytes);
1706   if (outbytes < 0)
1707     {
1708     record_io_error(state, outbytes, US"send", NULL);
1709     return -1;
1710     }
1711   if (outbytes == 0)
1712     {
1713     record_io_error(state, 0, US"send", US"TLS channel closed on write");
1714     return -1;
1715     }
1716
1717   left -= outbytes;
1718   buff += outbytes;
1719   }
1720
1721 if (len > INT_MAX)
1722   {
1723   DEBUG(D_tls)
1724     debug_printf("Whoops!  Wrote more bytes (" SIZE_T_FMT ") than INT_MAX\n",
1725         len);
1726   len = INT_MAX;
1727   }
1728
1729 return (int) len;
1730 }
1731
1732
1733
1734
1735 /*************************************************
1736 *            Random number generation            *
1737 *************************************************/
1738
1739 /* Pseudo-random number generation.  The result is not expected to be
1740 cryptographically strong but not so weak that someone will shoot themselves
1741 in the foot using it as a nonce in input in some email header scheme or
1742 whatever weirdness they'll twist this into.  The result should handle fork()
1743 and avoid repeating sequences.  OpenSSL handles that for us.
1744
1745 Arguments:
1746   max       range maximum
1747 Returns     a random number in range [0, max-1]
1748 */
1749
1750 #ifdef HAVE_GNUTLS_RND
1751 int
1752 vaguely_random_number(int max)
1753 {
1754 unsigned int r;
1755 int i, needed_len;
1756 uschar *p;
1757 uschar smallbuf[sizeof(r)];
1758
1759 if (max <= 1)
1760   return 0;
1761
1762 needed_len = sizeof(r);
1763 /* Don't take 8 times more entropy than needed if int is 8 octets and we were
1764  * asked for a number less than 10. */
1765 for (r = max, i = 0; r; ++i)
1766   r >>= 1;
1767 i = (i + 7) / 8;
1768 if (i < needed_len)
1769   needed_len = i;
1770
1771 i = gnutls_rnd(GNUTLS_RND_NONCE, smallbuf, needed_len);
1772 if (i < 0)
1773   {
1774   DEBUG(D_all) debug_printf("gnutls_rnd() failed, using fallback.\n");
1775   return vaguely_random_number_fallback(max);
1776   }
1777 r = 0;
1778 for (p = smallbuf; needed_len; --needed_len, ++p)
1779   {
1780   r *= 256;
1781   r += *p;
1782   }
1783
1784 /* We don't particularly care about weighted results; if someone wants
1785  * smooth distribution and cares enough then they should submit a patch then. */
1786 return r % max;
1787 }
1788 #else /* HAVE_GNUTLS_RND */
1789 int
1790 vaguely_random_number(int max)
1791 {
1792   return vaguely_random_number_fallback(max);
1793 }
1794 #endif /* HAVE_GNUTLS_RND */
1795
1796
1797
1798
1799 /*************************************************
1800 *         Report the library versions.           *
1801 *************************************************/
1802
1803 /* See a description in tls-openssl.c for an explanation of why this exists.
1804
1805 Arguments:   a FILE* to print the results to
1806 Returns:     nothing
1807 */
1808
1809 void
1810 tls_version_report(FILE *f)
1811 {
1812 fprintf(f, "Library version: GnuTLS: Compile: %s\n"
1813            "                         Runtime: %s\n",
1814            LIBGNUTLS_VERSION,
1815            gnutls_check_version(NULL));
1816 }
1817
1818 /* End of tls-gnu.c */