Testsuite: fix testcase for SPF empty-mailfrom-use-helo. Bug 467
[users/heiko/exim.git] / src / src / daemon.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions concerned with running Exim as a daemon */
10
11
12 #include "exim.h"
13
14
15 /* Structure for holding data for each SMTP connection */
16
17 typedef struct smtp_slot {
18   pid_t pid;                       /* pid of the spawned reception process */
19   uschar *host_address;            /* address of the client host */
20 } smtp_slot;
21
22 /* An empty slot for initializing (Standard C does not allow constructor
23 expressions in assignments except as initializers in declarations). */
24
25 static smtp_slot empty_smtp_slot = { .pid = 0, .host_address = NULL };
26
27
28
29 /*************************************************
30 *               Local static variables           *
31 *************************************************/
32
33 static SIGNAL_BOOL sigchld_seen;
34 static SIGNAL_BOOL sighup_seen;
35 static SIGNAL_BOOL sigterm_seen;
36
37 static int   accept_retry_count = 0;
38 static int   accept_retry_errno;
39 static BOOL  accept_retry_select_failed;
40
41 static int   queue_run_count = 0;
42 static pid_t *queue_pid_slots = NULL;
43 static smtp_slot *smtp_slots = NULL;
44
45 static BOOL  write_pid = TRUE;
46
47
48
49 /*************************************************
50 *             SIGHUP Handler                     *
51 *************************************************/
52
53 /* All this handler does is to set a flag and re-enable the signal.
54
55 Argument: the signal number
56 Returns:  nothing
57 */
58
59 static void
60 sighup_handler(int sig)
61 {
62 sighup_seen = TRUE;
63 signal(SIGHUP, sighup_handler);
64 }
65
66
67
68 /*************************************************
69 *     SIGCHLD handler for main daemon process    *
70 *************************************************/
71
72 /* Don't re-enable the handler here, since we aren't doing the
73 waiting here. If the signal is re-enabled, there will just be an
74 infinite sequence of calls to this handler. The SIGCHLD signal is
75 used just as a means of waking up the daemon so that it notices
76 terminated subprocesses as soon as possible.
77
78 Argument: the signal number
79 Returns:  nothing
80 */
81
82 static void
83 main_sigchld_handler(int sig)
84 {
85 os_non_restarting_signal(SIGCHLD, SIG_DFL);
86 sigchld_seen = TRUE;
87 }
88
89
90 /* SIGTERM handler.  Try to get the damon pif file removed
91 before exiting. */
92
93 static void
94 main_sigterm_handler(int sig)
95 {
96 sigterm_seen = TRUE;
97 }
98
99
100
101
102 /*************************************************
103 *          Unexpected errors in SMTP calls       *
104 *************************************************/
105
106 /* This function just saves a bit of repetitious coding.
107
108 Arguments:
109   log_msg        Text of message to be logged
110   smtp_msg       Text of SMTP error message
111   was_errno      The failing errno
112
113 Returns:         nothing
114 */
115
116 static void
117 never_error(uschar *log_msg, uschar *smtp_msg, int was_errno)
118 {
119 uschar *emsg = was_errno <= 0
120   ? US"" : string_sprintf(": %s", strerror(was_errno));
121 log_write(0, LOG_MAIN|LOG_PANIC, "%s%s", log_msg, emsg);
122 if (smtp_out) smtp_printf("421 %s\r\n", FALSE, smtp_msg);
123 }
124
125
126
127
128 /*************************************************
129 *************************************************/
130
131 static void
132 close_daemon_sockets(int daemon_notifier_fd,
133   int * listen_sockets, int listen_socket_count)
134 {
135 if (daemon_notifier_fd >= 0) (void) close(daemon_notifier_fd);
136 for (int i = 0; i < listen_socket_count; i++) (void) close(listen_sockets[i]);
137 }
138
139
140 /*************************************************
141 *            Handle a connected SMTP call        *
142 *************************************************/
143
144 /* This function is called when an SMTP connection has been accepted.
145 If there are too many, give an error message and close down. Otherwise
146 spin off a sub-process to handle the call. The list of listening sockets
147 is required so that they can be closed in the sub-process. Take care not to
148 leak store in this process - reset the stacking pool at the end.
149
150 Arguments:
151   listen_sockets        sockets which are listening for incoming calls
152   listen_socket_count   count of listening sockets
153   accept_socket         socket of the current accepted call
154   accepted              socket information about the current call
155
156 Returns:            nothing
157 */
158
159 static void
160 handle_smtp_call(int *listen_sockets, int listen_socket_count,
161   int accept_socket, struct sockaddr *accepted)
162 {
163 pid_t pid;
164 union sockaddr_46 interface_sockaddr;
165 EXIM_SOCKLEN_T ifsize = sizeof(interface_sockaddr);
166 int dup_accept_socket = -1;
167 int max_for_this_host = 0;
168 int save_log_selector = *log_selector;
169 gstring * whofrom;
170
171 rmark reset_point = store_mark();
172
173 /* Make the address available in ASCII representation, and also fish out
174 the remote port. */
175
176 sender_host_address = host_ntoa(-1, accepted, NULL, &sender_host_port);
177 DEBUG(D_any) debug_printf("Connection request from %s port %d\n",
178   sender_host_address, sender_host_port);
179
180 /* Set up the output stream, check the socket has duplicated, and set up the
181 input stream. These operations fail only the exceptional circumstances. Note
182 that never_error() won't use smtp_out if it is NULL. */
183
184 if (!(smtp_out = fdopen(accept_socket, "wb")))
185   {
186   never_error(US"daemon: fdopen() for smtp_out failed", US"", errno);
187   goto ERROR_RETURN;
188   }
189
190 if ((dup_accept_socket = dup(accept_socket)) < 0)
191   {
192   never_error(US"daemon: couldn't dup socket descriptor",
193     US"Connection setup failed", errno);
194   goto ERROR_RETURN;
195   }
196
197 if (!(smtp_in = fdopen(dup_accept_socket, "rb")))
198   {
199   never_error(US"daemon: fdopen() for smtp_in failed",
200     US"Connection setup failed", errno);
201   goto ERROR_RETURN;
202   }
203
204 /* Get the data for the local interface address. Panic for most errors, but
205 "connection reset by peer" just means the connection went away. */
206
207 if (getsockname(accept_socket, (struct sockaddr *)(&interface_sockaddr),
208      &ifsize) < 0)
209   {
210   log_write(0, LOG_MAIN | ((errno == ECONNRESET)? 0 : LOG_PANIC),
211     "getsockname() failed: %s", strerror(errno));
212   smtp_printf("421 Local problem: getsockname() failed; please try again later\r\n", FALSE);
213   goto ERROR_RETURN;
214   }
215
216 interface_address = host_ntoa(-1, &interface_sockaddr, NULL, &interface_port);
217 DEBUG(D_interface) debug_printf("interface address=%s port=%d\n",
218   interface_address, interface_port);
219
220 /* Build a string identifying the remote host and, if requested, the port and
221 the local interface data. This is for logging; at the end of this function the
222 memory is reclaimed. */
223
224 whofrom = string_append(NULL, 3, "[", sender_host_address, "]");
225
226 if (LOGGING(incoming_port))
227   whofrom = string_fmt_append(whofrom, ":%d", sender_host_port);
228
229 if (LOGGING(incoming_interface))
230   whofrom = string_fmt_append(whofrom, " I=[%s]:%d",
231     interface_address, interface_port);
232
233 (void) string_from_gstring(whofrom);    /* Terminate the newly-built string */
234
235 /* Check maximum number of connections. We do not check for reserved
236 connections or unacceptable hosts here. That is done in the subprocess because
237 it might take some time. */
238
239 if (smtp_accept_max > 0 && smtp_accept_count >= smtp_accept_max)
240   {
241   DEBUG(D_any) debug_printf("rejecting SMTP connection: count=%d max=%d\n",
242     smtp_accept_count, smtp_accept_max);
243   smtp_printf("421 Too many concurrent SMTP connections; "
244     "please try again later.\r\n", FALSE);
245   log_write(L_connection_reject,
246             LOG_MAIN, "Connection from %s refused: too many connections",
247     whofrom->s);
248   goto ERROR_RETURN;
249   }
250
251 /* If a load limit above which only reserved hosts are acceptable is defined,
252 get the load average here, and if there are in fact no reserved hosts, do
253 the test right away (saves a fork). If there are hosts, do the check in the
254 subprocess because it might take time. */
255
256 if (smtp_load_reserve >= 0)
257   {
258   load_average = OS_GETLOADAVG();
259   if (smtp_reserve_hosts == NULL && load_average > smtp_load_reserve)
260     {
261     DEBUG(D_any) debug_printf("rejecting SMTP connection: load average = %.2f\n",
262       (double)load_average/1000.0);
263     smtp_printf("421 Too much load; please try again later.\r\n", FALSE);
264     log_write(L_connection_reject,
265               LOG_MAIN, "Connection from %s refused: load average = %.2f",
266       whofrom->s, (double)load_average/1000.0);
267     goto ERROR_RETURN;
268     }
269   }
270
271 /* Check that one specific host (strictly, IP address) is not hogging
272 resources. This is done here to prevent a denial of service attack by someone
273 forcing you to fork lots of times before denying service. The value of
274 smtp_accept_max_per_host is a string which is expanded. This makes it possible
275 to provide host-specific limits according to $sender_host address, but because
276 this is in the daemon mainline, only fast expansions (such as inline address
277 checks) should be used. The documentation is full of warnings. */
278
279 if (smtp_accept_max_per_host)
280   {
281   uschar *expanded = expand_string(smtp_accept_max_per_host);
282   if (!expanded)
283     {
284     if (!f.expand_string_forcedfail)
285       log_write(0, LOG_MAIN|LOG_PANIC, "expansion of smtp_accept_max_per_host "
286         "failed for %s: %s", whofrom->s, expand_string_message);
287     }
288   /* For speed, interpret a decimal number inline here */
289   else
290     {
291     uschar *s = expanded;
292     while (isdigit(*s))
293       max_for_this_host = max_for_this_host * 10 + *s++ - '0';
294     if (*s)
295       log_write(0, LOG_MAIN|LOG_PANIC, "expansion of smtp_accept_max_per_host "
296         "for %s contains non-digit: %s", whofrom->s, expanded);
297     }
298   }
299
300 /* If we have fewer connections than max_for_this_host, we can skip the tedious
301 per host_address checks. Note that at this stage smtp_accept_count contains the
302 count of *other* connections, not including this one. */
303
304 if (max_for_this_host > 0 && smtp_accept_count >= max_for_this_host)
305   {
306   int host_accept_count = 0;
307   int other_host_count = 0;    /* keep a count of non matches to optimise */
308
309   for (int i = 0; i < smtp_accept_max; ++i)
310     if (smtp_slots[i].host_address)
311       {
312       if (Ustrcmp(sender_host_address, smtp_slots[i].host_address) == 0)
313        host_accept_count++;
314       else
315        other_host_count++;
316
317       /* Testing all these strings is expensive - see if we can drop out
318       early, either by hitting the target, or finding there are not enough
319       connections left to make the target. */
320
321       if (  host_accept_count >= max_for_this_host
322          || smtp_accept_count - other_host_count < max_for_this_host)
323        break;
324       }
325
326   if (host_accept_count >= max_for_this_host)
327     {
328     DEBUG(D_any) debug_printf("rejecting SMTP connection: too many from this "
329       "IP address: count=%d max=%d\n",
330       host_accept_count, max_for_this_host);
331     smtp_printf("421 Too many concurrent SMTP connections "
332       "from this IP address; please try again later.\r\n", FALSE);
333     log_write(L_connection_reject,
334               LOG_MAIN, "Connection from %s refused: too many connections "
335       "from that IP address", whofrom->s);
336     search_tidyup();
337     goto ERROR_RETURN;
338     }
339   }
340
341 /* OK, the connection count checks have been passed. Before we can fork the
342 accepting process, we must first log the connection if requested. This logging
343 used to happen in the subprocess, but doing that means that the value of
344 smtp_accept_count can be out of step by the time it is logged. So we have to do
345 the logging here and accept the performance cost. Note that smtp_accept_count
346 hasn't yet been incremented to take account of this connection.
347
348 In order to minimize the cost (because this is going to happen for every
349 connection), do a preliminary selector test here. This saves ploughing through
350 the generalized logging code each time when the selector is false. If the
351 selector is set, check whether the host is on the list for logging. If not,
352 arrange to unset the selector in the subprocess. */
353
354 if (LOGGING(smtp_connection))
355   {
356   uschar *list = hosts_connection_nolog;
357   memset(sender_host_cache, 0, sizeof(sender_host_cache));
358   if (list != NULL && verify_check_host(&list) == OK)
359     save_log_selector &= ~L_smtp_connection;
360   else
361     log_write(L_smtp_connection, LOG_MAIN, "SMTP connection from %s "
362       "(TCP/IP connection count = %d)", whofrom->s, smtp_accept_count + 1);
363   }
364
365 /* Now we can fork the accepting process; do a lookup tidy, just in case any
366 expansion above did a lookup. */
367
368 search_tidyup();
369 pid = exim_fork(US"daemon-accept");
370
371 /* Handle the child process */
372
373 if (pid == 0)
374   {
375   int queue_only_reason = 0;
376   int old_pool = store_pool;
377   int save_debug_selector = debug_selector;
378   BOOL local_queue_only;
379   BOOL session_local_queue_only;
380   #ifdef SA_NOCLDWAIT
381   struct sigaction act;
382   #endif
383
384   smtp_accept_count++;    /* So that it includes this process */
385
386   /* May have been modified for the subprocess */
387
388   *log_selector = save_log_selector;
389
390   /* Get the local interface address into permanent store */
391
392   store_pool = POOL_PERM;
393   interface_address = string_copy(interface_address);
394   store_pool = old_pool;
395
396   /* Check for a tls-on-connect port */
397
398   if (host_is_tls_on_connect_port(interface_port)) tls_in.on_connect = TRUE;
399
400   /* Expand smtp_active_hostname if required. We do not do this any earlier,
401   because it may depend on the local interface address (indeed, that is most
402   likely what it depends on.) */
403
404   smtp_active_hostname = primary_hostname;
405   if (raw_active_hostname)
406     {
407     uschar * nah = expand_string(raw_active_hostname);
408     if (!nah)
409       {
410       if (!f.expand_string_forcedfail)
411         {
412         log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand \"%s\" "
413           "(smtp_active_hostname): %s", raw_active_hostname,
414           expand_string_message);
415         smtp_printf("421 Local configuration error; "
416           "please try again later.\r\n", FALSE);
417         mac_smtp_fflush();
418         search_tidyup();
419         exim_underbar_exit(EXIT_FAILURE);
420         }
421       }
422     else if (*nah) smtp_active_hostname = nah;
423     }
424
425   /* Initialize the queueing flags */
426
427   queue_check_only();
428   session_local_queue_only = queue_only;
429
430   /* Close the listening sockets, and set the SIGCHLD handler to SIG_IGN.
431   We also attempt to set things up so that children are automatically reaped,
432   but just in case this isn't available, there's a paranoid waitpid() in the
433   loop too (except for systems where we are sure it isn't needed). See the more
434   extensive comment before the reception loop in exim.c for a fuller
435   explanation of this logic. */
436
437   close_daemon_sockets(daemon_notifier_fd, listen_sockets, listen_socket_count);
438
439   /* Set FD_CLOEXEC on the SMTP socket. We don't want any rogue child processes
440   to be able to communicate with them, under any circumstances. */
441   (void)fcntl(accept_socket, F_SETFD,
442               fcntl(accept_socket, F_GETFD) | FD_CLOEXEC);
443   (void)fcntl(dup_accept_socket, F_SETFD,
444               fcntl(dup_accept_socket, F_GETFD) | FD_CLOEXEC);
445
446   #ifdef SA_NOCLDWAIT
447   act.sa_handler = SIG_IGN;
448   sigemptyset(&(act.sa_mask));
449   act.sa_flags = SA_NOCLDWAIT;
450   sigaction(SIGCHLD, &act, NULL);
451   #else
452   signal(SIGCHLD, SIG_IGN);
453   #endif
454   signal(SIGTERM, SIG_DFL);
455
456   /* Attempt to get an id from the sending machine via the RFC 1413
457   protocol. We do this in the sub-process in order not to hold up the
458   main process if there is any delay. Then set up the fullhost information
459   in case there is no HELO/EHLO.
460
461   If debugging is enabled only for the daemon, we must turn if off while
462   finding the id, but turn it on again afterwards so that information about the
463   incoming connection is output. */
464
465   if (f.debug_daemon) debug_selector = 0;
466   verify_get_ident(IDENT_PORT);
467   host_build_sender_fullhost();
468   debug_selector = save_debug_selector;
469
470   DEBUG(D_any)
471     debug_printf("Process %d is handling incoming connection from %s\n",
472       (int)getpid(), sender_fullhost);
473
474   /* Now disable debugging permanently if it's required only for the daemon
475   process. */
476
477   if (f.debug_daemon) debug_selector = 0;
478
479   /* If there are too many child processes for immediate delivery,
480   set the session_local_queue_only flag, which is initialized from the
481   configured value and may therefore already be TRUE. Leave logging
482   till later so it will have a message id attached. Note that there is no
483   possibility of re-calculating this per-message, because the value of
484   smtp_accept_count does not change in this subprocess. */
485
486   if (smtp_accept_queue > 0 && smtp_accept_count > smtp_accept_queue)
487     {
488     session_local_queue_only = TRUE;
489     queue_only_reason = 1;
490     }
491
492   /* Handle the start of the SMTP session, then loop, accepting incoming
493   messages from the SMTP connection. The end will come at the QUIT command,
494   when smtp_setup_msg() returns 0. A break in the connection causes the
495   process to die (see accept.c).
496
497   NOTE: We do *not* call smtp_log_no_mail() if smtp_start_session() fails,
498   because a log line has already been written for all its failure exists
499   (usually "connection refused: <reason>") and writing another one is
500   unnecessary clutter. */
501
502   if (!smtp_start_session())
503     {
504     mac_smtp_fflush();
505     search_tidyup();
506     exim_underbar_exit(EXIT_SUCCESS);
507     }
508
509   for (;;)
510     {
511     int rc;
512     message_id[0] = 0;            /* Clear out any previous message_id */
513     reset_point = store_mark();   /* Save current store high water point */
514
515     DEBUG(D_any)
516       debug_printf("Process %d is ready for new message\n", (int)getpid());
517
518     /* Smtp_setup_msg() returns 0 on QUIT or if the call is from an
519     unacceptable host or if an ACL "drop" command was triggered, -1 on
520     connection lost, and +1 on validly reaching DATA. Receive_msg() almost
521     always returns TRUE when smtp_input is true; just retry if no message was
522     accepted (can happen for invalid message parameters). However, it can yield
523     FALSE if the connection was forcibly dropped by the DATA ACL. */
524
525     if ((rc = smtp_setup_msg()) > 0)
526       {
527       BOOL ok = receive_msg(FALSE);
528       search_tidyup();                    /* Close cached databases */
529       if (!ok)                            /* Connection was dropped */
530         {
531         cancel_cutthrough_connection(TRUE, US"receive dropped");
532         mac_smtp_fflush();
533         smtp_log_no_mail();               /* Log no mail if configured */
534         exim_underbar_exit(EXIT_SUCCESS);
535         }
536       if (message_id[0] == 0) continue;   /* No message was accepted */
537       }
538     else
539       {
540       if (smtp_out)
541         {
542         int fd = fileno(smtp_in);
543         uschar buf[128];
544
545         mac_smtp_fflush();
546         /* drain socket, for clean TCP FINs */
547         if (fcntl(fd, F_SETFL, O_NONBLOCK) == 0)
548           for(int i = 16; read(fd, buf, sizeof(buf)) > 0 && i > 0; ) i--;
549         }
550       cancel_cutthrough_connection(TRUE, US"message setup dropped");
551       search_tidyup();
552       smtp_log_no_mail();                 /* Log no mail if configured */
553
554       /*XXX should we pause briefly, hoping that the client will be the
555       active TCP closer hence get the TCP_WAIT endpoint? */
556       DEBUG(D_receive) debug_printf("SMTP>>(close on process exit)\n");
557       exim_underbar_exit(rc ? EXIT_FAILURE : EXIT_SUCCESS);
558       }
559
560     /* Show the recipients when debugging */
561
562     DEBUG(D_receive)
563       {
564       if (sender_address)
565         debug_printf("Sender: %s\n", sender_address);
566       if (recipients_list)
567         {
568         debug_printf("Recipients:\n");
569         for (int i = 0; i < recipients_count; i++)
570           debug_printf("  %s\n", recipients_list[i].address);
571         }
572       }
573
574     /* A message has been accepted. Clean up any previous delivery processes
575     that have completed and are defunct, on systems where they don't go away
576     by themselves (see comments when setting SIG_IGN above). On such systems
577     (if any) these delivery processes hang around after termination until
578     the next message is received. */
579
580     #ifndef SIG_IGN_WORKS
581     while (waitpid(-1, NULL, WNOHANG) > 0);
582     #endif
583
584     /* Reclaim up the store used in accepting this message */
585
586       {
587       int r = receive_messagecount;
588       BOOL q = f.queue_only_policy;
589       smtp_reset(reset_point);
590       reset_point = NULL;
591       f.queue_only_policy = q;
592       receive_messagecount = r;
593       }
594
595     /* If queue_only is set or if there are too many incoming connections in
596     existence, session_local_queue_only will be TRUE. If it is not, check
597     whether we have received too many messages in this session for immediate
598     delivery. */
599
600     if (!session_local_queue_only &&
601         smtp_accept_queue_per_connection > 0 &&
602         receive_messagecount > smtp_accept_queue_per_connection)
603       {
604       session_local_queue_only = TRUE;
605       queue_only_reason = 2;
606       }
607
608     /* Initialize local_queue_only from session_local_queue_only. If it is not
609     true, and queue_only_load is set, check that the load average is below it.
610     If local_queue_only is set by this means, we also set if for the session if
611     queue_only_load_latch is true (the default). This means that, once set,
612     local_queue_only remains set for any subsequent messages on the same SMTP
613     connection. This is a deliberate choice; even though the load average may
614     fall, it doesn't seem right to deliver later messages on the same call when
615     not delivering earlier ones. However, the are special circumstances such as
616     very long-lived connections from scanning appliances where this is not the
617     best strategy. In such cases, queue_only_load_latch should be set false. */
618
619     if (  !(local_queue_only = session_local_queue_only)
620        && queue_only_load >= 0
621        && (local_queue_only = (load_average = OS_GETLOADAVG()) > queue_only_load)
622        )
623       {
624       queue_only_reason = 3;
625       if (queue_only_load_latch) session_local_queue_only = TRUE;
626       }
627
628     /* Log the queueing here, when it will get a message id attached, but
629     not if queue_only is set (case 0). */
630
631     if (local_queue_only) switch(queue_only_reason)
632       {
633       case 1: log_write(L_delay_delivery,
634                 LOG_MAIN, "no immediate delivery: too many connections "
635                 "(%d, max %d)", smtp_accept_count, smtp_accept_queue);
636               break;
637
638       case 2: log_write(L_delay_delivery,
639                 LOG_MAIN, "no immediate delivery: more than %d messages "
640                 "received in one connection", smtp_accept_queue_per_connection);
641               break;
642
643       case 3: log_write(L_delay_delivery,
644                 LOG_MAIN, "no immediate delivery: load average %.2f",
645                 (double)load_average/1000.0);
646               break;
647       }
648
649     /* If a delivery attempt is required, spin off a new process to handle it.
650     If we are not root, we have to re-exec exim unless deliveries are being
651     done unprivileged. */
652
653     else if (  (!f.queue_only_policy || f.queue_smtp)
654             && !f.deliver_freeze)
655       {
656       pid_t dpid;
657
658       /* Before forking, ensure that the C output buffer is flushed. Otherwise
659       anything that it in it will get duplicated, leading to duplicate copies
660       of the pending output. */
661
662       mac_smtp_fflush();
663
664       if ((dpid = exim_fork(US"daemon-accept-delivery")) == 0)
665         {
666         (void)fclose(smtp_in);
667         (void)fclose(smtp_out);
668
669         /* Don't ever molest the parent's SSL connection, but do clean up
670         the data structures if necessary. */
671
672 #ifndef DISABLE_TLS
673         tls_close(NULL, TLS_NO_SHUTDOWN);
674 #endif
675
676         /* Reset SIGHUP and SIGCHLD in the child in both cases. */
677
678         signal(SIGHUP,  SIG_DFL);
679         signal(SIGCHLD, SIG_DFL);
680         signal(SIGTERM, SIG_DFL);
681
682         if (geteuid() != root_uid && !deliver_drop_privilege)
683           {
684           signal(SIGALRM, SIG_DFL);
685           delivery_re_exec(CEE_EXEC_PANIC);
686           /* Control does not return here. */
687           }
688
689         /* No need to re-exec; SIGALRM remains set to the default handler */
690
691         (void) deliver_message(message_id, FALSE, FALSE);
692         search_tidyup();
693         exim_underbar_exit(EXIT_SUCCESS);
694         }
695
696       if (dpid > 0)
697         {
698         release_cutthrough_connection(US"passed for delivery");
699         DEBUG(D_any) debug_printf("forked delivery process %d\n", (int)dpid);
700         }
701       else
702         {
703         cancel_cutthrough_connection(TRUE, US"delivery fork failed");
704         log_write(0, LOG_MAIN|LOG_PANIC, "daemon: delivery process fork "
705           "failed: %s", strerror(errno));
706         }
707       }
708     }
709   }
710
711
712 /* Carrying on in the parent daemon process... Can't do much if the fork
713 failed. Otherwise, keep count of the number of accepting processes and
714 remember the pid for ticking off when the child completes. */
715
716 if (pid < 0)
717   never_error(US"daemon: accept process fork failed", US"Fork failed", errno);
718 else
719   {
720   for (int i = 0; i < smtp_accept_max; ++i)
721     if (smtp_slots[i].pid <= 0)
722       {
723       smtp_slots[i].pid = pid;
724       /* Connection closes come asyncronously, so we cannot stack this store */
725       if (smtp_accept_max_per_host)
726         smtp_slots[i].host_address = string_copy_malloc(sender_host_address);
727       smtp_accept_count++;
728       break;
729       }
730   DEBUG(D_any) debug_printf("%d SMTP accept process%s running\n",
731     smtp_accept_count, smtp_accept_count == 1 ? "" : "es");
732   }
733
734 /* Get here via goto in error cases */
735
736 ERROR_RETURN:
737
738 /* Close the streams associated with the socket which will also close the
739 socket fds in this process. We can't do anything if fclose() fails, but
740 logging brings it to someone's attention. However, "connection reset by peer"
741 isn't really a problem, so skip that one. On Solaris, a dropped connection can
742 manifest itself as a broken pipe, so drop that one too. If the streams don't
743 exist, something went wrong while setting things up. Make sure the socket
744 descriptors are closed, in order to drop the connection. */
745
746 if (smtp_out)
747   {
748   if (fclose(smtp_out) != 0 && errno != ECONNRESET && errno != EPIPE)
749     log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fclose(smtp_out) failed: %s",
750       strerror(errno));
751   smtp_out = NULL;
752   }
753 else (void)close(accept_socket);
754
755 if (smtp_in)
756   {
757   if (fclose(smtp_in) != 0 && errno != ECONNRESET && errno != EPIPE)
758     log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fclose(smtp_in) failed: %s",
759       strerror(errno));
760   smtp_in = NULL;
761   }
762 else (void)close(dup_accept_socket);
763
764 /* Release any store used in this process, including the store used for holding
765 the incoming host address and an expanded active_hostname. */
766
767 log_close_all();
768 interface_address =
769 sender_host_address = NULL;
770 store_reset(reset_point);
771 sender_host_address = NULL;
772 }
773
774
775
776
777 /*************************************************
778 *       Check wildcard listen special cases      *
779 *************************************************/
780
781 /* This function is used when binding and listening on lists of addresses and
782 ports. It tests for special cases of wildcard listening, when IPv4 and IPv6
783 sockets may interact in different ways in different operating systems. It is
784 passed an error number, the list of listening addresses, and the current
785 address. Two checks are available: for a previous wildcard IPv6 address, or for
786 a following wildcard IPv4 address, in both cases on the same port.
787
788 In practice, pairs of wildcard addresses should be adjacent in the address list
789 because they are sorted that way below.
790
791 Arguments:
792   eno            the error number
793   addresses      the list of addresses
794   ipa            the current IP address
795   back           if TRUE, check for previous wildcard IPv6 address
796                  if FALSE, check for a following wildcard IPv4 address
797
798 Returns:         TRUE or FALSE
799 */
800
801 static BOOL
802 check_special_case(int eno, ip_address_item *addresses, ip_address_item *ipa,
803   BOOL back)
804 {
805 ip_address_item *ipa2;
806
807 /* For the "back" case, if the failure was "address in use" for a wildcard IPv4
808 address, seek a previous IPv6 wildcard address on the same port. As it is
809 previous, it must have been successfully bound and be listening. Flag it as a
810 "6 including 4" listener. */
811
812 if (back)
813   {
814   if (eno != EADDRINUSE || ipa->address[0] != 0) return FALSE;
815   for (ipa2 = addresses; ipa2 != ipa; ipa2 = ipa2->next)
816     {
817     if (ipa2->address[1] == 0 && ipa2->port == ipa->port)
818       {
819       ipa2->v6_include_v4 = TRUE;
820       return TRUE;
821       }
822     }
823   }
824
825 /* For the "forward" case, if the current address is a wildcard IPv6 address,
826 we seek a following wildcard IPv4 address on the same port. */
827
828 else
829   {
830   if (ipa->address[0] != ':' || ipa->address[1] != 0) return FALSE;
831   for (ipa2 = ipa->next; ipa2 != NULL; ipa2 = ipa2->next)
832     if (ipa2->address[0] == 0 && ipa->port == ipa2->port) return TRUE;
833   }
834
835 return FALSE;
836 }
837
838
839
840
841 /*************************************************
842 *         Handle terminating subprocesses        *
843 *************************************************/
844
845 /* Handle the termination of child processes. Theoretically, this need be done
846 only when sigchld_seen is TRUE, but rumour has it that some systems lose
847 SIGCHLD signals at busy times, so to be on the safe side, this function is
848 called each time round. It shouldn't be too expensive.
849
850 Arguments:  none
851 Returns:    nothing
852 */
853
854 static void
855 handle_ending_processes(void)
856 {
857 int status;
858 pid_t pid;
859
860 while ((pid = waitpid(-1, &status, WNOHANG)) > 0)
861   {
862   DEBUG(D_any)
863     {
864     debug_printf("child %d ended: status=0x%x\n", (int)pid, status);
865 #ifdef WCOREDUMP
866     if (WIFEXITED(status))
867       debug_printf("  normal exit, %d\n", WEXITSTATUS(status));
868     else if (WIFSIGNALED(status))
869       debug_printf("  signal exit, signal %d%s\n", WTERMSIG(status),
870           WCOREDUMP(status) ? " (core dumped)" : "");
871 #endif
872     }
873
874   /* If it's a listening daemon for which we are keeping track of individual
875   subprocesses, deal with an accepting process that has terminated. */
876
877   if (smtp_slots)
878     {
879     int i;
880     for (i = 0; i < smtp_accept_max; i++)
881       if (smtp_slots[i].pid == pid)
882         {
883         if (smtp_slots[i].host_address)
884           store_free(smtp_slots[i].host_address);
885         smtp_slots[i] = empty_smtp_slot;
886         if (--smtp_accept_count < 0) smtp_accept_count = 0;
887         DEBUG(D_any) debug_printf("%d SMTP accept process%s now running\n",
888           smtp_accept_count, (smtp_accept_count == 1)? "" : "es");
889         break;
890         }
891     if (i < smtp_accept_max) continue;  /* Found an accepting process */
892     }
893
894   /* If it wasn't an accepting process, see if it was a queue-runner
895   process that we are tracking. */
896
897   if (queue_pid_slots)
898     {
899     int max = atoi(CS expand_string(queue_run_max));
900     for (int i = 0; i < max; i++)
901       if (queue_pid_slots[i] == pid)
902         {
903         queue_pid_slots[i] = 0;
904         if (--queue_run_count < 0) queue_run_count = 0;
905         DEBUG(D_any) debug_printf("%d queue-runner process%s now running\n",
906           queue_run_count, (queue_run_count == 1)? "" : "es");
907         break;
908         }
909     }
910   }
911 }
912
913
914
915 static void
916 set_pid_file_path(void)
917 {
918 if (override_pid_file_path)
919   pid_file_path = override_pid_file_path;
920
921 if (!*pid_file_path)
922   pid_file_path = string_sprintf("%s/exim-daemon.pid", spool_directory);
923 }
924
925
926 /* Remove the daemon's pidfile.  Note: runs with root privilege,
927 as a direct child of the daemon.  Does not return. */
928
929 void
930 delete_pid_file(void)
931 {
932 uschar * daemon_pid = string_sprintf("%d\n", (int)getppid());
933 FILE * f;
934
935 set_pid_file_path();
936 if ((f = Ufopen(pid_file_path, "rb")))
937   {
938   if (  fgets(CS big_buffer, big_buffer_size, f)
939         && Ustrcmp(daemon_pid, big_buffer) == 0
940      )
941     if (Uunlink(pid_file_path) == 0)
942       {
943       DEBUG(D_any)
944         debug_printf("%s unlink: %s\n", pid_file_path, strerror(errno));
945       }
946     else
947       DEBUG(D_any)
948         debug_printf("unlinked %s\n", pid_file_path);
949   fclose(f);
950   }
951 else
952   DEBUG(D_any)
953     debug_printf("%s\n", string_open_failed("pid file %s", pid_file_path));
954 exim_exit(EXIT_SUCCESS);
955 }
956
957
958 /* Called by the daemon; exec a child to get the pid file deleted
959 since we may require privs for the containing directory */
960
961 static void
962 daemon_die(void)
963 {
964 int pid;
965
966 #if !defined(DISABLE_TLS) && (defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT))
967 tls_watch_invalidate();
968 #endif
969
970 if (daemon_notifier_fd >= 0)
971   {
972   close(daemon_notifier_fd);
973   daemon_notifier_fd = -1;
974 #ifndef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
975     {
976     uschar * s = expand_string(notifier_socket);
977     DEBUG(D_any) debug_printf("unlinking notifier socket %s\n", s);
978     Uunlink(s);
979     }
980 #endif
981   }
982
983 if (f.running_in_test_harness || write_pid)
984   {
985   if ((pid = exim_fork(US"daemon-del-pidfile")) == 0)
986     {
987     if (override_pid_file_path)
988       (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, 3,
989         "-oP", override_pid_file_path, "-oPX");
990     else
991       (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, 1, "-oPX");
992
993     /* Control never returns here. */
994     }
995   if (pid > 0)
996     child_close(pid, 1);
997   }
998 exim_exit(EXIT_SUCCESS);
999 }
1000
1001
1002 /*************************************************
1003 *       Listener socket for local work prompts   *
1004 *************************************************/
1005
1006 static void
1007 daemon_notifier_socket(void)
1008 {
1009 int fd;
1010 const uschar * where;
1011 struct sockaddr_un sa_un = {.sun_family = AF_UNIX};
1012 int len;
1013
1014 if (!notifier_socket || !*notifier_socket)
1015   {
1016   DEBUG(D_any) debug_printf("-oY used so not creating notifier socket\n");
1017   return;
1018   }
1019 if (override_local_interfaces && !override_pid_file_path)
1020   {
1021   DEBUG(D_any)
1022     debug_printf("-oX used without -oP so not creating notifier socket\n");
1023   return;
1024   }
1025
1026 DEBUG(D_any) debug_printf("creating notifier socket\n");
1027
1028 #ifdef SOCK_CLOEXEC
1029 if ((fd = socket(PF_UNIX, SOCK_DGRAM|SOCK_CLOEXEC, 0)) < 0)
1030   { where = US"socket"; goto bad; }
1031 #else
1032 if ((fd = socket(PF_UNIX, SOCK_DGRAM, 0)) < 0)
1033   { where = US"socket"; goto bad; }
1034 (void)fcntl(fd, F_SETFD, fcntl(fd, F_GETFD) | FD_CLOEXEC);
1035 #endif
1036
1037 #ifdef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
1038 sa_un.sun_path[0] = 0;  /* Abstract local socket addr - Linux-specific? */
1039 len = offsetof(struct sockaddr_un, sun_path) + 1
1040   + snprintf(sa_un.sun_path+1, sizeof(sa_un.sun_path)-1, "%s",
1041               expand_string(notifier_socket));
1042 DEBUG(D_any) debug_printf(" @%s\n", sa_un.sun_path+1);
1043 #else                   /* filesystem-visible and persistent; will neeed removal */
1044 len = offsetof(struct sockaddr_un, sun_path)
1045   + snprintf(sa_un.sun_path, sizeof(sa_un.sun_path), "%s", 
1046               expand_string(notifier_socket));
1047 DEBUG(D_any) debug_printf(" %s\n", sa_un.sun_path);
1048 #endif
1049
1050 if (bind(fd, (const struct sockaddr *)&sa_un, len) < 0)
1051   { where = US"bind"; goto bad; }
1052
1053 #ifdef SO_PASSCRED              /* Linux */
1054 if (setsockopt(fd, SOL_SOCKET, SO_PASSCRED, &on, sizeof(on)) < 0)
1055   { where = US"SO_PASSCRED"; goto bad2; }
1056 #elif defined(LOCAL_CREDS)      /* FreeBSD-ish */
1057 if (setsockopt(fd, 0, LOCAL_CREDS, &on, sizeof(on)) < 0)
1058   { where = US"LOCAL_CREDS"; goto bad2; }
1059 #endif
1060
1061 /* debug_printf("%s: fd %d\n", __FUNCTION__, fd); */
1062 daemon_notifier_fd = fd;
1063 return;
1064
1065 bad2:
1066 #ifndef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
1067   Uunlink(sa_un.sun_path);
1068 #endif
1069 bad:
1070   log_write(0, LOG_MAIN|LOG_PANIC, "%s %s: %s",
1071     __FUNCTION__, where, strerror(errno));
1072   close(fd);
1073   return;
1074 }
1075
1076
1077 static uschar queuerun_msgid[MESSAGE_ID_LENGTH+1];
1078
1079 /* Return TRUE if a sigalrm should be emulated */
1080 static BOOL
1081 daemon_notification(void)
1082 {
1083 uschar buf[256], cbuf[256];
1084 struct sockaddr_un sa_un;
1085 struct iovec iov = {.iov_base = buf, .iov_len = sizeof(buf)-1};
1086 struct msghdr msg = { .msg_name = &sa_un,
1087                       .msg_namelen = sizeof(sa_un),
1088                       .msg_iov = &iov,
1089                       .msg_iovlen = 1,
1090                       .msg_control = cbuf,
1091                       .msg_controllen = sizeof(cbuf)
1092                     };
1093 ssize_t sz;
1094
1095 buf[sizeof(buf)-1] = 0;
1096 if ((sz = recvmsg(daemon_notifier_fd, &msg, 0)) <= 0) return FALSE;
1097 if (sz >= sizeof(buf)) return FALSE;
1098
1099 #ifdef notdef
1100 debug_printf("addrlen %d\n", msg.msg_namelen);
1101 #endif
1102 DEBUG(D_queue_run) debug_printf("%s from addr '%s%.*s'\n", __FUNCTION__,
1103   *sa_un.sun_path ? "" : "@",
1104   (int)msg.msg_namelen - (*sa_un.sun_path ? 0 : 1),
1105   sa_un.sun_path + (*sa_un.sun_path ? 0 : 1));
1106
1107 /* Refuse to handle the item unless the peer has good credentials */
1108 #ifdef SCM_CREDENTIALS
1109 # define EXIM_SCM_CR_TYPE SCM_CREDENTIALS
1110 #elif defined(LOCAL_CREDS) && defined(SCM_CREDS)
1111 # define EXIM_SCM_CR_TYPE SCM_CREDS
1112 #else
1113         /* The OS has no way to get the creds of the caller (for a unix/datagram socket.
1114         Punt; don't try to check. */
1115 #endif
1116
1117 #ifdef EXIM_SCM_CR_TYPE
1118 for (struct cmsghdr * cp = CMSG_FIRSTHDR(&msg);
1119      cp;
1120      cp = CMSG_NXTHDR(&msg, cp))
1121   if (cp->cmsg_level == SOL_SOCKET && cp->cmsg_type == EXIM_SCM_CR_TYPE)
1122   {
1123 # ifdef SCM_CREDENTIALS                                 /* Linux */
1124   struct ucred * cr = (struct ucred *) CMSG_DATA(cp);
1125   if (cr->uid && cr->uid != exim_uid)
1126     {
1127     DEBUG(D_queue_run) debug_printf("%s: sender creds pid %d uid %d gid %d\n",
1128       __FUNCTION__, (int)cr->pid, (int)cr->uid, (int)cr->gid);
1129     return FALSE;
1130     }
1131 # elif defined(LOCAL_CREDS)                             /* BSD-ish */
1132   struct sockcred * cr = (struct sockcred *) CMSG_DATA(cp);
1133   if (cr->sc_uid && cr->sc_uid != exim_uid)
1134     {
1135     DEBUG(D_queue_run) debug_printf("%s: sender creds pid ??? uid %d gid %d\n",
1136       __FUNCTION__, (int)cr->sc_uid, (int)cr->sc_gid);
1137     return FALSE;
1138     }
1139 # endif
1140   break;
1141   }
1142 #endif
1143
1144 buf[sz] = 0;
1145 switch (buf[0])
1146   {
1147 #ifndef DISABLE_QUEUE_RAMP
1148   case NOTIFY_MSG_QRUN:
1149     /* this should be a message_id */
1150     DEBUG(D_queue_run)
1151       debug_printf("%s: qrunner trigger: %s\n", __FUNCTION__, buf+1);
1152     memcpy(queuerun_msgid, buf+1, MESSAGE_ID_LENGTH+1);
1153     return TRUE;
1154 #endif
1155
1156   case NOTIFY_QUEUE_SIZE_REQ:
1157     {
1158     uschar buf[16];
1159     int len = snprintf(CS buf, sizeof(buf), "%u", queue_count_cached());
1160
1161     DEBUG(D_queue_run)
1162       debug_printf("%s: queue size request: %s\n", __FUNCTION__, buf);
1163
1164     if (sendto(daemon_notifier_fd, buf, len, 0,
1165                 (const struct sockaddr *)&sa_un, msg.msg_namelen) < 0)
1166       log_write(0, LOG_MAIN|LOG_PANIC,
1167         "%s: sendto: %s\n", __FUNCTION__, strerror(errno));
1168     return FALSE;
1169     }
1170   }
1171 return FALSE;
1172 }
1173
1174
1175 /*************************************************
1176 *              Exim Daemon Mainline              *
1177 *************************************************/
1178
1179 /* The daemon can do two jobs, either of which is optional:
1180
1181 (1) Listens for incoming SMTP calls and spawns off a sub-process to handle
1182 each one. This is requested by the -bd option, with -oX specifying the SMTP
1183 port on which to listen (for testing).
1184
1185 (2) Spawns a queue-running process every so often. This is controlled by the
1186 -q option with a an interval time. (If no time is given, a single queue run
1187 is done from the main function, and control doesn't get here.)
1188
1189 Root privilege is required in order to attach to port 25. Some systems require
1190 it when calling socket() rather than bind(). To cope with all cases, we run as
1191 root for both socket() and bind(). Some systems also require root in order to
1192 write to the pid file directory. This function must therefore be called as root
1193 if it is to work properly in all circumstances. Once the socket is bound and
1194 the pid file written, root privilege is given up if there is an exim uid.
1195
1196 There are no arguments to this function, and it never returns. */
1197
1198 void
1199 daemon_go(void)
1200 {
1201 struct passwd *pw;
1202 int *listen_sockets = NULL;
1203 int listen_socket_count = 0;
1204 ip_address_item *addresses = NULL;
1205 time_t last_connection_time = (time_t)0;
1206 int local_queue_run_max = atoi(CS expand_string(queue_run_max));
1207
1208 process_purpose = US"daemon";
1209
1210 /* If any debugging options are set, turn on the D_pid bit so that all
1211 debugging lines get the pid added. */
1212
1213 DEBUG(D_any|D_v) debug_selector |= D_pid;
1214
1215 if (f.inetd_wait_mode)
1216   {
1217   listen_socket_count = 1;
1218   listen_sockets = store_get(sizeof(int), FALSE);
1219   (void) close(3);
1220   if (dup2(0, 3) == -1)
1221     log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1222         "failed to dup inetd socket safely away: %s", strerror(errno));
1223
1224   listen_sockets[0] = 3;
1225   (void) close(0);
1226   (void) close(1);
1227   (void) close(2);
1228   exim_nullstd();
1229
1230   if (debug_file == stderr)
1231     {
1232     /* need a call to log_write before call to open debug_file, so that
1233     log.c:file_path has been initialised.  This is unfortunate. */
1234     log_write(0, LOG_MAIN, "debugging Exim in inetd wait mode starting");
1235
1236     fclose(debug_file);
1237     debug_file = NULL;
1238     exim_nullstd(); /* re-open fd2 after we just closed it again */
1239     debug_logging_activate(US"-wait", NULL);
1240     }
1241
1242   DEBUG(D_any) debug_printf("running in inetd wait mode\n");
1243
1244   /* As per below, when creating sockets ourselves, we handle tcp_nodelay for
1245   our own buffering; we assume though that inetd set the socket REUSEADDR. */
1246
1247   if (tcp_nodelay)
1248     if (setsockopt(3, IPPROTO_TCP, TCP_NODELAY, US &on, sizeof(on)))
1249       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to set socket NODELAY: %s",
1250         strerror(errno));
1251   }
1252
1253
1254 if (f.inetd_wait_mode || f.daemon_listen)
1255   {
1256   /* If any option requiring a load average to be available during the
1257   reception of a message is set, call os_getloadavg() while we are root
1258   for those OS for which this is necessary the first time it is called (in
1259   order to perform an "open" on the kernel memory file). */
1260
1261   #ifdef LOAD_AVG_NEEDS_ROOT
1262   if (queue_only_load >= 0 || smtp_load_reserve >= 0 ||
1263        (deliver_queue_load_max >= 0 && deliver_drop_privilege))
1264     (void)os_getloadavg();
1265   #endif
1266   }
1267
1268
1269 /* Do the preparation for setting up a listener on one or more interfaces, and
1270 possible on various ports. This is controlled by the combination of
1271 local_interfaces (which can set IP addresses and ports) and daemon_smtp_port
1272 (which is a list of default ports to use for those items in local_interfaces
1273 that do not specify a port). The -oX command line option can be used to
1274 override one or both of these options.
1275
1276 If local_interfaces is not set, the default is to listen on all interfaces.
1277 When it is set, it can include "all IPvx interfaces" as an item. This is useful
1278 when different ports are in use.
1279
1280 It turns out that listening on all interfaces is messy in an IPv6 world,
1281 because several different implementation approaches have been taken. This code
1282 is now supposed to work with all of them. The point of difference is whether an
1283 IPv6 socket that is listening on all interfaces will receive incoming IPv4
1284 calls or not. We also have to cope with the case when IPv6 libraries exist, but
1285 there is no IPv6 support in the kernel.
1286
1287 . On Solaris, an IPv6 socket will accept IPv4 calls, and give them as mapped
1288   addresses. However, if an IPv4 socket is also listening on all interfaces,
1289   calls are directed to the appropriate socket.
1290
1291 . On (some versions of) Linux, an IPv6 socket will accept IPv4 calls, and
1292   give them as mapped addresses, but an attempt also to listen on an IPv4
1293   socket on all interfaces causes an error.
1294
1295 . On OpenBSD, an IPv6 socket will not accept IPv4 calls. You have to set up
1296   two sockets if you want to accept both kinds of call.
1297
1298 . FreeBSD is like OpenBSD, but it has the IPV6_V6ONLY socket option, which
1299   can be turned off, to make it behave like the versions of Linux described
1300   above.
1301
1302 . I heard a report that the USAGI IPv6 stack for Linux has implemented
1303   IPV6_V6ONLY.
1304
1305 So, what we do when IPv6 is supported is as follows:
1306
1307  (1) After it is set up, the list of interfaces is scanned for wildcard
1308      addresses. If an IPv6 and an IPv4 wildcard are both found for the same
1309      port, the list is re-arranged so that they are together, with the IPv6
1310      wildcard first.
1311
1312  (2) If the creation of a wildcard IPv6 socket fails, we just log the error and
1313      carry on if an IPv4 wildcard socket for the same port follows later in the
1314      list. This allows Exim to carry on in the case when the kernel has no IPv6
1315      support.
1316
1317  (3) Having created an IPv6 wildcard socket, we try to set IPV6_V6ONLY if that
1318      option is defined. However, if setting fails, carry on regardless (but log
1319      the incident).
1320
1321  (4) If binding or listening on an IPv6 wildcard socket fails, it is a serious
1322      error.
1323
1324  (5) If binding or listening on an IPv4 wildcard socket fails with the error
1325      EADDRINUSE, and a previous interface was an IPv6 wildcard for the same
1326      port (which must have succeeded or we wouldn't have got this far), we
1327      assume we are in the situation where just a single socket is permitted,
1328      and ignore the error.
1329
1330 Phew!
1331
1332 The preparation code decodes options and sets up the relevant data. We do this
1333 first, so that we can return non-zero if there are any syntax errors, and also
1334 write to stderr. */
1335
1336 if (f.daemon_listen && !f.inetd_wait_mode)
1337   {
1338   int *default_smtp_port;
1339   int sep;
1340   int pct = 0;
1341   uschar *s;
1342   const uschar * list;
1343   uschar *local_iface_source = US"local_interfaces";
1344   ip_address_item *ipa;
1345   ip_address_item **pipa;
1346
1347   /* If -oX was used, disable the writing of a pid file unless -oP was
1348   explicitly used to force it. Then scan the string given to -oX. Any items
1349   that contain neither a dot nor a colon are used to override daemon_smtp_port.
1350   Any other items are used to override local_interfaces. */
1351
1352   if (override_local_interfaces)
1353     {
1354     gstring * new_smtp_port = NULL;
1355     gstring * new_local_interfaces = NULL;
1356
1357     if (!override_pid_file_path) write_pid = FALSE;
1358
1359     list = override_local_interfaces;
1360     sep = 0;
1361     while ((s = string_nextinlist(&list, &sep, NULL, 0)))
1362       {
1363       uschar joinstr[4];
1364       gstring ** gp = Ustrpbrk(s, ".:") ? &new_local_interfaces : &new_smtp_port;
1365
1366       if (!*gp)
1367         {
1368         joinstr[0] = sep;
1369         joinstr[1] = ' ';
1370         *gp = string_catn(*gp, US"<", 1);
1371         }
1372
1373       *gp = string_catn(*gp, joinstr, 2);
1374       *gp = string_cat (*gp, s);
1375       }
1376
1377     if (new_smtp_port)
1378       {
1379       daemon_smtp_port = string_from_gstring(new_smtp_port);
1380       DEBUG(D_any) debug_printf("daemon_smtp_port overridden by -oX:\n  %s\n",
1381         daemon_smtp_port);
1382       }
1383
1384     if (new_local_interfaces)
1385       {
1386       local_interfaces = string_from_gstring(new_local_interfaces);
1387       local_iface_source = US"-oX data";
1388       DEBUG(D_any) debug_printf("local_interfaces overridden by -oX:\n  %s\n",
1389         local_interfaces);
1390       }
1391     }
1392
1393   /* Create a list of default SMTP ports, to be used if local_interfaces
1394   contains entries without explicit ports. First count the number of ports, then
1395   build a translated list in a vector. */
1396
1397   list = daemon_smtp_port;
1398   sep = 0;
1399   while ((s = string_nextinlist(&list, &sep, NULL, 0)))
1400     pct++;
1401   default_smtp_port = store_get((pct+1) * sizeof(int), FALSE);
1402   list = daemon_smtp_port;
1403   sep = 0;
1404   for (pct = 0;
1405        (s = string_nextinlist(&list, &sep, NULL, 0));
1406        pct++)
1407     {
1408     if (isdigit(*s))
1409       {
1410       uschar *end;
1411       default_smtp_port[pct] = Ustrtol(s, &end, 0);
1412       if (end != s + Ustrlen(s))
1413         log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "invalid SMTP port: %s", s);
1414       }
1415     else
1416       {
1417       struct servent *smtp_service = getservbyname(CS s, "tcp");
1418       if (!smtp_service)
1419         log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "TCP port \"%s\" not found", s);
1420       default_smtp_port[pct] = ntohs(smtp_service->s_port);
1421       }
1422     }
1423   default_smtp_port[pct] = 0;
1424
1425   /* Check the list of TLS-on-connect ports and do name lookups if needed */
1426
1427   list = tls_in.on_connect_ports;
1428   sep = 0;
1429   /* the list isn't expanded so cannot be tainted.  If it ever is we will trap here */
1430   while ((s = string_nextinlist(&list, &sep, big_buffer, big_buffer_size)))
1431     if (!isdigit(*s))
1432       {
1433       gstring * g = NULL;
1434
1435       list = tls_in.on_connect_ports;
1436       tls_in.on_connect_ports = NULL;
1437       sep = 0;
1438       while ((s = string_nextinlist(&list, &sep, big_buffer, big_buffer_size)))
1439         {
1440         if (!isdigit(*s))
1441           {
1442           struct servent * smtp_service = getservbyname(CS s, "tcp");
1443           if (!smtp_service)
1444             log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "TCP port \"%s\" not found", s);
1445           s = string_sprintf("%d", (int)ntohs(smtp_service->s_port));
1446           }
1447         g = string_append_listele(g, ':', s);
1448         }
1449       if (g)
1450         tls_in.on_connect_ports = g->s;
1451       break;
1452       }
1453
1454   /* Create the list of local interfaces, possibly with ports included. This
1455   list may contain references to 0.0.0.0 and ::0 as wildcards. These special
1456   values are converted below. */
1457
1458   addresses = host_build_ifacelist(local_interfaces, local_iface_source);
1459
1460   /* In the list of IP addresses, convert 0.0.0.0 into an empty string, and ::0
1461   into the string ":". We use these to recognize wildcards in IPv4 and IPv6. In
1462   fact, many IP stacks recognize 0.0.0.0 and ::0 and handle them as wildcards
1463   anyway, but we need to know which are the wildcard addresses, and the shorter
1464   strings are neater.
1465
1466   In the same scan, fill in missing port numbers from the default list. When
1467   there is more than one item in the list, extra items are created. */
1468
1469   for (ipa = addresses; ipa; ipa = ipa->next)
1470     {
1471     if (Ustrcmp(ipa->address, "0.0.0.0") == 0)
1472       ipa->address[0] = 0;
1473     else if (Ustrcmp(ipa->address, "::0") == 0)
1474       {
1475       ipa->address[0] = ':';
1476       ipa->address[1] = 0;
1477       }
1478
1479     if (ipa->port > 0) continue;
1480
1481     if (daemon_smtp_port[0] <= 0)
1482       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "no port specified for interface "
1483         "%s and daemon_smtp_port is unset; cannot start daemon",
1484         ipa->address[0] == 0 ? US"\"all IPv4\"" :
1485         ipa->address[1] == 0 ? US"\"all IPv6\"" : ipa->address);
1486
1487     ipa->port = default_smtp_port[0];
1488     for (int i = 1; default_smtp_port[i] > 0; i++)
1489       {
1490       ip_address_item *new = store_get(sizeof(ip_address_item), FALSE);
1491
1492       memcpy(new->address, ipa->address, Ustrlen(ipa->address) + 1);
1493       new->port = default_smtp_port[i];
1494       new->next = ipa->next;
1495       ipa->next = new;
1496       ipa = new;
1497       }
1498     }
1499
1500   /* Scan the list of addresses for wildcards. If we find an IPv4 and an IPv6
1501   wildcard for the same port, ensure that (a) they are together and (b) the
1502   IPv6 address comes first. This makes handling the messy features easier, and
1503   also simplifies the construction of the "daemon started" log line. */
1504
1505   pipa = &addresses;
1506   for (ipa = addresses; ipa; pipa = &ipa->next, ipa = ipa->next)
1507     {
1508     ip_address_item *ipa2;
1509
1510     /* Handle an IPv4 wildcard */
1511
1512     if (ipa->address[0] == 0)
1513       for (ipa2 = ipa; ipa2->next; ipa2 = ipa2->next)
1514         {
1515         ip_address_item *ipa3 = ipa2->next;
1516         if (ipa3->address[0] == ':' &&
1517             ipa3->address[1] == 0 &&
1518             ipa3->port == ipa->port)
1519           {
1520           ipa2->next = ipa3->next;
1521           ipa3->next = ipa;
1522           *pipa = ipa3;
1523           break;
1524           }
1525         }
1526
1527     /* Handle an IPv6 wildcard. */
1528
1529     else if (ipa->address[0] == ':' && ipa->address[1] == 0)
1530       for (ipa2 = ipa; ipa2->next; ipa2 = ipa2->next)
1531         {
1532         ip_address_item *ipa3 = ipa2->next;
1533         if (ipa3->address[0] == 0 && ipa3->port == ipa->port)
1534           {
1535           ipa2->next = ipa3->next;
1536           ipa3->next = ipa->next;
1537           ipa->next = ipa3;
1538           ipa = ipa3;
1539           break;
1540           }
1541         }
1542     }
1543
1544   /* Get a vector to remember all the sockets in */
1545
1546   for (ipa = addresses; ipa; ipa = ipa->next)
1547     listen_socket_count++;
1548   listen_sockets = store_get(sizeof(int) * listen_socket_count, FALSE);
1549
1550   } /* daemon_listen but not inetd_wait_mode */
1551
1552 if (f.daemon_listen)
1553   {
1554
1555   /* Do a sanity check on the max connects value just to save us from getting
1556   a huge amount of store. */
1557
1558   if (smtp_accept_max > 4095) smtp_accept_max = 4096;
1559
1560   /* There's no point setting smtp_accept_queue unless it is less than the max
1561   connects limit. The configuration reader ensures that the max is set if the
1562   queue-only option is set. */
1563
1564   if (smtp_accept_queue > smtp_accept_max) smtp_accept_queue = 0;
1565
1566   /* Get somewhere to keep the list of SMTP accepting pids if we are keeping
1567   track of them for total number and queue/host limits. */
1568
1569   if (smtp_accept_max > 0)
1570     {
1571     smtp_slots = store_get(smtp_accept_max * sizeof(smtp_slot), FALSE);
1572     for (int i = 0; i < smtp_accept_max; i++) smtp_slots[i] = empty_smtp_slot;
1573     }
1574   }
1575
1576 /* The variable background_daemon is always false when debugging, but
1577 can also be forced false in order to keep a non-debugging daemon in the
1578 foreground. If background_daemon is true, close all open file descriptors that
1579 we know about, but then re-open stdin, stdout, and stderr to /dev/null.  Also
1580 do this for inetd_wait mode.
1581
1582 This is protection against any called functions (in libraries, or in
1583 Perl, or whatever) that think they can write to stderr (or stdout). Before this
1584 was added, it was quite likely that an SMTP connection would use one of these
1585 file descriptors, in which case writing random stuff to it caused chaos.
1586
1587 Then disconnect from the controlling terminal, Most modern Unixes seem to have
1588 setsid() for getting rid of the controlling terminal. For any OS that doesn't,
1589 setsid() can be #defined as a no-op, or as something else. */
1590
1591 if (f.background_daemon || f.inetd_wait_mode)
1592   {
1593   log_close_all();    /* Just in case anything was logged earlier */
1594   search_tidyup();    /* Just in case any were used in reading the config. */
1595   (void)close(0);           /* Get rid of stdin/stdout/stderr */
1596   (void)close(1);
1597   (void)close(2);
1598   exim_nullstd();     /* Connect stdin/stdout/stderr to /dev/null */
1599   log_stderr = NULL;  /* So no attempt to copy paniclog output */
1600   }
1601
1602 if (f.background_daemon)
1603   {
1604   /* If the parent process of this one has pid == 1, we are re-initializing the
1605   daemon as the result of a SIGHUP. In this case, there is no need to do
1606   anything, because the controlling terminal has long gone. Otherwise, fork, in
1607   case current process is a process group leader (see 'man setsid' for an
1608   explanation) before calling setsid(). */
1609
1610   if (getppid() != 1)
1611     {
1612     pid_t pid = exim_fork(US"daemon");
1613     if (pid < 0) log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1614       "fork() failed when starting daemon: %s", strerror(errno));
1615     if (pid > 0) exit(EXIT_SUCCESS);      /* in parent process, just exit */
1616     (void)setsid();                       /* release controlling terminal */
1617     }
1618   }
1619
1620 /* We are now in the disconnected, daemon process (unless debugging). Set up
1621 the listening sockets if required. */
1622
1623 daemon_notifier_socket();
1624
1625 if (f.daemon_listen && !f.inetd_wait_mode)
1626   {
1627   int sk;
1628   ip_address_item *ipa;
1629
1630   /* For each IP address, create a socket, bind it to the appropriate port, and
1631   start listening. See comments above about IPv6 sockets that may or may not
1632   accept IPv4 calls when listening on all interfaces. We also have to cope with
1633   the case of a system with IPv6 libraries, but no IPv6 support in the kernel.
1634   listening, provided a wildcard IPv4 socket for the same port follows. */
1635
1636   for (ipa = addresses, sk = 0; sk < listen_socket_count; ipa = ipa->next, sk++)
1637     {
1638     BOOL wildcard;
1639     ip_address_item *ipa2;
1640     int af;
1641
1642     if (Ustrchr(ipa->address, ':') != NULL)
1643       {
1644       af = AF_INET6;
1645       wildcard = ipa->address[1] == 0;
1646       }
1647     else
1648       {
1649       af = AF_INET;
1650       wildcard = ipa->address[0] == 0;
1651       }
1652
1653     if ((listen_sockets[sk] = ip_socket(SOCK_STREAM, af)) < 0)
1654       {
1655       if (check_special_case(0, addresses, ipa, FALSE))
1656         {
1657         log_write(0, LOG_MAIN, "Failed to create IPv6 socket for wildcard "
1658           "listening (%s): will use IPv4", strerror(errno));
1659         goto SKIP_SOCKET;
1660         }
1661       log_write(0, LOG_PANIC_DIE, "IPv%c socket creation failed: %s",
1662         (af == AF_INET6)? '6' : '4', strerror(errno));
1663       }
1664
1665     /* If this is an IPv6 wildcard socket, set IPV6_V6ONLY if that option is
1666     available. Just log failure (can get protocol not available, just like
1667     socket creation can). */
1668
1669 #ifdef IPV6_V6ONLY
1670     if (af == AF_INET6 && wildcard &&
1671         setsockopt(listen_sockets[sk], IPPROTO_IPV6, IPV6_V6ONLY, CS (&on),
1672           sizeof(on)) < 0)
1673       log_write(0, LOG_MAIN, "Setting IPV6_V6ONLY on daemon's IPv6 wildcard "
1674         "socket failed (%s): carrying on without it", strerror(errno));
1675 #endif  /* IPV6_V6ONLY */
1676
1677     /* Set SO_REUSEADDR so that the daemon can be restarted while a connection
1678     is being handled.  Without this, a connection will prevent reuse of the
1679     smtp port for listening. */
1680
1681     if (setsockopt(listen_sockets[sk], SOL_SOCKET, SO_REUSEADDR,
1682                    US (&on), sizeof(on)) < 0)
1683       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "setting SO_REUSEADDR on socket "
1684         "failed when starting daemon: %s", strerror(errno));
1685
1686     /* Set TCP_NODELAY; Exim does its own buffering. There is a switch to
1687     disable this because it breaks some broken clients. */
1688
1689     if (tcp_nodelay) setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_NODELAY,
1690       US (&on), sizeof(on));
1691
1692     /* Now bind the socket to the required port; if Exim is being restarted
1693     it may not always be possible to bind immediately, even with SO_REUSEADDR
1694     set, so try 10 times, waiting between each try. After 10 failures, we give
1695     up. In an IPv6 environment, if bind () fails with the error EADDRINUSE and
1696     we are doing wildcard IPv4 listening and there was a previous IPv6 wildcard
1697     address for the same port, ignore the error on the grounds that we must be
1698     in a system where the IPv6 socket accepts both kinds of call. This is
1699     necessary for (some release of) USAGI Linux; other IP stacks fail at the
1700     listen() stage instead. */
1701
1702 #ifdef TCP_FASTOPEN
1703     f.tcp_fastopen_ok = TRUE;
1704 #endif
1705     for(;;)
1706       {
1707       uschar *msg, *addr;
1708       if (ip_bind(listen_sockets[sk], af, ipa->address, ipa->port) >= 0) break;
1709       if (check_special_case(errno, addresses, ipa, TRUE))
1710         {
1711         DEBUG(D_any) debug_printf("wildcard IPv4 bind() failed after IPv6 "
1712           "listen() success; EADDRINUSE ignored\n");
1713         (void)close(listen_sockets[sk]);
1714         goto SKIP_SOCKET;
1715         }
1716       msg = US strerror(errno);
1717       addr = wildcard
1718         ? af == AF_INET6
1719         ? US"(any IPv6)"
1720         : US"(any IPv4)"
1721         : ipa->address;
1722       if (daemon_startup_retries <= 0)
1723         log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1724           "socket bind() to port %d for address %s failed: %s: "
1725           "daemon abandoned", ipa->port, addr, msg);
1726       log_write(0, LOG_MAIN, "socket bind() to port %d for address %s "
1727         "failed: %s: waiting %s before trying again (%d more %s)",
1728         ipa->port, addr, msg, readconf_printtime(daemon_startup_sleep),
1729         daemon_startup_retries, (daemon_startup_retries > 1)? "tries" : "try");
1730       daemon_startup_retries--;
1731       sleep(daemon_startup_sleep);
1732       }
1733
1734     DEBUG(D_any)
1735       if (wildcard)
1736         debug_printf("listening on all interfaces (IPv%c) port %d\n",
1737           af == AF_INET6 ? '6' : '4', ipa->port);
1738       else
1739         debug_printf("listening on %s port %d\n", ipa->address, ipa->port);
1740
1741 #if defined(TCP_FASTOPEN) && !defined(__APPLE__)
1742     if (  f.tcp_fastopen_ok
1743        && setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_FASTOPEN,
1744                     &smtp_connect_backlog, sizeof(smtp_connect_backlog)))
1745       {
1746       DEBUG(D_any) debug_printf("setsockopt FASTOPEN: %s\n", strerror(errno));
1747       f.tcp_fastopen_ok = FALSE;
1748       }
1749 #endif
1750
1751     /* Start listening on the bound socket, establishing the maximum backlog of
1752     connections that is allowed. On success, continue to the next address. */
1753
1754     if (listen(listen_sockets[sk], smtp_connect_backlog) >= 0)
1755       {
1756 #if defined(TCP_FASTOPEN) && defined(__APPLE__)
1757       if (  f.tcp_fastopen_ok
1758          && setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_FASTOPEN,
1759                       &on, sizeof(on)))
1760         {
1761         DEBUG(D_any) debug_printf("setsockopt FASTOPEN: %s\n", strerror(errno));
1762         f.tcp_fastopen_ok = FALSE;
1763         }
1764 #endif
1765       continue;
1766       }
1767
1768     /* Listening has failed. In an IPv6 environment, as for bind(), if listen()
1769     fails with the error EADDRINUSE and we are doing IPv4 wildcard listening
1770     and there was a previous successful IPv6 wildcard listen on the same port,
1771     we want to ignore the error on the grounds that we must be in a system
1772     where the IPv6 socket accepts both kinds of call. */
1773
1774     if (!check_special_case(errno, addresses, ipa, TRUE))
1775       log_write(0, LOG_PANIC_DIE, "listen() failed on interface %s: %s",
1776         wildcard
1777         ? af == AF_INET6 ? US"(any IPv6)" : US"(any IPv4)" : ipa->address,
1778         strerror(errno));
1779
1780     DEBUG(D_any) debug_printf("wildcard IPv4 listen() failed after IPv6 "
1781       "listen() success; EADDRINUSE ignored\n");
1782     (void)close(listen_sockets[sk]);
1783
1784     /* Come here if there has been a problem with the socket which we
1785     are going to ignore. We remove the address from the chain, and back up the
1786     counts. */
1787
1788   SKIP_SOCKET:
1789     sk--;                          /* Back up the count */
1790     listen_socket_count--;         /* Reduce the total */
1791     if (ipa == addresses) addresses = ipa->next; else
1792       {
1793       for (ipa2 = addresses; ipa2->next != ipa; ipa2 = ipa2->next);
1794       ipa2->next = ipa->next;
1795       ipa = ipa2;
1796       }
1797     }          /* End of bind/listen loop for each address */
1798   }            /* End of setup for listening */
1799
1800
1801 /* If we are not listening, we want to write a pid file only if -oP was
1802 explicitly given. */
1803
1804 else if (!override_pid_file_path)
1805   write_pid = FALSE;
1806
1807 /* Write the pid to a known file for assistance in identification, if required.
1808 We do this before giving up root privilege, because on some systems it is
1809 necessary to be root in order to write into the pid file directory. There's
1810 nothing to stop multiple daemons running, as long as no more than one listens
1811 on a given TCP/IP port on the same interface(s). However, in these
1812 circumstances it gets far too complicated to mess with pid file names
1813 automatically. Consequently, Exim 4 writes a pid file only
1814
1815   (a) When running in the test harness, or
1816   (b) When -bd is used and -oX is not used, or
1817   (c) When -oP is used to supply a path.
1818
1819 The variable daemon_write_pid is used to control this. */
1820
1821 if (f.running_in_test_harness || write_pid)
1822   {
1823   FILE *f;
1824
1825   set_pid_file_path();
1826   if ((f = modefopen(pid_file_path, "wb", 0644)))
1827     {
1828     (void)fprintf(f, "%d\n", (int)getpid());
1829     (void)fclose(f);
1830     DEBUG(D_any) debug_printf("pid written to %s\n", pid_file_path);
1831     }
1832   else
1833     DEBUG(D_any)
1834       debug_printf("%s\n", string_open_failed("pid file %s", pid_file_path));
1835   }
1836
1837 /* Set up the handler for SIGHUP, which causes a restart of the daemon. */
1838
1839 sighup_seen = FALSE;
1840 signal(SIGHUP, sighup_handler);
1841
1842 /* Give up root privilege at this point (assuming that exim_uid and exim_gid
1843 are not root). The third argument controls the running of initgroups().
1844 Normally we do this, in order to set up the groups for the Exim user. However,
1845 if we are not root at this time - some odd installations run that way - we
1846 cannot do this. */
1847
1848 exim_setugid(exim_uid, exim_gid, geteuid()==root_uid, US"running as a daemon");
1849
1850 /* Update the originator_xxx fields so that received messages as listed as
1851 coming from Exim, not whoever started the daemon. */
1852
1853 originator_uid = exim_uid;
1854 originator_gid = exim_gid;
1855 originator_login = (pw = getpwuid(exim_uid))
1856   ? string_copy_perm(US pw->pw_name, FALSE) : US"exim";
1857
1858 /* Get somewhere to keep the list of queue-runner pids if we are keeping track
1859 of them (and also if we are doing queue runs). */
1860
1861 if (queue_interval > 0 && local_queue_run_max > 0)
1862   {
1863   queue_pid_slots = store_get(local_queue_run_max * sizeof(pid_t), FALSE);
1864   for (int i = 0; i < local_queue_run_max; i++) queue_pid_slots[i] = 0;
1865   }
1866
1867 /* Set up the handler for termination of child processes, and the one
1868 telling us to die. */
1869
1870 sigchld_seen = FALSE;
1871 os_non_restarting_signal(SIGCHLD, main_sigchld_handler);
1872
1873 sigterm_seen = FALSE;
1874 os_non_restarting_signal(SIGTERM, main_sigterm_handler);
1875
1876 /* If we are to run the queue periodically, pretend the alarm has just gone
1877 off. This will cause the first queue-runner to get kicked off straight away. */
1878
1879 sigalrm_seen = (queue_interval > 0);
1880
1881 /* Log the start up of a daemon - at least one of listening or queue running
1882 must be set up. */
1883
1884 if (f.inetd_wait_mode)
1885   {
1886   uschar *p = big_buffer;
1887
1888   if (inetd_wait_timeout >= 0)
1889     sprintf(CS p, "terminating after %d seconds", inetd_wait_timeout);
1890   else
1891     sprintf(CS p, "with no wait timeout");
1892
1893   log_write(0, LOG_MAIN,
1894     "exim %s daemon started: pid=%d, launched with listening socket, %s",
1895     version_string, getpid(), big_buffer);
1896   set_process_info("daemon(%s): pre-listening socket", version_string);
1897
1898   /* set up the timeout logic */
1899   sigalrm_seen = TRUE;
1900   }
1901
1902 else if (f.daemon_listen)
1903   {
1904   int smtp_ports = 0;
1905   int smtps_ports = 0;
1906   ip_address_item * ipa;
1907   uschar * p;
1908   uschar * qinfo = queue_interval > 0
1909     ? string_sprintf("-q%s%s",
1910         f.queue_2stage ? "q" : "", readconf_printtime(queue_interval))
1911     : US"no queue runs";
1912
1913   /* Build a list of listening addresses in big_buffer, but limit it to 10
1914   items. The style is for backwards compatibility.
1915
1916   It is now possible to have some ports listening for SMTPS (the old,
1917   deprecated protocol that starts TLS without using STARTTLS), and others
1918   listening for standard SMTP. Keep their listings separate. */
1919
1920   for (int j = 0, i; j < 2; j++)
1921     {
1922     for (i = 0, ipa = addresses; i < 10 && ipa; i++, ipa = ipa->next)
1923       {
1924       /* First time round, look for SMTP ports; second time round, look for
1925       SMTPS ports. Build IP+port strings. */
1926
1927       if (host_is_tls_on_connect_port(ipa->port) == (j > 0))
1928         {
1929         if (j == 0)
1930           smtp_ports++;
1931         else
1932           smtps_ports++;
1933
1934         /* Now the information about the port (and sometimes interface) */
1935
1936         if (ipa->address[0] == ':' && ipa->address[1] == 0)
1937           {                                             /* v6 wildcard */
1938           if (ipa->next && ipa->next->address[0] == 0 &&
1939               ipa->next->port == ipa->port)
1940             {
1941             ipa->log = string_sprintf(" port %d (IPv6 and IPv4)", ipa->port);
1942             (ipa = ipa->next)->log = NULL;
1943             }
1944           else if (ipa->v6_include_v4)
1945             ipa->log = string_sprintf(" port %d (IPv6 with IPv4)", ipa->port);
1946           else
1947             ipa->log = string_sprintf(" port %d (IPv6)", ipa->port);
1948           }
1949         else if (ipa->address[0] == 0)                  /* v4 wildcard */
1950           ipa->log = string_sprintf(" port %d (IPv4)", ipa->port);
1951         else                            /* check for previously-seen IP */
1952           {
1953           ip_address_item * i2;
1954           for (i2 = addresses; i2 != ipa; i2 = i2->next)
1955             if (  host_is_tls_on_connect_port(i2->port) == (j > 0)
1956                && Ustrcmp(ipa->address, i2->address) == 0
1957                )
1958               {                         /* found; append port to list */
1959               for (p = i2->log; *p; ) p++;      /* end of existing string */
1960               if (*--p == '}') *p = '\0';       /* drop EOL */
1961               while (isdigit(*--p)) ;           /* char before port */
1962
1963               i2->log = *p == ':'               /* no list yet? */
1964                 ? string_sprintf("%.*s{%s,%d}",
1965                   (int)(p - i2->log + 1), i2->log, p+1, ipa->port)
1966                 : string_sprintf("%s,%d}", i2->log, ipa->port);
1967               ipa->log = NULL;
1968               break;
1969               }
1970           if (i2 == ipa)                /* first-time IP */
1971             ipa->log = string_sprintf(" [%s]:%d", ipa->address, ipa->port);
1972           }
1973         }
1974       }
1975     }
1976
1977   p = big_buffer;
1978   for (int j = 0, i; j < 2; j++)
1979     {
1980     /* First time round, look for SMTP ports; second time round, look for
1981     SMTPS ports. For the first one of each, insert leading text. */
1982
1983     if (j == 0)
1984       {
1985       if (smtp_ports > 0)
1986         p += sprintf(CS p, "SMTP on");
1987       }
1988     else
1989       if (smtps_ports > 0)
1990         p += sprintf(CS p, "%sSMTPS on",
1991           smtp_ports == 0 ? "" : " and for ");
1992
1993     /* Now the information about the port (and sometimes interface) */
1994
1995     for (i = 0, ipa = addresses; i < 10 && ipa; i++, ipa = ipa->next)
1996       if (host_is_tls_on_connect_port(ipa->port) == (j > 0))
1997         if (ipa->log)
1998           p += sprintf(CS p, "%s",  ipa->log);
1999
2000     if (ipa)
2001       p += sprintf(CS p, " ...");
2002     }
2003
2004   log_write(0, LOG_MAIN,
2005     "exim %s daemon started: pid=%d, %s, listening for %s",
2006     version_string, getpid(), qinfo, big_buffer);
2007   set_process_info("daemon(%s): %s, listening for %s",
2008     version_string, qinfo, big_buffer);
2009   }
2010
2011 else
2012   {
2013   uschar * s = *queue_name
2014     ? string_sprintf("-qG%s/%s", queue_name, readconf_printtime(queue_interval))
2015     : string_sprintf("-q%s", readconf_printtime(queue_interval));
2016   log_write(0, LOG_MAIN,
2017     "exim %s daemon started: pid=%d, %s, not listening for SMTP",
2018     version_string, getpid(), s);
2019   set_process_info("daemon(%s): %s, not listening", version_string, s);
2020   }
2021
2022 /* Do any work it might be useful to amortize over our children
2023 (eg: compile regex) */
2024
2025 dns_pattern_init();
2026 smtp_deliver_init();    /* Used for callouts */
2027
2028 #ifndef DISABLE_DKIM
2029   {
2030 # ifdef MEASURE_TIMING
2031   struct timeval t0;
2032   gettimeofday(&t0, NULL);
2033 # endif
2034   dkim_exim_init();
2035 # ifdef MEASURE_TIMING
2036   report_time_since(&t0, US"dkim_exim_init (delta)");
2037 # endif
2038   }
2039 #endif
2040
2041 #ifdef WITH_CONTENT_SCAN
2042 malware_init();
2043 #endif
2044 #ifdef SUPPORT_SPF
2045 spf_init();
2046 #endif
2047 #ifndef DISABLE_TLS
2048 tls_daemon_init();
2049 #endif
2050
2051 /* Close the log so it can be renamed and moved. In the few cases below where
2052 this long-running process writes to the log (always exceptional conditions), it
2053 closes the log afterwards, for the same reason. */
2054
2055 log_close_all();
2056
2057 DEBUG(D_any) debug_print_ids(US"daemon running with");
2058
2059 /* Any messages accepted via this route are going to be SMTP. */
2060
2061 smtp_input = TRUE;
2062
2063 #ifdef MEASURE_TIMING
2064 report_time_since(&timestamp_startup, US"daemon loop start");   /* testcase 0022 */
2065 #endif
2066
2067 /* Enter the never-ending loop... */
2068
2069 for (;;)
2070   {
2071   #if HAVE_IPV6
2072   struct sockaddr_in6 accepted;
2073   #else
2074   struct sockaddr_in accepted;
2075   #endif
2076
2077   EXIM_SOCKLEN_T len;
2078   pid_t pid;
2079
2080   if (sigterm_seen)
2081     daemon_die();       /* Does not return */
2082
2083   /* This code is placed first in the loop, so that it gets obeyed at the
2084   start, before the first wait, for the queue-runner case, so that the first
2085   one can be started immediately.
2086
2087   The other option is that we have an inetd wait timeout specified to -bw. */
2088
2089   if (sigalrm_seen)
2090     {
2091     if (inetd_wait_timeout > 0)
2092       {
2093       time_t resignal_interval = inetd_wait_timeout;
2094
2095       if (last_connection_time == (time_t)0)
2096         {
2097         DEBUG(D_any)
2098           debug_printf("inetd wait timeout expired, but still not seen first message, ignoring\n");
2099         }
2100       else
2101         {
2102         time_t now = time(NULL);
2103         if (now == (time_t)-1)
2104           {
2105           DEBUG(D_any) debug_printf("failed to get time: %s\n", strerror(errno));
2106           }
2107         else
2108           {
2109           if ((now - last_connection_time) >= inetd_wait_timeout)
2110             {
2111             DEBUG(D_any)
2112               debug_printf("inetd wait timeout %d expired, ending daemon\n",
2113                   inetd_wait_timeout);
2114             log_write(0, LOG_MAIN, "exim %s daemon terminating, inetd wait timeout reached.\n",
2115                 version_string);
2116             exit(EXIT_SUCCESS);
2117             }
2118           else
2119             {
2120             resignal_interval -= (now - last_connection_time);
2121             }
2122           }
2123         }
2124
2125       sigalrm_seen = FALSE;
2126       ALARM(resignal_interval);
2127       }
2128
2129     else
2130       {
2131       DEBUG(D_any) debug_printf("%s received\n",
2132 #ifndef DISABLE_QUEUE_RAMP
2133         *queuerun_msgid ? "qrun notification" :
2134 #endif
2135         "SIGALRM");
2136
2137       /* Do a full queue run in a child process, if required, unless we already
2138       have enough queue runners on the go. If we are not running as root, a
2139       re-exec is required. */
2140
2141       if (  queue_interval > 0
2142          && (local_queue_run_max <= 0 || queue_run_count < local_queue_run_max))
2143         {
2144         if ((pid = exim_fork(US"queue-runner")) == 0)
2145           {
2146           /* Disable debugging if it's required only for the daemon process. We
2147           leave the above message, because it ties up with the "child ended"
2148           debugging messages. */
2149
2150           if (f.debug_daemon) debug_selector = 0;
2151
2152           /* Close any open listening sockets in the child */
2153
2154           close_daemon_sockets(daemon_notifier_fd,
2155             listen_sockets, listen_socket_count);
2156
2157           /* Reset SIGHUP and SIGCHLD in the child in both cases. */
2158
2159           signal(SIGHUP,  SIG_DFL);
2160           signal(SIGCHLD, SIG_DFL);
2161           signal(SIGTERM, SIG_DFL);
2162
2163           /* Re-exec if privilege has been given up, unless deliver_drop_
2164           privilege is set. Reset SIGALRM before exec(). */
2165
2166           if (geteuid() != root_uid && !deliver_drop_privilege)
2167             {
2168             uschar opt[8];
2169             uschar *p = opt;
2170             uschar *extra[7];
2171             int extracount = 1;
2172
2173             signal(SIGALRM, SIG_DFL);
2174             *p++ = '-';
2175             *p++ = 'q';
2176             if (  f.queue_2stage
2177 #ifndef DISABLE_QUEUE_RAMP
2178                && !*queuerun_msgid
2179 #endif
2180                ) *p++ = 'q';
2181             if (f.queue_run_first_delivery) *p++ = 'i';
2182             if (f.queue_run_force) *p++ = 'f';
2183             if (f.deliver_force_thaw) *p++ = 'f';
2184             if (f.queue_run_local) *p++ = 'l';
2185             *p = 0;
2186             extra[0] = *queue_name
2187               ? string_sprintf("%sG%s", opt, queue_name) : opt;
2188
2189 #ifndef DISABLE_QUEUE_RAMP
2190             if (*queuerun_msgid)
2191               {
2192               log_write(0, LOG_MAIN, "notify triggered queue run");
2193               extra[extracount++] = queuerun_msgid;     /* Trigger only the */
2194               extra[extracount++] = queuerun_msgid;     /* one message      */
2195               }
2196 #endif
2197
2198             /* If -R or -S were on the original command line, ensure they get
2199             passed on. */
2200
2201             if (deliver_selectstring)
2202               {
2203               extra[extracount++] = f.deliver_selectstring_regex ? US"-Rr" : US"-R";
2204               extra[extracount++] = deliver_selectstring;
2205               }
2206
2207             if (deliver_selectstring_sender)
2208               {
2209               extra[extracount++] = f.deliver_selectstring_sender_regex
2210                 ? US"-Sr" : US"-S";
2211               extra[extracount++] = deliver_selectstring_sender;
2212               }
2213
2214             /* Overlay this process with a new execution. */
2215
2216             (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, extracount,
2217               extra[0], extra[1], extra[2], extra[3], extra[4], extra[5], extra[6]);
2218
2219             /* Control never returns here. */
2220             }
2221
2222           /* No need to re-exec; SIGALRM remains set to the default handler */
2223
2224 #ifndef DISABLE_QUEUE_RAMP
2225           if (*queuerun_msgid)
2226             {
2227             log_write(0, LOG_MAIN, "notify triggered queue run");
2228             f.queue_2stage = FALSE;
2229             queue_run(queuerun_msgid, queuerun_msgid, FALSE);
2230             }
2231           else
2232 #endif
2233             queue_run(NULL, NULL, FALSE);
2234           exim_underbar_exit(EXIT_SUCCESS);
2235           }
2236
2237         if (pid < 0)
2238           {
2239           log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fork of queue-runner "
2240             "process failed: %s", strerror(errno));
2241           log_close_all();
2242           }
2243         else
2244           {
2245           for (int i = 0; i < local_queue_run_max; ++i)
2246             if (queue_pid_slots[i] <= 0)
2247               {
2248               queue_pid_slots[i] = pid;
2249               queue_run_count++;
2250               break;
2251               }
2252           DEBUG(D_any) debug_printf("%d queue-runner process%s running\n",
2253             queue_run_count, queue_run_count == 1 ? "" : "es");
2254           }
2255         }
2256
2257       /* Reset the alarm clock */
2258
2259       sigalrm_seen = FALSE;
2260 #ifndef DISABLE_QUEUE_RAMP
2261       if (*queuerun_msgid)
2262         *queuerun_msgid = 0;
2263       else
2264 #endif
2265         ALARM(queue_interval);
2266       }
2267
2268     } /* sigalrm_seen */
2269
2270
2271   /* Sleep till a connection happens if listening, and handle the connection if
2272   that is why we woke up. The FreeBSD operating system requires the use of
2273   select() before accept() because the latter function is not interrupted by
2274   a signal, and we want to wake up for SIGCHLD and SIGALRM signals. Some other
2275   OS do notice signals in accept() but it does no harm to have the select()
2276   in for all of them - and it won't then be a lurking problem for ports to
2277   new OS. In fact, the later addition of listening on specific interfaces only
2278   requires this way of working anyway. */
2279
2280   if (f.daemon_listen)
2281     {
2282     int lcount;
2283     int max_socket = 0;
2284     BOOL select_failed = FALSE;
2285     fd_set select_listen;
2286
2287     FD_ZERO(&select_listen);
2288 #ifndef DISABLE_TLS
2289     if (tls_watch_fd >= 0)
2290       {
2291       FD_SET(tls_watch_fd, &select_listen);
2292       if (tls_watch_fd > max_socket) max_socket = tls_watch_fd;
2293       }
2294 #endif
2295     if (daemon_notifier_fd >= 0)
2296       {
2297       FD_SET(daemon_notifier_fd, &select_listen);
2298       if (daemon_notifier_fd > max_socket) max_socket = daemon_notifier_fd;
2299       }
2300     for (int sk = 0; sk < listen_socket_count; sk++)
2301       {
2302       FD_SET(listen_sockets[sk], &select_listen);
2303       if (listen_sockets[sk] > max_socket) max_socket = listen_sockets[sk];
2304       }
2305
2306     DEBUG(D_any) debug_printf("Listening...\n");
2307
2308     /* In rare cases we may have had a SIGCHLD signal in the time between
2309     setting the handler (below) and getting back here. If so, pretend that the
2310     select() was interrupted so that we reap the child. This might still leave
2311     a small window when a SIGCHLD could get lost. However, since we use SIGCHLD
2312     only to do the reaping more quickly, it shouldn't result in anything other
2313     than a delay until something else causes a wake-up. */
2314
2315     if (sigchld_seen)
2316       {
2317       lcount = -1;
2318       errno = EINTR;
2319       }
2320     else
2321       lcount = select(max_socket + 1, (SELECT_ARG2_TYPE *)&select_listen,
2322         NULL, NULL, NULL);
2323
2324     if (lcount < 0)
2325       {
2326       select_failed = TRUE;
2327       lcount = 1;
2328       }
2329
2330     /* Clean up any subprocesses that may have terminated. We need to do this
2331     here so that smtp_accept_max_per_host works when a connection to that host
2332     has completed, and we are about to accept a new one. When this code was
2333     later in the sequence, a new connection could be rejected, even though an
2334     old one had just finished. Preserve the errno from any select() failure for
2335     the use of the common select/accept error processing below. */
2336
2337       {
2338       int select_errno = errno;
2339       handle_ending_processes();
2340
2341 #ifndef DISABLE_TLS
2342       /* Create or rotate any required keys; handle (delayed) filewatch event */
2343       tls_daemon_tick();
2344 #endif
2345       errno = select_errno;
2346       }
2347
2348     /* Loop for all the sockets that are currently ready to go. If select
2349     actually failed, we have set the count to 1 and select_failed=TRUE, so as
2350     to use the common error code for select/accept below. */
2351
2352     while (lcount-- > 0)
2353       {
2354       int accept_socket = -1;
2355
2356       if (!select_failed)
2357         {
2358 #if !defined(DISABLE_TLS) && (defined(EXIM_HAVE_INOTIFY) || defined(EXIM_HAVE_KEVENT))
2359         if (tls_watch_fd >= 0 && FD_ISSET(tls_watch_fd, &select_listen))
2360           {
2361           FD_CLR(tls_watch_fd, &select_listen);
2362           tls_watch_trigger_time = time(NULL);  /* Set up delayed event */
2363           tls_watch_discard_event(tls_watch_fd);
2364           break;        /* to top of daemon loop */
2365           }
2366 #endif
2367         if (  daemon_notifier_fd >= 0
2368            && FD_ISSET(daemon_notifier_fd, &select_listen))
2369           {
2370           FD_CLR(daemon_notifier_fd, &select_listen);
2371           sigalrm_seen = daemon_notification();
2372           break;        /* to top of daemon loop */
2373           }
2374         for (int sk = 0; sk < listen_socket_count; sk++)
2375           if (FD_ISSET(listen_sockets[sk], &select_listen))
2376             {
2377             len = sizeof(accepted);
2378             accept_socket = accept(listen_sockets[sk],
2379               (struct sockaddr *)&accepted, &len);
2380             FD_CLR(listen_sockets[sk], &select_listen);
2381             break;
2382             }
2383         }
2384
2385       /* If select or accept has failed and this was not caused by an
2386       interruption, log the incident and try again. With asymmetric TCP/IP
2387       routing errors such as "No route to network" have been seen here. Also
2388       "connection reset by peer" has been seen. These cannot be classed as
2389       disastrous errors, but they could fill up a lot of log. The code in smail
2390       crashes the daemon after 10 successive failures of accept, on the grounds
2391       that some OS fail continuously. Exim originally followed suit, but this
2392       appears to have caused problems. Now it just keeps going, but instead of
2393       logging each error, it batches them up when they are continuous. */
2394
2395       if (accept_socket < 0 && errno != EINTR)
2396         {
2397         if (accept_retry_count == 0)
2398           {
2399           accept_retry_errno = errno;
2400           accept_retry_select_failed = select_failed;
2401           }
2402         else if (  errno != accept_retry_errno 
2403                 || select_failed != accept_retry_select_failed
2404                 || accept_retry_count >= 50)
2405             {
2406             log_write(0, LOG_MAIN | (accept_retry_count >= 50 ? LOG_PANIC : 0),
2407               "%d %s() failure%s: %s",
2408               accept_retry_count,
2409               accept_retry_select_failed ? "select" : "accept",
2410               accept_retry_count == 1 ? "" : "s",
2411               strerror(accept_retry_errno));
2412             log_close_all();
2413             accept_retry_count = 0;
2414             accept_retry_errno = errno;
2415             accept_retry_select_failed = select_failed;
2416             }
2417         accept_retry_count++;
2418         }
2419       else if (accept_retry_count > 0)
2420         {
2421         log_write(0, LOG_MAIN, "%d %s() failure%s: %s",
2422           accept_retry_count,
2423           accept_retry_select_failed ? "select" : "accept",
2424           accept_retry_count == 1 ? "" : "s",
2425           strerror(accept_retry_errno));
2426         log_close_all();
2427         accept_retry_count = 0;
2428         }
2429
2430       /* If select/accept succeeded, deal with the connection. */
2431
2432       if (accept_socket >= 0)
2433         {
2434 #ifdef TCP_QUICKACK /* Avoid pure-ACKs while in tls protocol pingpong phase */
2435         /* Unfortunately we cannot be certain to do this before a TLS-on-connect
2436         Client Hello arrives and is acked. We do it as early as possible. */
2437         (void) setsockopt(accept_socket, IPPROTO_TCP, TCP_QUICKACK, US &off, sizeof(off));
2438 #endif
2439         if (inetd_wait_timeout)
2440           last_connection_time = time(NULL);
2441         handle_smtp_call(listen_sockets, listen_socket_count, accept_socket,
2442           (struct sockaddr *)&accepted);
2443         }
2444       }
2445     }
2446
2447   /* If not listening, then just sleep for the queue interval. If we woke
2448   up early the last time for some other signal, it won't matter because
2449   the alarm signal will wake at the right time. This code originally used
2450   sleep() but it turns out that on the FreeBSD system, sleep() is not inter-
2451   rupted by signals, so it wasn't waking up for SIGALRM or SIGCHLD. Luckily
2452   select() can be used as an interruptible sleep() on all versions of Unix. */
2453
2454   else
2455     {
2456     struct timeval tv;
2457     tv.tv_sec = queue_interval;
2458     tv.tv_usec = 0;
2459     select(0, NULL, NULL, NULL, &tv);
2460     handle_ending_processes();
2461     }
2462
2463   /* Re-enable the SIGCHLD handler if it has been run. It can't do it
2464   for itself, because it isn't doing the waiting itself. */
2465
2466   if (sigchld_seen)
2467     {
2468     sigchld_seen = FALSE;
2469     os_non_restarting_signal(SIGCHLD, main_sigchld_handler);
2470     }
2471
2472   /* Handle being woken by SIGHUP. We know at this point that the result
2473   of accept() has been dealt with, so we can re-exec exim safely, first
2474   closing the listening sockets so that they can be reused. Cancel any pending
2475   alarm in case it is just about to go off, and set SIGHUP to be ignored so
2476   that another HUP in quick succession doesn't clobber the new daemon before it
2477   gets going. All log files get closed by the close-on-exec flag; however, if
2478   the exec fails, we need to close the logs. */
2479
2480   if (sighup_seen)
2481     {
2482     log_write(0, LOG_MAIN, "pid %d: SIGHUP received: re-exec daemon",
2483       getpid());
2484     close_daemon_sockets(daemon_notifier_fd,
2485       listen_sockets, listen_socket_count);
2486     ALARM_CLR(0);
2487     signal(SIGHUP, SIG_IGN);
2488     sighup_argv[0] = exim_path;
2489     exim_nullstd();
2490     execv(CS exim_path, (char *const *)sighup_argv);
2491     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "pid %d: exec of %s failed: %s",
2492       getpid(), exim_path, strerror(errno));
2493     log_close_all();
2494     }
2495
2496   }   /* End of main loop */
2497
2498 /* Control never reaches here */
2499 }
2500
2501 /* vi: aw ai sw=2
2502 */
2503 /* End of exim_daemon.c */