smtp_accept_map_per_host: call search_tidyup in fail path. Bug 2597
[exim.git] / src / src / daemon.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2018 */
6 /* Copyright (c) The Exim Maintainers 2020 */
7 /* See the file NOTICE for conditions of use and distribution. */
8
9 /* Functions concerned with running Exim as a daemon */
10
11
12 #include "exim.h"
13
14
15 /* Structure for holding data for each SMTP connection */
16
17 typedef struct smtp_slot {
18   pid_t pid;                       /* pid of the spawned reception process */
19   uschar *host_address;            /* address of the client host */
20 } smtp_slot;
21
22 /* An empty slot for initializing (Standard C does not allow constructor
23 expressions in assignments except as initializers in declarations). */
24
25 static smtp_slot empty_smtp_slot = { .pid = 0, .host_address = NULL };
26
27
28
29 /*************************************************
30 *               Local static variables           *
31 *************************************************/
32
33 static SIGNAL_BOOL sigchld_seen;
34 static SIGNAL_BOOL sighup_seen;
35 static SIGNAL_BOOL sigterm_seen;
36
37 static int   accept_retry_count = 0;
38 static int   accept_retry_errno;
39 static BOOL  accept_retry_select_failed;
40
41 static int   queue_run_count = 0;
42 static pid_t *queue_pid_slots = NULL;
43 static smtp_slot *smtp_slots = NULL;
44
45 static BOOL  write_pid = TRUE;
46
47
48
49 /*************************************************
50 *             SIGHUP Handler                     *
51 *************************************************/
52
53 /* All this handler does is to set a flag and re-enable the signal.
54
55 Argument: the signal number
56 Returns:  nothing
57 */
58
59 static void
60 sighup_handler(int sig)
61 {
62 sig = sig;    /* Keep picky compilers happy */
63 sighup_seen = TRUE;
64 signal(SIGHUP, sighup_handler);
65 }
66
67
68
69 /*************************************************
70 *     SIGCHLD handler for main daemon process    *
71 *************************************************/
72
73 /* Don't re-enable the handler here, since we aren't doing the
74 waiting here. If the signal is re-enabled, there will just be an
75 infinite sequence of calls to this handler. The SIGCHLD signal is
76 used just as a means of waking up the daemon so that it notices
77 terminated subprocesses as soon as possible.
78
79 Argument: the signal number
80 Returns:  nothing
81 */
82
83 static void
84 main_sigchld_handler(int sig)
85 {
86 sig = sig;    /* Keep picky compilers happy */
87 os_non_restarting_signal(SIGCHLD, SIG_DFL);
88 sigchld_seen = TRUE;
89 }
90
91
92 /* SIGTERM handler.  Try to get the damon pif file removed
93 before exiting. */
94
95 static void
96 main_sigterm_handler(int sig)
97 {
98 sigterm_seen = TRUE;
99 }
100
101
102
103
104 /*************************************************
105 *          Unexpected errors in SMTP calls       *
106 *************************************************/
107
108 /* This function just saves a bit of repetitious coding.
109
110 Arguments:
111   log_msg        Text of message to be logged
112   smtp_msg       Text of SMTP error message
113   was_errno      The failing errno
114
115 Returns:         nothing
116 */
117
118 static void
119 never_error(uschar *log_msg, uschar *smtp_msg, int was_errno)
120 {
121 uschar *emsg = was_errno <= 0
122   ? US"" : string_sprintf(": %s", strerror(was_errno));
123 log_write(0, LOG_MAIN|LOG_PANIC, "%s%s", log_msg, emsg);
124 if (smtp_out) smtp_printf("421 %s\r\n", FALSE, smtp_msg);
125 }
126
127
128
129
130 /*************************************************
131 *************************************************/
132
133 static void
134 close_daemon_sockets(int daemon_notifier_fd,
135   int * listen_sockets, int listen_socket_count)
136 {
137 if (daemon_notifier_fd >= 0) (void) close(daemon_notifier_fd);
138 for (int i = 0; i < listen_socket_count; i++) (void) close(listen_sockets[i]);
139 }
140
141
142 /*************************************************
143 *            Handle a connected SMTP call        *
144 *************************************************/
145
146 /* This function is called when an SMTP connection has been accepted.
147 If there are too many, give an error message and close down. Otherwise
148 spin off a sub-process to handle the call. The list of listening sockets
149 is required so that they can be closed in the sub-process. Take care not to
150 leak store in this process - reset the stacking pool at the end.
151
152 Arguments:
153   listen_sockets        sockets which are listening for incoming calls
154   listen_socket_count   count of listening sockets
155   accept_socket         socket of the current accepted call
156   accepted              socket information about the current call
157
158 Returns:            nothing
159 */
160
161 static void
162 handle_smtp_call(int *listen_sockets, int listen_socket_count,
163   int accept_socket, struct sockaddr *accepted)
164 {
165 pid_t pid;
166 union sockaddr_46 interface_sockaddr;
167 EXIM_SOCKLEN_T ifsize = sizeof(interface_sockaddr);
168 int dup_accept_socket = -1;
169 int max_for_this_host = 0;
170 int save_log_selector = *log_selector;
171 gstring * whofrom;
172
173 rmark reset_point = store_mark();
174
175 /* Make the address available in ASCII representation, and also fish out
176 the remote port. */
177
178 sender_host_address = host_ntoa(-1, accepted, NULL, &sender_host_port);
179 DEBUG(D_any) debug_printf("Connection request from %s port %d\n",
180   sender_host_address, sender_host_port);
181
182 /* Set up the output stream, check the socket has duplicated, and set up the
183 input stream. These operations fail only the exceptional circumstances. Note
184 that never_error() won't use smtp_out if it is NULL. */
185
186 if (!(smtp_out = fdopen(accept_socket, "wb")))
187   {
188   never_error(US"daemon: fdopen() for smtp_out failed", US"", errno);
189   goto ERROR_RETURN;
190   }
191
192 if ((dup_accept_socket = dup(accept_socket)) < 0)
193   {
194   never_error(US"daemon: couldn't dup socket descriptor",
195     US"Connection setup failed", errno);
196   goto ERROR_RETURN;
197   }
198
199 if (!(smtp_in = fdopen(dup_accept_socket, "rb")))
200   {
201   never_error(US"daemon: fdopen() for smtp_in failed",
202     US"Connection setup failed", errno);
203   goto ERROR_RETURN;
204   }
205
206 /* Get the data for the local interface address. Panic for most errors, but
207 "connection reset by peer" just means the connection went away. */
208
209 if (getsockname(accept_socket, (struct sockaddr *)(&interface_sockaddr),
210      &ifsize) < 0)
211   {
212   log_write(0, LOG_MAIN | ((errno == ECONNRESET)? 0 : LOG_PANIC),
213     "getsockname() failed: %s", strerror(errno));
214   smtp_printf("421 Local problem: getsockname() failed; please try again later\r\n", FALSE);
215   goto ERROR_RETURN;
216   }
217
218 interface_address = host_ntoa(-1, &interface_sockaddr, NULL, &interface_port);
219 DEBUG(D_interface) debug_printf("interface address=%s port=%d\n",
220   interface_address, interface_port);
221
222 /* Build a string identifying the remote host and, if requested, the port and
223 the local interface data. This is for logging; at the end of this function the
224 memory is reclaimed. */
225
226 whofrom = string_append(NULL, 3, "[", sender_host_address, "]");
227
228 if (LOGGING(incoming_port))
229   whofrom = string_fmt_append(whofrom, ":%d", sender_host_port);
230
231 if (LOGGING(incoming_interface))
232   whofrom = string_fmt_append(whofrom, " I=[%s]:%d",
233     interface_address, interface_port);
234
235 (void) string_from_gstring(whofrom);    /* Terminate the newly-built string */
236
237 /* Check maximum number of connections. We do not check for reserved
238 connections or unacceptable hosts here. That is done in the subprocess because
239 it might take some time. */
240
241 if (smtp_accept_max > 0 && smtp_accept_count >= smtp_accept_max)
242   {
243   DEBUG(D_any) debug_printf("rejecting SMTP connection: count=%d max=%d\n",
244     smtp_accept_count, smtp_accept_max);
245   smtp_printf("421 Too many concurrent SMTP connections; "
246     "please try again later.\r\n", FALSE);
247   log_write(L_connection_reject,
248             LOG_MAIN, "Connection from %s refused: too many connections",
249     whofrom->s);
250   goto ERROR_RETURN;
251   }
252
253 /* If a load limit above which only reserved hosts are acceptable is defined,
254 get the load average here, and if there are in fact no reserved hosts, do
255 the test right away (saves a fork). If there are hosts, do the check in the
256 subprocess because it might take time. */
257
258 if (smtp_load_reserve >= 0)
259   {
260   load_average = OS_GETLOADAVG();
261   if (smtp_reserve_hosts == NULL && load_average > smtp_load_reserve)
262     {
263     DEBUG(D_any) debug_printf("rejecting SMTP connection: load average = %.2f\n",
264       (double)load_average/1000.0);
265     smtp_printf("421 Too much load; please try again later.\r\n", FALSE);
266     log_write(L_connection_reject,
267               LOG_MAIN, "Connection from %s refused: load average = %.2f",
268       whofrom->s, (double)load_average/1000.0);
269     goto ERROR_RETURN;
270     }
271   }
272
273 /* Check that one specific host (strictly, IP address) is not hogging
274 resources. This is done here to prevent a denial of service attack by someone
275 forcing you to fork lots of times before denying service. The value of
276 smtp_accept_max_per_host is a string which is expanded. This makes it possible
277 to provide host-specific limits according to $sender_host address, but because
278 this is in the daemon mainline, only fast expansions (such as inline address
279 checks) should be used. The documentation is full of warnings. */
280
281 if (smtp_accept_max_per_host != NULL)
282   {
283   uschar *expanded = expand_string(smtp_accept_max_per_host);
284   if (expanded == NULL)
285     {
286     if (!f.expand_string_forcedfail)
287       log_write(0, LOG_MAIN|LOG_PANIC, "expansion of smtp_accept_max_per_host "
288         "failed for %s: %s", whofrom->s, expand_string_message);
289     }
290   /* For speed, interpret a decimal number inline here */
291   else
292     {
293     uschar *s = expanded;
294     while (isdigit(*s))
295       max_for_this_host = max_for_this_host * 10 + *s++ - '0';
296     if (*s != 0)
297       log_write(0, LOG_MAIN|LOG_PANIC, "expansion of smtp_accept_max_per_host "
298         "for %s contains non-digit: %s", whofrom->s, expanded);
299     }
300   }
301
302 /* If we have fewer connections than max_for_this_host, we can skip the tedious
303 per host_address checks. Note that at this stage smtp_accept_count contains the
304 count of *other* connections, not including this one. */
305
306 if ((max_for_this_host > 0) &&
307     (smtp_accept_count >= max_for_this_host))
308   {
309   int host_accept_count = 0;
310   int other_host_count = 0;    /* keep a count of non matches to optimise */
311
312   for (int i = 0; i < smtp_accept_max; ++i)
313     if (smtp_slots[i].host_address)
314       {
315       if (Ustrcmp(sender_host_address, smtp_slots[i].host_address) == 0)
316        host_accept_count++;
317       else
318        other_host_count++;
319
320       /* Testing all these strings is expensive - see if we can drop out
321       early, either by hitting the target, or finding there are not enough
322       connections left to make the target. */
323
324       if ((host_accept_count >= max_for_this_host) ||
325          ((smtp_accept_count - other_host_count) < max_for_this_host))
326        break;
327       }
328
329   if (host_accept_count >= max_for_this_host)
330     {
331     DEBUG(D_any) debug_printf("rejecting SMTP connection: too many from this "
332       "IP address: count=%d max=%d\n",
333       host_accept_count, max_for_this_host);
334     smtp_printf("421 Too many concurrent SMTP connections "
335       "from this IP address; please try again later.\r\n", FALSE);
336     log_write(L_connection_reject,
337               LOG_MAIN, "Connection from %s refused: too many connections "
338       "from that IP address", whofrom->s);
339     search_tidyup();
340     goto ERROR_RETURN;
341     }
342   }
343
344 /* OK, the connection count checks have been passed. Before we can fork the
345 accepting process, we must first log the connection if requested. This logging
346 used to happen in the subprocess, but doing that means that the value of
347 smtp_accept_count can be out of step by the time it is logged. So we have to do
348 the logging here and accept the performance cost. Note that smtp_accept_count
349 hasn't yet been incremented to take account of this connection.
350
351 In order to minimize the cost (because this is going to happen for every
352 connection), do a preliminary selector test here. This saves ploughing through
353 the generalized logging code each time when the selector is false. If the
354 selector is set, check whether the host is on the list for logging. If not,
355 arrange to unset the selector in the subprocess. */
356
357 if (LOGGING(smtp_connection))
358   {
359   uschar *list = hosts_connection_nolog;
360   memset(sender_host_cache, 0, sizeof(sender_host_cache));
361   if (list != NULL && verify_check_host(&list) == OK)
362     save_log_selector &= ~L_smtp_connection;
363   else
364     log_write(L_smtp_connection, LOG_MAIN, "SMTP connection from %s "
365       "(TCP/IP connection count = %d)", whofrom->s, smtp_accept_count + 1);
366   }
367
368 /* Now we can fork the accepting process; do a lookup tidy, just in case any
369 expansion above did a lookup. */
370
371 search_tidyup();
372 pid = exim_fork(US"daemon-accept");
373
374 /* Handle the child process */
375
376 if (pid == 0)
377   {
378   int queue_only_reason = 0;
379   int old_pool = store_pool;
380   int save_debug_selector = debug_selector;
381   BOOL local_queue_only;
382   BOOL session_local_queue_only;
383   #ifdef SA_NOCLDWAIT
384   struct sigaction act;
385   #endif
386
387   smtp_accept_count++;    /* So that it includes this process */
388
389   /* May have been modified for the subprocess */
390
391   *log_selector = save_log_selector;
392
393   /* Get the local interface address into permanent store */
394
395   store_pool = POOL_PERM;
396   interface_address = string_copy(interface_address);
397   store_pool = old_pool;
398
399   /* Check for a tls-on-connect port */
400
401   if (host_is_tls_on_connect_port(interface_port)) tls_in.on_connect = TRUE;
402
403   /* Expand smtp_active_hostname if required. We do not do this any earlier,
404   because it may depend on the local interface address (indeed, that is most
405   likely what it depends on.) */
406
407   smtp_active_hostname = primary_hostname;
408   if (raw_active_hostname)
409     {
410     uschar * nah = expand_string(raw_active_hostname);
411     if (!nah)
412       {
413       if (!f.expand_string_forcedfail)
414         {
415         log_write(0, LOG_MAIN|LOG_PANIC, "failed to expand \"%s\" "
416           "(smtp_active_hostname): %s", raw_active_hostname,
417           expand_string_message);
418         smtp_printf("421 Local configuration error; "
419           "please try again later.\r\n", FALSE);
420         mac_smtp_fflush();
421         search_tidyup();
422         exim_underbar_exit(EXIT_FAILURE);
423         }
424       }
425     else if (*nah) smtp_active_hostname = nah;
426     }
427
428   /* Initialize the queueing flags */
429
430   queue_check_only();
431   session_local_queue_only = queue_only;
432
433   /* Close the listening sockets, and set the SIGCHLD handler to SIG_IGN.
434   We also attempt to set things up so that children are automatically reaped,
435   but just in case this isn't available, there's a paranoid waitpid() in the
436   loop too (except for systems where we are sure it isn't needed). See the more
437   extensive comment before the reception loop in exim.c for a fuller
438   explanation of this logic. */
439
440   close_daemon_sockets(daemon_notifier_fd, listen_sockets, listen_socket_count);
441
442   /* Set FD_CLOEXEC on the SMTP socket. We don't want any rogue child processes
443   to be able to communicate with them, under any circumstances. */
444   (void)fcntl(accept_socket, F_SETFD,
445               fcntl(accept_socket, F_GETFD) | FD_CLOEXEC);
446   (void)fcntl(dup_accept_socket, F_SETFD,
447               fcntl(dup_accept_socket, F_GETFD) | FD_CLOEXEC);
448
449   #ifdef SA_NOCLDWAIT
450   act.sa_handler = SIG_IGN;
451   sigemptyset(&(act.sa_mask));
452   act.sa_flags = SA_NOCLDWAIT;
453   sigaction(SIGCHLD, &act, NULL);
454   #else
455   signal(SIGCHLD, SIG_IGN);
456   #endif
457   signal(SIGTERM, SIG_DFL);
458
459   /* Attempt to get an id from the sending machine via the RFC 1413
460   protocol. We do this in the sub-process in order not to hold up the
461   main process if there is any delay. Then set up the fullhost information
462   in case there is no HELO/EHLO.
463
464   If debugging is enabled only for the daemon, we must turn if off while
465   finding the id, but turn it on again afterwards so that information about the
466   incoming connection is output. */
467
468   if (f.debug_daemon) debug_selector = 0;
469   verify_get_ident(IDENT_PORT);
470   host_build_sender_fullhost();
471   debug_selector = save_debug_selector;
472
473   DEBUG(D_any)
474     debug_printf("Process %d is handling incoming connection from %s\n",
475       (int)getpid(), sender_fullhost);
476
477   /* Now disable debugging permanently if it's required only for the daemon
478   process. */
479
480   if (f.debug_daemon) debug_selector = 0;
481
482   /* If there are too many child processes for immediate delivery,
483   set the session_local_queue_only flag, which is initialized from the
484   configured value and may therefore already be TRUE. Leave logging
485   till later so it will have a message id attached. Note that there is no
486   possibility of re-calculating this per-message, because the value of
487   smtp_accept_count does not change in this subprocess. */
488
489   if (smtp_accept_queue > 0 && smtp_accept_count > smtp_accept_queue)
490     {
491     session_local_queue_only = TRUE;
492     queue_only_reason = 1;
493     }
494
495   /* Handle the start of the SMTP session, then loop, accepting incoming
496   messages from the SMTP connection. The end will come at the QUIT command,
497   when smtp_setup_msg() returns 0. A break in the connection causes the
498   process to die (see accept.c).
499
500   NOTE: We do *not* call smtp_log_no_mail() if smtp_start_session() fails,
501   because a log line has already been written for all its failure exists
502   (usually "connection refused: <reason>") and writing another one is
503   unnecessary clutter. */
504
505   if (!smtp_start_session())
506     {
507     mac_smtp_fflush();
508     search_tidyup();
509     exim_underbar_exit(EXIT_SUCCESS);
510     }
511
512   for (;;)
513     {
514     int rc;
515     message_id[0] = 0;            /* Clear out any previous message_id */
516     reset_point = store_mark();   /* Save current store high water point */
517
518     DEBUG(D_any)
519       debug_printf("Process %d is ready for new message\n", (int)getpid());
520
521     /* Smtp_setup_msg() returns 0 on QUIT or if the call is from an
522     unacceptable host or if an ACL "drop" command was triggered, -1 on
523     connection lost, and +1 on validly reaching DATA. Receive_msg() almost
524     always returns TRUE when smtp_input is true; just retry if no message was
525     accepted (can happen for invalid message parameters). However, it can yield
526     FALSE if the connection was forcibly dropped by the DATA ACL. */
527
528     if ((rc = smtp_setup_msg()) > 0)
529       {
530       BOOL ok = receive_msg(FALSE);
531       search_tidyup();                    /* Close cached databases */
532       if (!ok)                            /* Connection was dropped */
533         {
534         cancel_cutthrough_connection(TRUE, US"receive dropped");
535         mac_smtp_fflush();
536         smtp_log_no_mail();               /* Log no mail if configured */
537         exim_underbar_exit(EXIT_SUCCESS);
538         }
539       if (message_id[0] == 0) continue;   /* No message was accepted */
540       }
541     else
542       {
543       if (smtp_out)
544         {
545         int fd = fileno(smtp_in);
546         uschar buf[128];
547
548         mac_smtp_fflush();
549         /* drain socket, for clean TCP FINs */
550         if (fcntl(fd, F_SETFL, O_NONBLOCK) == 0)
551           for(int i = 16; read(fd, buf, sizeof(buf)) > 0 && i > 0; ) i--;
552         }
553       cancel_cutthrough_connection(TRUE, US"message setup dropped");
554       search_tidyup();
555       smtp_log_no_mail();                 /* Log no mail if configured */
556
557       /*XXX should we pause briefly, hoping that the client will be the
558       active TCP closer hence get the TCP_WAIT endpoint? */
559       DEBUG(D_receive) debug_printf("SMTP>>(close on process exit)\n");
560       exim_underbar_exit(rc ? EXIT_FAILURE : EXIT_SUCCESS);
561       }
562
563     /* Show the recipients when debugging */
564
565     DEBUG(D_receive)
566       {
567       if (sender_address)
568         debug_printf("Sender: %s\n", sender_address);
569       if (recipients_list)
570         {
571         debug_printf("Recipients:\n");
572         for (int i = 0; i < recipients_count; i++)
573           debug_printf("  %s\n", recipients_list[i].address);
574         }
575       }
576
577     /* A message has been accepted. Clean up any previous delivery processes
578     that have completed and are defunct, on systems where they don't go away
579     by themselves (see comments when setting SIG_IGN above). On such systems
580     (if any) these delivery processes hang around after termination until
581     the next message is received. */
582
583     #ifndef SIG_IGN_WORKS
584     while (waitpid(-1, NULL, WNOHANG) > 0);
585     #endif
586
587     /* Reclaim up the store used in accepting this message */
588
589       {
590       int r = receive_messagecount;
591       BOOL q = f.queue_only_policy;
592       smtp_reset(reset_point);
593       reset_point = NULL;
594       f.queue_only_policy = q;
595       receive_messagecount = r;
596       }
597
598     /* If queue_only is set or if there are too many incoming connections in
599     existence, session_local_queue_only will be TRUE. If it is not, check
600     whether we have received too many messages in this session for immediate
601     delivery. */
602
603     if (!session_local_queue_only &&
604         smtp_accept_queue_per_connection > 0 &&
605         receive_messagecount > smtp_accept_queue_per_connection)
606       {
607       session_local_queue_only = TRUE;
608       queue_only_reason = 2;
609       }
610
611     /* Initialize local_queue_only from session_local_queue_only. If it is not
612     true, and queue_only_load is set, check that the load average is below it.
613     If local_queue_only is set by this means, we also set if for the session if
614     queue_only_load_latch is true (the default). This means that, once set,
615     local_queue_only remains set for any subsequent messages on the same SMTP
616     connection. This is a deliberate choice; even though the load average may
617     fall, it doesn't seem right to deliver later messages on the same call when
618     not delivering earlier ones. However, the are special circumstances such as
619     very long-lived connections from scanning appliances where this is not the
620     best strategy. In such cases, queue_only_load_latch should be set false. */
621
622     if (  !(local_queue_only = session_local_queue_only)
623        && queue_only_load >= 0
624        && (local_queue_only = (load_average = OS_GETLOADAVG()) > queue_only_load)
625        )
626       {
627       queue_only_reason = 3;
628       if (queue_only_load_latch) session_local_queue_only = TRUE;
629       }
630
631     /* Log the queueing here, when it will get a message id attached, but
632     not if queue_only is set (case 0). */
633
634     if (local_queue_only) switch(queue_only_reason)
635       {
636       case 1: log_write(L_delay_delivery,
637                 LOG_MAIN, "no immediate delivery: too many connections "
638                 "(%d, max %d)", smtp_accept_count, smtp_accept_queue);
639               break;
640
641       case 2: log_write(L_delay_delivery,
642                 LOG_MAIN, "no immediate delivery: more than %d messages "
643                 "received in one connection", smtp_accept_queue_per_connection);
644               break;
645
646       case 3: log_write(L_delay_delivery,
647                 LOG_MAIN, "no immediate delivery: load average %.2f",
648                 (double)load_average/1000.0);
649               break;
650       }
651
652     /* If a delivery attempt is required, spin off a new process to handle it.
653     If we are not root, we have to re-exec exim unless deliveries are being
654     done unprivileged. */
655
656     else if (  (!f.queue_only_policy || f.queue_smtp)
657             && !f.deliver_freeze)
658       {
659       pid_t dpid;
660
661       /* Before forking, ensure that the C output buffer is flushed. Otherwise
662       anything that it in it will get duplicated, leading to duplicate copies
663       of the pending output. */
664
665       mac_smtp_fflush();
666
667       if ((dpid = exim_fork(US"daemon-accept-delivery")) == 0)
668         {
669         (void)fclose(smtp_in);
670         (void)fclose(smtp_out);
671
672         /* Don't ever molest the parent's SSL connection, but do clean up
673         the data structures if necessary. */
674
675 #ifndef DISABLE_TLS
676         tls_close(NULL, TLS_NO_SHUTDOWN);
677 #endif
678
679         /* Reset SIGHUP and SIGCHLD in the child in both cases. */
680
681         signal(SIGHUP,  SIG_DFL);
682         signal(SIGCHLD, SIG_DFL);
683         signal(SIGTERM, SIG_DFL);
684
685         if (geteuid() != root_uid && !deliver_drop_privilege)
686           {
687           signal(SIGALRM, SIG_DFL);
688           delivery_re_exec(CEE_EXEC_PANIC);
689           /* Control does not return here. */
690           }
691
692         /* No need to re-exec; SIGALRM remains set to the default handler */
693
694         (void) deliver_message(message_id, FALSE, FALSE);
695         search_tidyup();
696         exim_underbar_exit(EXIT_SUCCESS);
697         }
698
699       if (dpid > 0)
700         {
701         release_cutthrough_connection(US"passed for delivery");
702         DEBUG(D_any) debug_printf("forked delivery process %d\n", (int)dpid);
703         }
704       else
705         {
706         cancel_cutthrough_connection(TRUE, US"delivery fork failed");
707         log_write(0, LOG_MAIN|LOG_PANIC, "daemon: delivery process fork "
708           "failed: %s", strerror(errno));
709         }
710       }
711     }
712   }
713
714
715 /* Carrying on in the parent daemon process... Can't do much if the fork
716 failed. Otherwise, keep count of the number of accepting processes and
717 remember the pid for ticking off when the child completes. */
718
719 if (pid < 0)
720   never_error(US"daemon: accept process fork failed", US"Fork failed", errno);
721 else
722   {
723   for (int i = 0; i < smtp_accept_max; ++i)
724     if (smtp_slots[i].pid <= 0)
725       {
726       smtp_slots[i].pid = pid;
727       /* Connection closes come asyncronously, so we cannot stack this store */
728       if (smtp_accept_max_per_host)
729         smtp_slots[i].host_address = string_copy_malloc(sender_host_address);
730       smtp_accept_count++;
731       break;
732       }
733   DEBUG(D_any) debug_printf("%d SMTP accept process%s running\n",
734     smtp_accept_count, smtp_accept_count == 1 ? "" : "es");
735   }
736
737 /* Get here via goto in error cases */
738
739 ERROR_RETURN:
740
741 /* Close the streams associated with the socket which will also close the
742 socket fds in this process. We can't do anything if fclose() fails, but
743 logging brings it to someone's attention. However, "connection reset by peer"
744 isn't really a problem, so skip that one. On Solaris, a dropped connection can
745 manifest itself as a broken pipe, so drop that one too. If the streams don't
746 exist, something went wrong while setting things up. Make sure the socket
747 descriptors are closed, in order to drop the connection. */
748
749 if (smtp_out)
750   {
751   if (fclose(smtp_out) != 0 && errno != ECONNRESET && errno != EPIPE)
752     log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fclose(smtp_out) failed: %s",
753       strerror(errno));
754   smtp_out = NULL;
755   }
756 else (void)close(accept_socket);
757
758 if (smtp_in)
759   {
760   if (fclose(smtp_in) != 0 && errno != ECONNRESET && errno != EPIPE)
761     log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fclose(smtp_in) failed: %s",
762       strerror(errno));
763   smtp_in = NULL;
764   }
765 else (void)close(dup_accept_socket);
766
767 /* Release any store used in this process, including the store used for holding
768 the incoming host address and an expanded active_hostname. */
769
770 log_close_all();
771 interface_address =
772 sender_host_address = NULL;
773 store_reset(reset_point);
774 sender_host_address = NULL;
775 }
776
777
778
779
780 /*************************************************
781 *       Check wildcard listen special cases      *
782 *************************************************/
783
784 /* This function is used when binding and listening on lists of addresses and
785 ports. It tests for special cases of wildcard listening, when IPv4 and IPv6
786 sockets may interact in different ways in different operating systems. It is
787 passed an error number, the list of listening addresses, and the current
788 address. Two checks are available: for a previous wildcard IPv6 address, or for
789 a following wildcard IPv4 address, in both cases on the same port.
790
791 In practice, pairs of wildcard addresses should be adjacent in the address list
792 because they are sorted that way below.
793
794 Arguments:
795   eno            the error number
796   addresses      the list of addresses
797   ipa            the current IP address
798   back           if TRUE, check for previous wildcard IPv6 address
799                  if FALSE, check for a following wildcard IPv4 address
800
801 Returns:         TRUE or FALSE
802 */
803
804 static BOOL
805 check_special_case(int eno, ip_address_item *addresses, ip_address_item *ipa,
806   BOOL back)
807 {
808 ip_address_item *ipa2;
809
810 /* For the "back" case, if the failure was "address in use" for a wildcard IPv4
811 address, seek a previous IPv6 wildcard address on the same port. As it is
812 previous, it must have been successfully bound and be listening. Flag it as a
813 "6 including 4" listener. */
814
815 if (back)
816   {
817   if (eno != EADDRINUSE || ipa->address[0] != 0) return FALSE;
818   for (ipa2 = addresses; ipa2 != ipa; ipa2 = ipa2->next)
819     {
820     if (ipa2->address[1] == 0 && ipa2->port == ipa->port)
821       {
822       ipa2->v6_include_v4 = TRUE;
823       return TRUE;
824       }
825     }
826   }
827
828 /* For the "forward" case, if the current address is a wildcard IPv6 address,
829 we seek a following wildcard IPv4 address on the same port. */
830
831 else
832   {
833   if (ipa->address[0] != ':' || ipa->address[1] != 0) return FALSE;
834   for (ipa2 = ipa->next; ipa2 != NULL; ipa2 = ipa2->next)
835     if (ipa2->address[0] == 0 && ipa->port == ipa2->port) return TRUE;
836   }
837
838 return FALSE;
839 }
840
841
842
843
844 /*************************************************
845 *         Handle terminating subprocesses        *
846 *************************************************/
847
848 /* Handle the termination of child processes. Theoretically, this need be done
849 only when sigchld_seen is TRUE, but rumour has it that some systems lose
850 SIGCHLD signals at busy times, so to be on the safe side, this function is
851 called each time round. It shouldn't be too expensive.
852
853 Arguments:  none
854 Returns:    nothing
855 */
856
857 static void
858 handle_ending_processes(void)
859 {
860 int status;
861 pid_t pid;
862
863 while ((pid = waitpid(-1, &status, WNOHANG)) > 0)
864   {
865   DEBUG(D_any)
866     {
867     debug_printf("child %d ended: status=0x%x\n", (int)pid, status);
868 #ifdef WCOREDUMP
869     if (WIFEXITED(status))
870       debug_printf("  normal exit, %d\n", WEXITSTATUS(status));
871     else if (WIFSIGNALED(status))
872       debug_printf("  signal exit, signal %d%s\n", WTERMSIG(status),
873           WCOREDUMP(status) ? " (core dumped)" : "");
874 #endif
875     }
876
877   /* If it's a listening daemon for which we are keeping track of individual
878   subprocesses, deal with an accepting process that has terminated. */
879
880   if (smtp_slots)
881     {
882     int i;
883     for (i = 0; i < smtp_accept_max; i++)
884       if (smtp_slots[i].pid == pid)
885         {
886         if (smtp_slots[i].host_address)
887           store_free(smtp_slots[i].host_address);
888         smtp_slots[i] = empty_smtp_slot;
889         if (--smtp_accept_count < 0) smtp_accept_count = 0;
890         DEBUG(D_any) debug_printf("%d SMTP accept process%s now running\n",
891           smtp_accept_count, (smtp_accept_count == 1)? "" : "es");
892         break;
893         }
894     if (i < smtp_accept_max) continue;  /* Found an accepting process */
895     }
896
897   /* If it wasn't an accepting process, see if it was a queue-runner
898   process that we are tracking. */
899
900   if (queue_pid_slots)
901     {
902     int max = atoi(CS expand_string(queue_run_max));
903     for (int i = 0; i < max; i++)
904       if (queue_pid_slots[i] == pid)
905         {
906         queue_pid_slots[i] = 0;
907         if (--queue_run_count < 0) queue_run_count = 0;
908         DEBUG(D_any) debug_printf("%d queue-runner process%s now running\n",
909           queue_run_count, (queue_run_count == 1)? "" : "es");
910         break;
911         }
912     }
913   }
914 }
915
916
917
918 static void
919 set_pid_file_path(void)
920 {
921 if (override_pid_file_path)
922   pid_file_path = override_pid_file_path;
923
924 if (!*pid_file_path)
925   pid_file_path = string_sprintf("%s/exim-daemon.pid", spool_directory);
926 }
927
928
929 /* Remove the daemon's pidfile.  Note: runs with root privilege,
930 as a direct child of the daemon.  Does not return. */
931
932 void
933 delete_pid_file(void)
934 {
935 uschar * daemon_pid = string_sprintf("%d\n", (int)getppid());
936 FILE * f;
937
938 set_pid_file_path();
939 if ((f = Ufopen(pid_file_path, "rb")))
940   {
941   if (  fgets(CS big_buffer, big_buffer_size, f)
942         && Ustrcmp(daemon_pid, big_buffer) == 0
943      )
944     if (Uunlink(pid_file_path) == 0)
945       {
946       DEBUG(D_any)
947         debug_printf("%s unlink: %s\n", pid_file_path, strerror(errno));
948       }
949     else
950       DEBUG(D_any)
951         debug_printf("unlinked %s\n", pid_file_path);
952   fclose(f);
953   }
954 else
955   DEBUG(D_any)
956     debug_printf("%s\n", string_open_failed(errno, "pid file %s",
957       pid_file_path));
958 exim_exit(EXIT_SUCCESS);
959 }
960
961
962 /* Called by the daemon; exec a child to get the pid file deleted
963 since we may require privs for the containing directory */
964
965 static void
966 daemon_die(void)
967 {
968 int pid;
969
970 if (daemon_notifier_fd >= 0)
971   {
972   close(daemon_notifier_fd);
973   daemon_notifier_fd = -1;
974 #ifndef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
975     {
976     uschar * s = expand_string(notifier_socket);
977     DEBUG(D_any) debug_printf("unlinking notifier socket %s\n", s);
978     Uunlink(s);
979     }
980 #endif
981   }
982
983 if (f.running_in_test_harness || write_pid)
984   {
985   if ((pid = exim_fork(US"daemon-del-pidfile")) == 0)
986     {
987     if (override_pid_file_path)
988       (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, 3,
989         "-oP", override_pid_file_path, "-oPX");
990     else
991       (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, 1, "-oPX");
992
993     /* Control never returns here. */
994     }
995   if (pid > 0)
996     child_close(pid, 1);
997   }
998 exim_exit(EXIT_SUCCESS);
999 }
1000
1001
1002 /*************************************************
1003 *       Listener socket for local work prompts   *
1004 *************************************************/
1005
1006 static void
1007 daemon_notifier_socket(void)
1008 {
1009 int fd;
1010 const uschar * where;
1011 struct sockaddr_un sa_un = {.sun_family = AF_UNIX};
1012 int len;
1013
1014 if (override_local_interfaces && !override_pid_file_path)
1015   {
1016   DEBUG(D_any)
1017     debug_printf("-oX used without -oP so not creating notifier socket\n");
1018   return;
1019   }
1020
1021 DEBUG(D_any) debug_printf("creating notifier socket\n");
1022
1023 #ifdef SOCK_CLOEXEC
1024 if ((fd = socket(PF_UNIX, SOCK_DGRAM|SOCK_CLOEXEC, 0)) < 0)
1025   { where = US"socket"; goto bad; }
1026 #else
1027 if ((fd = socket(PF_UNIX, SOCK_DGRAM, 0)) < 0)
1028   { where = US"socket"; goto bad; }
1029 (void)fcntl(fd, F_SETFD, fcntl(fd, F_GETFD) | FD_CLOEXEC);
1030 #endif
1031
1032 #ifdef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
1033 sa_un.sun_path[0] = 0;  /* Abstract local socket addr - Linux-specific? */
1034 len = offsetof(struct sockaddr_un, sun_path) + 1
1035   + snprintf(sa_un.sun_path+1, sizeof(sa_un.sun_path)-1, "%s",
1036               expand_string(notifier_socket));
1037 DEBUG(D_any) debug_printf(" @%s\n", sa_un.sun_path+1);
1038 #else                   /* filesystem-visible and persistent; will neeed removal */
1039 len = offsetof(struct sockaddr_un, sun_path)
1040   + snprintf(sa_un.sun_path, sizeof(sa_un.sun_path), "%s", 
1041               expand_string(notifier_socket));
1042 DEBUG(D_any) debug_printf(" %s\n", sa_un.sun_path);
1043 #endif
1044
1045 if (bind(fd, (const struct sockaddr *)&sa_un, len) < 0)
1046   { where = US"bind"; goto bad; }
1047
1048 #ifdef SO_PASSCRED              /* Linux */
1049 if (setsockopt(fd, SOL_SOCKET, SO_PASSCRED, &on, sizeof(on)) < 0)
1050   { where = US"SO_PASSCRED"; goto bad2; }
1051 #elif defined(LOCAL_CREDS)      /* FreeBSD-ish */
1052 if (setsockopt(fd, 0, LOCAL_CREDS, &on, sizeof(on)) < 0)
1053   { where = US"LOCAL_CREDS"; goto bad2; }
1054 #endif
1055
1056 /* debug_printf("%s: fd %d\n", __FUNCTION__, fd); */
1057 daemon_notifier_fd = fd;
1058 return;
1059
1060 bad2:
1061 #ifndef EXIM_HAVE_ABSTRACT_UNIX_SOCKETS
1062   Uunlink(sa_un.sun_path);
1063 #endif
1064 bad:
1065   log_write(0, LOG_MAIN|LOG_PANIC, "%s %s: %s",
1066     __FUNCTION__, where, strerror(errno));
1067   close(fd);
1068   return;
1069 }
1070
1071
1072 static uschar queuerun_msgid[MESSAGE_ID_LENGTH+1];
1073
1074 /* Return TRUE if a sigalrm should be emulated */
1075 static BOOL
1076 daemon_notification(void)
1077 {
1078 uschar buf[256], cbuf[256];
1079 struct sockaddr_un sa_un;
1080 struct iovec iov = {.iov_base = buf, .iov_len = sizeof(buf)-1};
1081 struct msghdr msg = { .msg_name = &sa_un,
1082                       .msg_namelen = sizeof(sa_un),
1083                       .msg_iov = &iov,
1084                       .msg_iovlen = 1,
1085                       .msg_control = cbuf,
1086                       .msg_controllen = sizeof(cbuf)
1087                     };
1088 ssize_t sz;
1089
1090 buf[sizeof(buf)-1] = 0;
1091 if ((sz = recvmsg(daemon_notifier_fd, &msg, 0)) <= 0) return FALSE;
1092 if (sz >= sizeof(buf)) return FALSE;
1093
1094 #ifdef notdef
1095 debug_printf("addrlen %d\n", msg.msg_namelen);
1096 #endif
1097 DEBUG(D_queue_run) debug_printf("%s from addr '%s%.*s'\n", __FUNCTION__,
1098   *sa_un.sun_path ? "" : "@",
1099   (int)msg.msg_namelen - (*sa_un.sun_path ? 0 : 1),
1100   sa_un.sun_path + (*sa_un.sun_path ? 0 : 1));
1101
1102 /* Refuse to handle the item unless the peer has good credentials */
1103 #ifdef SCM_CREDENTIALS
1104 # define EXIM_SCM_CR_TYPE SCM_CREDENTIALS
1105 #elif defined(LOCAL_CREDS) && defined(SCM_CREDS)
1106 # define EXIM_SCM_CR_TYPE SCM_CREDS
1107 #else
1108         /* The OS has no way to get the creds of the caller (for a unix/datagram socket.
1109         Punt; don't try to check. */
1110 #endif
1111
1112 #ifdef EXIM_SCM_CR_TYPE
1113 for (struct cmsghdr * cp = CMSG_FIRSTHDR(&msg);
1114      cp;
1115      cp = CMSG_NXTHDR(&msg, cp))
1116   if (cp->cmsg_level == SOL_SOCKET && cp->cmsg_type == EXIM_SCM_CR_TYPE)
1117   {
1118 # ifdef SCM_CREDENTIALS                                 /* Linux */
1119   struct ucred * cr = (struct ucred *) CMSG_DATA(cp);
1120   if (cr->uid && cr->uid != exim_uid)
1121     {
1122     DEBUG(D_queue_run) debug_printf("%s: sender creds pid %d uid %d gid %d\n",
1123       __FUNCTION__, (int)cr->pid, (int)cr->uid, (int)cr->gid);
1124     return FALSE;
1125     }
1126 # elif defined(LOCAL_CREDS)                             /* BSD-ish */
1127   struct sockcred * cr = (struct sockcred *) CMSG_DATA(cp);
1128   if (cr->sc_uid && cr->sc_uid != exim_uid)
1129     {
1130     DEBUG(D_queue_run) debug_printf("%s: sender creds pid ??? uid %d gid %d\n",
1131       __FUNCTION__, (int)cr->sc_uid, (int)cr->sc_gid);
1132     return FALSE;
1133     }
1134 # endif
1135   break;
1136   }
1137 #endif
1138
1139 buf[sz] = 0;
1140 switch (buf[0])
1141   {
1142 #ifdef EXPERIMENTAL_QUEUE_RAMP
1143   case NOTIFY_MSG_QRUN:
1144     /* this should be a message_id */
1145     DEBUG(D_queue_run)
1146       debug_printf("%s: qrunner trigger: %s\n", __FUNCTION__, buf+1);
1147     memcpy(queuerun_msgid, buf+1, MESSAGE_ID_LENGTH+1);
1148     return TRUE;
1149 #endif  /*EXPERIMENTAL_QUEUE_RAMP*/
1150
1151   case NOTIFY_QUEUE_SIZE_REQ:
1152     {
1153     uschar buf[16];
1154     int len = snprintf(CS buf, sizeof(buf), "%u", queue_count_cached());
1155
1156     DEBUG(D_queue_run)
1157       debug_printf("%s: queue size request: %s\n", __FUNCTION__, buf);
1158
1159     if (sendto(daemon_notifier_fd, buf, len, 0,
1160                 (const struct sockaddr *)&sa_un, msg.msg_namelen) < 0)
1161       log_write(0, LOG_MAIN|LOG_PANIC,
1162         "%s: sendto: %s\n", __FUNCTION__, strerror(errno));
1163     return FALSE;
1164     }
1165   }
1166 return FALSE;
1167 }
1168
1169
1170 /*************************************************
1171 *              Exim Daemon Mainline              *
1172 *************************************************/
1173
1174 /* The daemon can do two jobs, either of which is optional:
1175
1176 (1) Listens for incoming SMTP calls and spawns off a sub-process to handle
1177 each one. This is requested by the -bd option, with -oX specifying the SMTP
1178 port on which to listen (for testing).
1179
1180 (2) Spawns a queue-running process every so often. This is controlled by the
1181 -q option with a an interval time. (If no time is given, a single queue run
1182 is done from the main function, and control doesn't get here.)
1183
1184 Root privilege is required in order to attach to port 25. Some systems require
1185 it when calling socket() rather than bind(). To cope with all cases, we run as
1186 root for both socket() and bind(). Some systems also require root in order to
1187 write to the pid file directory. This function must therefore be called as root
1188 if it is to work properly in all circumstances. Once the socket is bound and
1189 the pid file written, root privilege is given up if there is an exim uid.
1190
1191 There are no arguments to this function, and it never returns. */
1192
1193 void
1194 daemon_go(void)
1195 {
1196 struct passwd *pw;
1197 int *listen_sockets = NULL;
1198 int listen_socket_count = 0;
1199 ip_address_item *addresses = NULL;
1200 time_t last_connection_time = (time_t)0;
1201 int local_queue_run_max = atoi(CS expand_string(queue_run_max));
1202
1203 process_purpose = US"daemon";
1204
1205 /* If any debugging options are set, turn on the D_pid bit so that all
1206 debugging lines get the pid added. */
1207
1208 DEBUG(D_any|D_v) debug_selector |= D_pid;
1209
1210 if (f.inetd_wait_mode)
1211   {
1212   listen_socket_count = 1;
1213   listen_sockets = store_get(sizeof(int), FALSE);
1214   (void) close(3);
1215   if (dup2(0, 3) == -1)
1216     log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1217         "failed to dup inetd socket safely away: %s", strerror(errno));
1218
1219   listen_sockets[0] = 3;
1220   (void) close(0);
1221   (void) close(1);
1222   (void) close(2);
1223   exim_nullstd();
1224
1225   if (debug_file == stderr)
1226     {
1227     /* need a call to log_write before call to open debug_file, so that
1228     log.c:file_path has been initialised.  This is unfortunate. */
1229     log_write(0, LOG_MAIN, "debugging Exim in inetd wait mode starting");
1230
1231     fclose(debug_file);
1232     debug_file = NULL;
1233     exim_nullstd(); /* re-open fd2 after we just closed it again */
1234     debug_logging_activate(US"-wait", NULL);
1235     }
1236
1237   DEBUG(D_any) debug_printf("running in inetd wait mode\n");
1238
1239   /* As per below, when creating sockets ourselves, we handle tcp_nodelay for
1240   our own buffering; we assume though that inetd set the socket REUSEADDR. */
1241
1242   if (tcp_nodelay)
1243     if (setsockopt(3, IPPROTO_TCP, TCP_NODELAY, US &on, sizeof(on)))
1244       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to set socket NODELAY: %s",
1245         strerror(errno));
1246   }
1247
1248
1249 if (f.inetd_wait_mode || f.daemon_listen)
1250   {
1251   /* If any option requiring a load average to be available during the
1252   reception of a message is set, call os_getloadavg() while we are root
1253   for those OS for which this is necessary the first time it is called (in
1254   order to perform an "open" on the kernel memory file). */
1255
1256   #ifdef LOAD_AVG_NEEDS_ROOT
1257   if (queue_only_load >= 0 || smtp_load_reserve >= 0 ||
1258        (deliver_queue_load_max >= 0 && deliver_drop_privilege))
1259     (void)os_getloadavg();
1260   #endif
1261   }
1262
1263
1264 /* Do the preparation for setting up a listener on one or more interfaces, and
1265 possible on various ports. This is controlled by the combination of
1266 local_interfaces (which can set IP addresses and ports) and daemon_smtp_port
1267 (which is a list of default ports to use for those items in local_interfaces
1268 that do not specify a port). The -oX command line option can be used to
1269 override one or both of these options.
1270
1271 If local_interfaces is not set, the default is to listen on all interfaces.
1272 When it is set, it can include "all IPvx interfaces" as an item. This is useful
1273 when different ports are in use.
1274
1275 It turns out that listening on all interfaces is messy in an IPv6 world,
1276 because several different implementation approaches have been taken. This code
1277 is now supposed to work with all of them. The point of difference is whether an
1278 IPv6 socket that is listening on all interfaces will receive incoming IPv4
1279 calls or not. We also have to cope with the case when IPv6 libraries exist, but
1280 there is no IPv6 support in the kernel.
1281
1282 . On Solaris, an IPv6 socket will accept IPv4 calls, and give them as mapped
1283   addresses. However, if an IPv4 socket is also listening on all interfaces,
1284   calls are directed to the appropriate socket.
1285
1286 . On (some versions of) Linux, an IPv6 socket will accept IPv4 calls, and
1287   give them as mapped addresses, but an attempt also to listen on an IPv4
1288   socket on all interfaces causes an error.
1289
1290 . On OpenBSD, an IPv6 socket will not accept IPv4 calls. You have to set up
1291   two sockets if you want to accept both kinds of call.
1292
1293 . FreeBSD is like OpenBSD, but it has the IPV6_V6ONLY socket option, which
1294   can be turned off, to make it behave like the versions of Linux described
1295   above.
1296
1297 . I heard a report that the USAGI IPv6 stack for Linux has implemented
1298   IPV6_V6ONLY.
1299
1300 So, what we do when IPv6 is supported is as follows:
1301
1302  (1) After it is set up, the list of interfaces is scanned for wildcard
1303      addresses. If an IPv6 and an IPv4 wildcard are both found for the same
1304      port, the list is re-arranged so that they are together, with the IPv6
1305      wildcard first.
1306
1307  (2) If the creation of a wildcard IPv6 socket fails, we just log the error and
1308      carry on if an IPv4 wildcard socket for the same port follows later in the
1309      list. This allows Exim to carry on in the case when the kernel has no IPv6
1310      support.
1311
1312  (3) Having created an IPv6 wildcard socket, we try to set IPV6_V6ONLY if that
1313      option is defined. However, if setting fails, carry on regardless (but log
1314      the incident).
1315
1316  (4) If binding or listening on an IPv6 wildcard socket fails, it is a serious
1317      error.
1318
1319  (5) If binding or listening on an IPv4 wildcard socket fails with the error
1320      EADDRINUSE, and a previous interface was an IPv6 wildcard for the same
1321      port (which must have succeeded or we wouldn't have got this far), we
1322      assume we are in the situation where just a single socket is permitted,
1323      and ignore the error.
1324
1325 Phew!
1326
1327 The preparation code decodes options and sets up the relevant data. We do this
1328 first, so that we can return non-zero if there are any syntax errors, and also
1329 write to stderr. */
1330
1331 if (f.daemon_listen && !f.inetd_wait_mode)
1332   {
1333   int *default_smtp_port;
1334   int sep;
1335   int pct = 0;
1336   uschar *s;
1337   const uschar * list;
1338   uschar *local_iface_source = US"local_interfaces";
1339   ip_address_item *ipa;
1340   ip_address_item **pipa;
1341
1342   /* If -oX was used, disable the writing of a pid file unless -oP was
1343   explicitly used to force it. Then scan the string given to -oX. Any items
1344   that contain neither a dot nor a colon are used to override daemon_smtp_port.
1345   Any other items are used to override local_interfaces. */
1346
1347   if (override_local_interfaces)
1348     {
1349     gstring * new_smtp_port = NULL;
1350     gstring * new_local_interfaces = NULL;
1351
1352     if (!override_pid_file_path) write_pid = FALSE;
1353
1354     list = override_local_interfaces;
1355     sep = 0;
1356     while ((s = string_nextinlist(&list, &sep, NULL, 0)))
1357       {
1358       uschar joinstr[4];
1359       gstring ** gp = Ustrpbrk(s, ".:") ? &new_local_interfaces : &new_smtp_port;
1360
1361       if (!*gp)
1362         {
1363         joinstr[0] = sep;
1364         joinstr[1] = ' ';
1365         *gp = string_catn(*gp, US"<", 1);
1366         }
1367
1368       *gp = string_catn(*gp, joinstr, 2);
1369       *gp = string_cat (*gp, s);
1370       }
1371
1372     if (new_smtp_port)
1373       {
1374       daemon_smtp_port = string_from_gstring(new_smtp_port);
1375       DEBUG(D_any) debug_printf("daemon_smtp_port overridden by -oX:\n  %s\n",
1376         daemon_smtp_port);
1377       }
1378
1379     if (new_local_interfaces)
1380       {
1381       local_interfaces = string_from_gstring(new_local_interfaces);
1382       local_iface_source = US"-oX data";
1383       DEBUG(D_any) debug_printf("local_interfaces overridden by -oX:\n  %s\n",
1384         local_interfaces);
1385       }
1386     }
1387
1388   /* Create a list of default SMTP ports, to be used if local_interfaces
1389   contains entries without explicit ports. First count the number of ports, then
1390   build a translated list in a vector. */
1391
1392   list = daemon_smtp_port;
1393   sep = 0;
1394   while ((s = string_nextinlist(&list, &sep, NULL, 0)))
1395     pct++;
1396   default_smtp_port = store_get((pct+1) * sizeof(int), FALSE);
1397   list = daemon_smtp_port;
1398   sep = 0;
1399   for (pct = 0;
1400        (s = string_nextinlist(&list, &sep, NULL, 0));
1401        pct++)
1402     {
1403     if (isdigit(*s))
1404       {
1405       uschar *end;
1406       default_smtp_port[pct] = Ustrtol(s, &end, 0);
1407       if (end != s + Ustrlen(s))
1408         log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "invalid SMTP port: %s", s);
1409       }
1410     else
1411       {
1412       struct servent *smtp_service = getservbyname(CS s, "tcp");
1413       if (!smtp_service)
1414         log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "TCP port \"%s\" not found", s);
1415       default_smtp_port[pct] = ntohs(smtp_service->s_port);
1416       }
1417     }
1418   default_smtp_port[pct] = 0;
1419
1420   /* Check the list of TLS-on-connect ports and do name lookups if needed */
1421
1422   list = tls_in.on_connect_ports;
1423   sep = 0;
1424   while ((s = string_nextinlist(&list, &sep, big_buffer, big_buffer_size)))
1425     if (!isdigit(*s))
1426       {
1427       gstring * g = NULL;
1428
1429       list = tls_in.on_connect_ports;
1430       tls_in.on_connect_ports = NULL;
1431       sep = 0;
1432       while ((s = string_nextinlist(&list, &sep, big_buffer, big_buffer_size)))
1433         {
1434         if (!isdigit(*s))
1435           {
1436           struct servent * smtp_service = getservbyname(CS s, "tcp");
1437           if (!smtp_service)
1438             log_write(0, LOG_PANIC_DIE|LOG_CONFIG, "TCP port \"%s\" not found", s);
1439           s = string_sprintf("%d", (int)ntohs(smtp_service->s_port));
1440           }
1441         g = string_append_listele(g, ':', s);
1442         }
1443       if (g)
1444         tls_in.on_connect_ports = g->s;
1445       break;
1446       }
1447
1448   /* Create the list of local interfaces, possibly with ports included. This
1449   list may contain references to 0.0.0.0 and ::0 as wildcards. These special
1450   values are converted below. */
1451
1452   addresses = host_build_ifacelist(local_interfaces, local_iface_source);
1453
1454   /* In the list of IP addresses, convert 0.0.0.0 into an empty string, and ::0
1455   into the string ":". We use these to recognize wildcards in IPv4 and IPv6. In
1456   fact, many IP stacks recognize 0.0.0.0 and ::0 and handle them as wildcards
1457   anyway, but we need to know which are the wildcard addresses, and the shorter
1458   strings are neater.
1459
1460   In the same scan, fill in missing port numbers from the default list. When
1461   there is more than one item in the list, extra items are created. */
1462
1463   for (ipa = addresses; ipa; ipa = ipa->next)
1464     {
1465     if (Ustrcmp(ipa->address, "0.0.0.0") == 0)
1466       ipa->address[0] = 0;
1467     else if (Ustrcmp(ipa->address, "::0") == 0)
1468       {
1469       ipa->address[0] = ':';
1470       ipa->address[1] = 0;
1471       }
1472
1473     if (ipa->port > 0) continue;
1474
1475     if (daemon_smtp_port[0] <= 0)
1476       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "no port specified for interface "
1477         "%s and daemon_smtp_port is unset; cannot start daemon",
1478         ipa->address[0] == 0 ? US"\"all IPv4\"" :
1479         ipa->address[1] == 0 ? US"\"all IPv6\"" : ipa->address);
1480
1481     ipa->port = default_smtp_port[0];
1482     for (int i = 1; default_smtp_port[i] > 0; i++)
1483       {
1484       ip_address_item *new = store_get(sizeof(ip_address_item), FALSE);
1485
1486       memcpy(new->address, ipa->address, Ustrlen(ipa->address) + 1);
1487       new->port = default_smtp_port[i];
1488       new->next = ipa->next;
1489       ipa->next = new;
1490       ipa = new;
1491       }
1492     }
1493
1494   /* Scan the list of addresses for wildcards. If we find an IPv4 and an IPv6
1495   wildcard for the same port, ensure that (a) they are together and (b) the
1496   IPv6 address comes first. This makes handling the messy features easier, and
1497   also simplifies the construction of the "daemon started" log line. */
1498
1499   pipa = &addresses;
1500   for (ipa = addresses; ipa; pipa = &ipa->next, ipa = ipa->next)
1501     {
1502     ip_address_item *ipa2;
1503
1504     /* Handle an IPv4 wildcard */
1505
1506     if (ipa->address[0] == 0)
1507       for (ipa2 = ipa; ipa2->next; ipa2 = ipa2->next)
1508         {
1509         ip_address_item *ipa3 = ipa2->next;
1510         if (ipa3->address[0] == ':' &&
1511             ipa3->address[1] == 0 &&
1512             ipa3->port == ipa->port)
1513           {
1514           ipa2->next = ipa3->next;
1515           ipa3->next = ipa;
1516           *pipa = ipa3;
1517           break;
1518           }
1519         }
1520
1521     /* Handle an IPv6 wildcard. */
1522
1523     else if (ipa->address[0] == ':' && ipa->address[1] == 0)
1524       for (ipa2 = ipa; ipa2->next; ipa2 = ipa2->next)
1525         {
1526         ip_address_item *ipa3 = ipa2->next;
1527         if (ipa3->address[0] == 0 && ipa3->port == ipa->port)
1528           {
1529           ipa2->next = ipa3->next;
1530           ipa3->next = ipa->next;
1531           ipa->next = ipa3;
1532           ipa = ipa3;
1533           break;
1534           }
1535         }
1536     }
1537
1538   /* Get a vector to remember all the sockets in */
1539
1540   for (ipa = addresses; ipa; ipa = ipa->next)
1541     listen_socket_count++;
1542   listen_sockets = store_get(sizeof(int) * listen_socket_count, FALSE);
1543
1544   } /* daemon_listen but not inetd_wait_mode */
1545
1546 if (f.daemon_listen)
1547   {
1548
1549   /* Do a sanity check on the max connects value just to save us from getting
1550   a huge amount of store. */
1551
1552   if (smtp_accept_max > 4095) smtp_accept_max = 4096;
1553
1554   /* There's no point setting smtp_accept_queue unless it is less than the max
1555   connects limit. The configuration reader ensures that the max is set if the
1556   queue-only option is set. */
1557
1558   if (smtp_accept_queue > smtp_accept_max) smtp_accept_queue = 0;
1559
1560   /* Get somewhere to keep the list of SMTP accepting pids if we are keeping
1561   track of them for total number and queue/host limits. */
1562
1563   if (smtp_accept_max > 0)
1564     {
1565     smtp_slots = store_get(smtp_accept_max * sizeof(smtp_slot), FALSE);
1566     for (int i = 0; i < smtp_accept_max; i++) smtp_slots[i] = empty_smtp_slot;
1567     }
1568   }
1569
1570 /* The variable background_daemon is always false when debugging, but
1571 can also be forced false in order to keep a non-debugging daemon in the
1572 foreground. If background_daemon is true, close all open file descriptors that
1573 we know about, but then re-open stdin, stdout, and stderr to /dev/null.  Also
1574 do this for inetd_wait mode.
1575
1576 This is protection against any called functions (in libraries, or in
1577 Perl, or whatever) that think they can write to stderr (or stdout). Before this
1578 was added, it was quite likely that an SMTP connection would use one of these
1579 file descriptors, in which case writing random stuff to it caused chaos.
1580
1581 Then disconnect from the controlling terminal, Most modern Unixes seem to have
1582 setsid() for getting rid of the controlling terminal. For any OS that doesn't,
1583 setsid() can be #defined as a no-op, or as something else. */
1584
1585 if (f.background_daemon || f.inetd_wait_mode)
1586   {
1587   log_close_all();    /* Just in case anything was logged earlier */
1588   search_tidyup();    /* Just in case any were used in reading the config. */
1589   (void)close(0);           /* Get rid of stdin/stdout/stderr */
1590   (void)close(1);
1591   (void)close(2);
1592   exim_nullstd();     /* Connect stdin/stdout/stderr to /dev/null */
1593   log_stderr = NULL;  /* So no attempt to copy paniclog output */
1594   }
1595
1596 if (f.background_daemon)
1597   {
1598   /* If the parent process of this one has pid == 1, we are re-initializing the
1599   daemon as the result of a SIGHUP. In this case, there is no need to do
1600   anything, because the controlling terminal has long gone. Otherwise, fork, in
1601   case current process is a process group leader (see 'man setsid' for an
1602   explanation) before calling setsid(). */
1603
1604   if (getppid() != 1)
1605     {
1606     pid_t pid = exim_fork(US"daemon");
1607     if (pid < 0) log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1608       "fork() failed when starting daemon: %s", strerror(errno));
1609     if (pid > 0) exit(EXIT_SUCCESS);      /* in parent process, just exit */
1610     (void)setsid();                       /* release controlling terminal */
1611     }
1612   }
1613
1614 /* We are now in the disconnected, daemon process (unless debugging). Set up
1615 the listening sockets if required. */
1616
1617 daemon_notifier_socket();
1618
1619 if (f.daemon_listen && !f.inetd_wait_mode)
1620   {
1621   int sk;
1622   ip_address_item *ipa;
1623
1624   /* For each IP address, create a socket, bind it to the appropriate port, and
1625   start listening. See comments above about IPv6 sockets that may or may not
1626   accept IPv4 calls when listening on all interfaces. We also have to cope with
1627   the case of a system with IPv6 libraries, but no IPv6 support in the kernel.
1628   listening, provided a wildcard IPv4 socket for the same port follows. */
1629
1630   for (ipa = addresses, sk = 0; sk < listen_socket_count; ipa = ipa->next, sk++)
1631     {
1632     BOOL wildcard;
1633     ip_address_item *ipa2;
1634     int af;
1635
1636     if (Ustrchr(ipa->address, ':') != NULL)
1637       {
1638       af = AF_INET6;
1639       wildcard = ipa->address[1] == 0;
1640       }
1641     else
1642       {
1643       af = AF_INET;
1644       wildcard = ipa->address[0] == 0;
1645       }
1646
1647     if ((listen_sockets[sk] = ip_socket(SOCK_STREAM, af)) < 0)
1648       {
1649       if (check_special_case(0, addresses, ipa, FALSE))
1650         {
1651         log_write(0, LOG_MAIN, "Failed to create IPv6 socket for wildcard "
1652           "listening (%s): will use IPv4", strerror(errno));
1653         goto SKIP_SOCKET;
1654         }
1655       log_write(0, LOG_PANIC_DIE, "IPv%c socket creation failed: %s",
1656         (af == AF_INET6)? '6' : '4', strerror(errno));
1657       }
1658
1659     /* If this is an IPv6 wildcard socket, set IPV6_V6ONLY if that option is
1660     available. Just log failure (can get protocol not available, just like
1661     socket creation can). */
1662
1663 #ifdef IPV6_V6ONLY
1664     if (af == AF_INET6 && wildcard &&
1665         setsockopt(listen_sockets[sk], IPPROTO_IPV6, IPV6_V6ONLY, CS (&on),
1666           sizeof(on)) < 0)
1667       log_write(0, LOG_MAIN, "Setting IPV6_V6ONLY on daemon's IPv6 wildcard "
1668         "socket failed (%s): carrying on without it", strerror(errno));
1669 #endif  /* IPV6_V6ONLY */
1670
1671     /* Set SO_REUSEADDR so that the daemon can be restarted while a connection
1672     is being handled.  Without this, a connection will prevent reuse of the
1673     smtp port for listening. */
1674
1675     if (setsockopt(listen_sockets[sk], SOL_SOCKET, SO_REUSEADDR,
1676                    US (&on), sizeof(on)) < 0)
1677       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "setting SO_REUSEADDR on socket "
1678         "failed when starting daemon: %s", strerror(errno));
1679
1680     /* Set TCP_NODELAY; Exim does its own buffering. There is a switch to
1681     disable this because it breaks some broken clients. */
1682
1683     if (tcp_nodelay) setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_NODELAY,
1684       US (&on), sizeof(on));
1685
1686     /* Now bind the socket to the required port; if Exim is being restarted
1687     it may not always be possible to bind immediately, even with SO_REUSEADDR
1688     set, so try 10 times, waiting between each try. After 10 failures, we give
1689     up. In an IPv6 environment, if bind () fails with the error EADDRINUSE and
1690     we are doing wildcard IPv4 listening and there was a previous IPv6 wildcard
1691     address for the same port, ignore the error on the grounds that we must be
1692     in a system where the IPv6 socket accepts both kinds of call. This is
1693     necessary for (some release of) USAGI Linux; other IP stacks fail at the
1694     listen() stage instead. */
1695
1696 #ifdef TCP_FASTOPEN
1697     f.tcp_fastopen_ok = TRUE;
1698 #endif
1699     for(;;)
1700       {
1701       uschar *msg, *addr;
1702       if (ip_bind(listen_sockets[sk], af, ipa->address, ipa->port) >= 0) break;
1703       if (check_special_case(errno, addresses, ipa, TRUE))
1704         {
1705         DEBUG(D_any) debug_printf("wildcard IPv4 bind() failed after IPv6 "
1706           "listen() success; EADDRINUSE ignored\n");
1707         (void)close(listen_sockets[sk]);
1708         goto SKIP_SOCKET;
1709         }
1710       msg = US strerror(errno);
1711       addr = wildcard
1712         ? af == AF_INET6
1713         ? US"(any IPv6)"
1714         : US"(any IPv4)"
1715         : ipa->address;
1716       if (daemon_startup_retries <= 0)
1717         log_write(0, LOG_MAIN|LOG_PANIC_DIE,
1718           "socket bind() to port %d for address %s failed: %s: "
1719           "daemon abandoned", ipa->port, addr, msg);
1720       log_write(0, LOG_MAIN, "socket bind() to port %d for address %s "
1721         "failed: %s: waiting %s before trying again (%d more %s)",
1722         ipa->port, addr, msg, readconf_printtime(daemon_startup_sleep),
1723         daemon_startup_retries, (daemon_startup_retries > 1)? "tries" : "try");
1724       daemon_startup_retries--;
1725       sleep(daemon_startup_sleep);
1726       }
1727
1728     DEBUG(D_any)
1729       if (wildcard)
1730         debug_printf("listening on all interfaces (IPv%c) port %d\n",
1731           af == AF_INET6 ? '6' : '4', ipa->port);
1732       else
1733         debug_printf("listening on %s port %d\n", ipa->address, ipa->port);
1734
1735 #if defined(TCP_FASTOPEN) && !defined(__APPLE__)
1736     if (  f.tcp_fastopen_ok
1737        && setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_FASTOPEN,
1738                     &smtp_connect_backlog, sizeof(smtp_connect_backlog)))
1739       {
1740       DEBUG(D_any) debug_printf("setsockopt FASTOPEN: %s\n", strerror(errno));
1741       f.tcp_fastopen_ok = FALSE;
1742       }
1743 #endif
1744
1745     /* Start listening on the bound socket, establishing the maximum backlog of
1746     connections that is allowed. On success, continue to the next address. */
1747
1748     if (listen(listen_sockets[sk], smtp_connect_backlog) >= 0)
1749       {
1750 #if defined(TCP_FASTOPEN) && defined(__APPLE__)
1751       if (  f.tcp_fastopen_ok
1752          && setsockopt(listen_sockets[sk], IPPROTO_TCP, TCP_FASTOPEN,
1753                       &on, sizeof(on)))
1754         {
1755         DEBUG(D_any) debug_printf("setsockopt FASTOPEN: %s\n", strerror(errno));
1756         f.tcp_fastopen_ok = FALSE;
1757         }
1758 #endif
1759       continue;
1760       }
1761
1762     /* Listening has failed. In an IPv6 environment, as for bind(), if listen()
1763     fails with the error EADDRINUSE and we are doing IPv4 wildcard listening
1764     and there was a previous successful IPv6 wildcard listen on the same port,
1765     we want to ignore the error on the grounds that we must be in a system
1766     where the IPv6 socket accepts both kinds of call. */
1767
1768     if (!check_special_case(errno, addresses, ipa, TRUE))
1769       log_write(0, LOG_PANIC_DIE, "listen() failed on interface %s: %s",
1770         wildcard
1771         ? af == AF_INET6 ? US"(any IPv6)" : US"(any IPv4)" : ipa->address,
1772         strerror(errno));
1773
1774     DEBUG(D_any) debug_printf("wildcard IPv4 listen() failed after IPv6 "
1775       "listen() success; EADDRINUSE ignored\n");
1776     (void)close(listen_sockets[sk]);
1777
1778     /* Come here if there has been a problem with the socket which we
1779     are going to ignore. We remove the address from the chain, and back up the
1780     counts. */
1781
1782   SKIP_SOCKET:
1783     sk--;                          /* Back up the count */
1784     listen_socket_count--;         /* Reduce the total */
1785     if (ipa == addresses) addresses = ipa->next; else
1786       {
1787       for (ipa2 = addresses; ipa2->next != ipa; ipa2 = ipa2->next);
1788       ipa2->next = ipa->next;
1789       ipa = ipa2;
1790       }
1791     }          /* End of bind/listen loop for each address */
1792   }            /* End of setup for listening */
1793
1794
1795 /* If we are not listening, we want to write a pid file only if -oP was
1796 explicitly given. */
1797
1798 else if (!override_pid_file_path)
1799   write_pid = FALSE;
1800
1801 /* Write the pid to a known file for assistance in identification, if required.
1802 We do this before giving up root privilege, because on some systems it is
1803 necessary to be root in order to write into the pid file directory. There's
1804 nothing to stop multiple daemons running, as long as no more than one listens
1805 on a given TCP/IP port on the same interface(s). However, in these
1806 circumstances it gets far too complicated to mess with pid file names
1807 automatically. Consequently, Exim 4 writes a pid file only
1808
1809   (a) When running in the test harness, or
1810   (b) When -bd is used and -oX is not used, or
1811   (c) When -oP is used to supply a path.
1812
1813 The variable daemon_write_pid is used to control this. */
1814
1815 if (f.running_in_test_harness || write_pid)
1816   {
1817   FILE *f;
1818
1819   set_pid_file_path();
1820   if ((f = modefopen(pid_file_path, "wb", 0644)))
1821     {
1822     (void)fprintf(f, "%d\n", (int)getpid());
1823     (void)fclose(f);
1824     DEBUG(D_any) debug_printf("pid written to %s\n", pid_file_path);
1825     }
1826   else
1827     DEBUG(D_any)
1828       debug_printf("%s\n", string_open_failed(errno, "pid file %s",
1829         pid_file_path));
1830   }
1831
1832 /* Set up the handler for SIGHUP, which causes a restart of the daemon. */
1833
1834 sighup_seen = FALSE;
1835 signal(SIGHUP, sighup_handler);
1836
1837 /* Give up root privilege at this point (assuming that exim_uid and exim_gid
1838 are not root). The third argument controls the running of initgroups().
1839 Normally we do this, in order to set up the groups for the Exim user. However,
1840 if we are not root at this time - some odd installations run that way - we
1841 cannot do this. */
1842
1843 exim_setugid(exim_uid, exim_gid, geteuid()==root_uid, US"running as a daemon");
1844
1845 /* Update the originator_xxx fields so that received messages as listed as
1846 coming from Exim, not whoever started the daemon. */
1847
1848 originator_uid = exim_uid;
1849 originator_gid = exim_gid;
1850 originator_login = (pw = getpwuid(exim_uid))
1851   ? string_copy_perm(US pw->pw_name, FALSE) : US"exim";
1852
1853 /* Get somewhere to keep the list of queue-runner pids if we are keeping track
1854 of them (and also if we are doing queue runs). */
1855
1856 if (queue_interval > 0 && local_queue_run_max > 0)
1857   {
1858   queue_pid_slots = store_get(local_queue_run_max * sizeof(pid_t), FALSE);
1859   for (int i = 0; i < local_queue_run_max; i++) queue_pid_slots[i] = 0;
1860   }
1861
1862 /* Set up the handler for termination of child processes, and the one
1863 telling us to die. */
1864
1865 sigchld_seen = FALSE;
1866 os_non_restarting_signal(SIGCHLD, main_sigchld_handler);
1867
1868 sigterm_seen = FALSE;
1869 os_non_restarting_signal(SIGTERM, main_sigterm_handler);
1870
1871 /* If we are to run the queue periodically, pretend the alarm has just gone
1872 off. This will cause the first queue-runner to get kicked off straight away. */
1873
1874 sigalrm_seen = (queue_interval > 0);
1875
1876 /* Log the start up of a daemon - at least one of listening or queue running
1877 must be set up. */
1878
1879 if (f.inetd_wait_mode)
1880   {
1881   uschar *p = big_buffer;
1882
1883   if (inetd_wait_timeout >= 0)
1884     sprintf(CS p, "terminating after %d seconds", inetd_wait_timeout);
1885   else
1886     sprintf(CS p, "with no wait timeout");
1887
1888   log_write(0, LOG_MAIN,
1889     "exim %s daemon started: pid=%d, launched with listening socket, %s",
1890     version_string, getpid(), big_buffer);
1891   set_process_info("daemon(%s): pre-listening socket", version_string);
1892
1893   /* set up the timeout logic */
1894   sigalrm_seen = TRUE;
1895   }
1896
1897 else if (f.daemon_listen)
1898   {
1899   int smtp_ports = 0;
1900   int smtps_ports = 0;
1901   ip_address_item * ipa;
1902   uschar * p;
1903   uschar * qinfo = queue_interval > 0
1904     ? string_sprintf("-q%s%s",
1905         f.queue_2stage ? "q" : "", readconf_printtime(queue_interval))
1906     : US"no queue runs";
1907
1908   /* Build a list of listening addresses in big_buffer, but limit it to 10
1909   items. The style is for backwards compatibility.
1910
1911   It is now possible to have some ports listening for SMTPS (the old,
1912   deprecated protocol that starts TLS without using STARTTLS), and others
1913   listening for standard SMTP. Keep their listings separate. */
1914
1915   for (int j = 0, i; j < 2; j++)
1916     {
1917     for (i = 0, ipa = addresses; i < 10 && ipa; i++, ipa = ipa->next)
1918       {
1919       /* First time round, look for SMTP ports; second time round, look for
1920       SMTPS ports. Build IP+port strings. */
1921
1922       if (host_is_tls_on_connect_port(ipa->port) == (j > 0))
1923         {
1924         if (j == 0)
1925           smtp_ports++;
1926         else
1927           smtps_ports++;
1928
1929         /* Now the information about the port (and sometimes interface) */
1930
1931         if (ipa->address[0] == ':' && ipa->address[1] == 0)
1932           {                                             /* v6 wildcard */
1933           if (ipa->next && ipa->next->address[0] == 0 &&
1934               ipa->next->port == ipa->port)
1935             {
1936             ipa->log = string_sprintf(" port %d (IPv6 and IPv4)", ipa->port);
1937             (ipa = ipa->next)->log = NULL;
1938             }
1939           else if (ipa->v6_include_v4)
1940             ipa->log = string_sprintf(" port %d (IPv6 with IPv4)", ipa->port);
1941           else
1942             ipa->log = string_sprintf(" port %d (IPv6)", ipa->port);
1943           }
1944         else if (ipa->address[0] == 0)                  /* v4 wildcard */
1945           ipa->log = string_sprintf(" port %d (IPv4)", ipa->port);
1946         else                            /* check for previously-seen IP */
1947           {
1948           ip_address_item * i2;
1949           for (i2 = addresses; i2 != ipa; i2 = i2->next)
1950             if (  host_is_tls_on_connect_port(i2->port) == (j > 0)
1951                && Ustrcmp(ipa->address, i2->address) == 0
1952                )
1953               {                         /* found; append port to list */
1954               for (p = i2->log; *p; ) p++;      /* end of existing string */
1955               if (*--p == '}') *p = '\0';       /* drop EOL */
1956               while (isdigit(*--p)) ;           /* char before port */
1957
1958               i2->log = *p == ':'               /* no list yet? */
1959                 ? string_sprintf("%.*s{%s,%d}",
1960                   (int)(p - i2->log + 1), i2->log, p+1, ipa->port)
1961                 : string_sprintf("%s,%d}", i2->log, ipa->port);
1962               ipa->log = NULL;
1963               break;
1964               }
1965           if (i2 == ipa)                /* first-time IP */
1966             ipa->log = string_sprintf(" [%s]:%d", ipa->address, ipa->port);
1967           }
1968         }
1969       }
1970     }
1971
1972   p = big_buffer;
1973   for (int j = 0, i; j < 2; j++)
1974     {
1975     /* First time round, look for SMTP ports; second time round, look for
1976     SMTPS ports. For the first one of each, insert leading text. */
1977
1978     if (j == 0)
1979       {
1980       if (smtp_ports > 0)
1981         p += sprintf(CS p, "SMTP on");
1982       }
1983     else
1984       if (smtps_ports > 0)
1985         p += sprintf(CS p, "%sSMTPS on",
1986           smtp_ports == 0 ? "" : " and for ");
1987
1988     /* Now the information about the port (and sometimes interface) */
1989
1990     for (i = 0, ipa = addresses; i < 10 && ipa; i++, ipa = ipa->next)
1991       if (host_is_tls_on_connect_port(ipa->port) == (j > 0))
1992         if (ipa->log)
1993           p += sprintf(CS p, "%s",  ipa->log);
1994
1995     if (ipa)
1996       p += sprintf(CS p, " ...");
1997     }
1998
1999   log_write(0, LOG_MAIN,
2000     "exim %s daemon started: pid=%d, %s, listening for %s",
2001     version_string, getpid(), qinfo, big_buffer);
2002   set_process_info("daemon(%s): %s, listening for %s",
2003     version_string, qinfo, big_buffer);
2004   }
2005
2006 else
2007   {
2008   uschar * s = *queue_name
2009     ? string_sprintf("-qG%s/%s", queue_name, readconf_printtime(queue_interval))
2010     : string_sprintf("-q%s", readconf_printtime(queue_interval));
2011   log_write(0, LOG_MAIN,
2012     "exim %s daemon started: pid=%d, %s, not listening for SMTP",
2013     version_string, getpid(), s);
2014   set_process_info("daemon(%s): %s, not listening", version_string, s);
2015   }
2016
2017 /* Do any work it might be useful to amortize over our children
2018 (eg: compile regex) */
2019
2020 dns_pattern_init();
2021 smtp_deliver_init();    /* Used for callouts */
2022
2023 #ifndef DISABLE_DKIM
2024   {
2025 # ifdef MEASURE_TIMING
2026   struct timeval t0;
2027   gettimeofday(&t0, NULL);
2028 # endif
2029   dkim_exim_init();
2030 # ifdef MEASURE_TIMING
2031   report_time_since(&t0, US"dkim_exim_init (delta)");
2032 # endif
2033   }
2034 #endif
2035
2036 #ifdef WITH_CONTENT_SCAN
2037 malware_init();
2038 #endif
2039 #ifdef SUPPORT_SPF
2040 spf_init();
2041 #endif
2042
2043 /* Close the log so it can be renamed and moved. In the few cases below where
2044 this long-running process writes to the log (always exceptional conditions), it
2045 closes the log afterwards, for the same reason. */
2046
2047 log_close_all();
2048
2049 DEBUG(D_any) debug_print_ids(US"daemon running with");
2050
2051 /* Any messages accepted via this route are going to be SMTP. */
2052
2053 smtp_input = TRUE;
2054
2055 #ifdef MEASURE_TIMING
2056 report_time_since(&timestamp_startup, US"daemon loop start");   /* testcase 0022 */
2057 #endif
2058
2059 /* Enter the never-ending loop... */
2060
2061 for (;;)
2062   {
2063   #if HAVE_IPV6
2064   struct sockaddr_in6 accepted;
2065   #else
2066   struct sockaddr_in accepted;
2067   #endif
2068
2069   EXIM_SOCKLEN_T len;
2070   pid_t pid;
2071
2072   if (sigterm_seen)
2073     daemon_die();       /* Does not return */
2074
2075   /* This code is placed first in the loop, so that it gets obeyed at the
2076   start, before the first wait, for the queue-runner case, so that the first
2077   one can be started immediately.
2078
2079   The other option is that we have an inetd wait timeout specified to -bw. */
2080
2081   if (sigalrm_seen)
2082     {
2083     if (inetd_wait_timeout > 0)
2084       {
2085       time_t resignal_interval = inetd_wait_timeout;
2086
2087       if (last_connection_time == (time_t)0)
2088         {
2089         DEBUG(D_any)
2090           debug_printf("inetd wait timeout expired, but still not seen first message, ignoring\n");
2091         }
2092       else
2093         {
2094         time_t now = time(NULL);
2095         if (now == (time_t)-1)
2096           {
2097           DEBUG(D_any) debug_printf("failed to get time: %s\n", strerror(errno));
2098           }
2099         else
2100           {
2101           if ((now - last_connection_time) >= inetd_wait_timeout)
2102             {
2103             DEBUG(D_any)
2104               debug_printf("inetd wait timeout %d expired, ending daemon\n",
2105                   inetd_wait_timeout);
2106             log_write(0, LOG_MAIN, "exim %s daemon terminating, inetd wait timeout reached.\n",
2107                 version_string);
2108             exit(EXIT_SUCCESS);
2109             }
2110           else
2111             {
2112             resignal_interval -= (now - last_connection_time);
2113             }
2114           }
2115         }
2116
2117       sigalrm_seen = FALSE;
2118       ALARM(resignal_interval);
2119       }
2120
2121     else
2122       {
2123       DEBUG(D_any) debug_printf("%s received\n",
2124 #ifdef EXPERIMENTAL_QUEUE_RAMP
2125         *queuerun_msgid ? "qrun notification" :
2126 #endif
2127         "SIGALRM");
2128
2129       /* Do a full queue run in a child process, if required, unless we already
2130       have enough queue runners on the go. If we are not running as root, a
2131       re-exec is required. */
2132
2133       if (  queue_interval > 0
2134          && (local_queue_run_max <= 0 || queue_run_count < local_queue_run_max))
2135         {
2136         if ((pid = exim_fork(US"queue-runner")) == 0)
2137           {
2138           /* Disable debugging if it's required only for the daemon process. We
2139           leave the above message, because it ties up with the "child ended"
2140           debugging messages. */
2141
2142           if (f.debug_daemon) debug_selector = 0;
2143
2144           /* Close any open listening sockets in the child */
2145
2146           close_daemon_sockets(daemon_notifier_fd,
2147             listen_sockets, listen_socket_count);
2148
2149           /* Reset SIGHUP and SIGCHLD in the child in both cases. */
2150
2151           signal(SIGHUP,  SIG_DFL);
2152           signal(SIGCHLD, SIG_DFL);
2153           signal(SIGTERM, SIG_DFL);
2154
2155           /* Re-exec if privilege has been given up, unless deliver_drop_
2156           privilege is set. Reset SIGALRM before exec(). */
2157
2158           if (geteuid() != root_uid && !deliver_drop_privilege)
2159             {
2160             uschar opt[8];
2161             uschar *p = opt;
2162             uschar *extra[7];
2163             int extracount = 1;
2164
2165             signal(SIGALRM, SIG_DFL);
2166             *p++ = '-';
2167             *p++ = 'q';
2168             if (  f.queue_2stage
2169 #ifdef EXPERIMENTAL_QUEUE_RAMP
2170                && !*queuerun_msgid
2171 #endif
2172                ) *p++ = 'q';
2173             if (f.queue_run_first_delivery) *p++ = 'i';
2174             if (f.queue_run_force) *p++ = 'f';
2175             if (f.deliver_force_thaw) *p++ = 'f';
2176             if (f.queue_run_local) *p++ = 'l';
2177             *p = 0;
2178             extra[0] = *queue_name
2179               ? string_sprintf("%sG%s", opt, queue_name) : opt;
2180
2181 #ifdef EXPERIMENTAL_QUEUE_RAMP
2182             if (*queuerun_msgid)
2183               {
2184               log_write(0, LOG_MAIN, "notify triggered queue run");
2185               extra[extracount++] = queuerun_msgid;     /* Trigger only the */
2186               extra[extracount++] = queuerun_msgid;     /* one message      */
2187               }
2188 #endif
2189
2190             /* If -R or -S were on the original command line, ensure they get
2191             passed on. */
2192
2193             if (deliver_selectstring)
2194               {
2195               extra[extracount++] = f.deliver_selectstring_regex ? US"-Rr" : US"-R";
2196               extra[extracount++] = deliver_selectstring;
2197               }
2198
2199             if (deliver_selectstring_sender)
2200               {
2201               extra[extracount++] = f.deliver_selectstring_sender_regex
2202                 ? US"-Sr" : US"-S";
2203               extra[extracount++] = deliver_selectstring_sender;
2204               }
2205
2206             /* Overlay this process with a new execution. */
2207
2208             (void)child_exec_exim(CEE_EXEC_PANIC, FALSE, NULL, FALSE, extracount,
2209               extra[0], extra[1], extra[2], extra[3], extra[4], extra[5], extra[6]);
2210
2211             /* Control never returns here. */
2212             }
2213
2214           /* No need to re-exec; SIGALRM remains set to the default handler */
2215
2216 #ifdef EXPERIMENTAL_QUEUE_RAMP
2217           if (*queuerun_msgid)
2218             {
2219             log_write(0, LOG_MAIN, "notify triggered queue run");
2220             f.queue_2stage = FALSE;
2221             queue_run(queuerun_msgid, queuerun_msgid, FALSE);
2222             }
2223           else
2224 #endif
2225             queue_run(NULL, NULL, FALSE);
2226           exim_underbar_exit(EXIT_SUCCESS);
2227           }
2228
2229         if (pid < 0)
2230           {
2231           log_write(0, LOG_MAIN|LOG_PANIC, "daemon: fork of queue-runner "
2232             "process failed: %s", strerror(errno));
2233           log_close_all();
2234           }
2235         else
2236           {
2237           for (int i = 0; i < local_queue_run_max; ++i)
2238             if (queue_pid_slots[i] <= 0)
2239               {
2240               queue_pid_slots[i] = pid;
2241               queue_run_count++;
2242               break;
2243               }
2244           DEBUG(D_any) debug_printf("%d queue-runner process%s running\n",
2245             queue_run_count, queue_run_count == 1 ? "" : "es");
2246           }
2247         }
2248
2249       /* Reset the alarm clock */
2250
2251       sigalrm_seen = FALSE;
2252 #ifdef EXPERIMENTAL_QUEUE_RAMP
2253       if (*queuerun_msgid)
2254         *queuerun_msgid = 0;
2255       else
2256 #endif
2257         ALARM(queue_interval);
2258       }
2259
2260     } /* sigalrm_seen */
2261
2262
2263   /* Sleep till a connection happens if listening, and handle the connection if
2264   that is why we woke up. The FreeBSD operating system requires the use of
2265   select() before accept() because the latter function is not interrupted by
2266   a signal, and we want to wake up for SIGCHLD and SIGALRM signals. Some other
2267   OS do notice signals in accept() but it does no harm to have the select()
2268   in for all of them - and it won't then be a lurking problem for ports to
2269   new OS. In fact, the later addition of listening on specific interfaces only
2270   requires this way of working anyway. */
2271
2272   if (f.daemon_listen)
2273     {
2274     int lcount, select_errno;
2275     int max_socket = 0;
2276     BOOL select_failed = FALSE;
2277     fd_set select_listen;
2278
2279     FD_ZERO(&select_listen);
2280     if (daemon_notifier_fd >= 0)
2281       FD_SET(daemon_notifier_fd, &select_listen);
2282     for (int sk = 0; sk < listen_socket_count; sk++)
2283       {
2284       FD_SET(listen_sockets[sk], &select_listen);
2285       if (listen_sockets[sk] > max_socket) max_socket = listen_sockets[sk];
2286       }
2287
2288     DEBUG(D_any) debug_printf("Listening...\n");
2289
2290     /* In rare cases we may have had a SIGCHLD signal in the time between
2291     setting the handler (below) and getting back here. If so, pretend that the
2292     select() was interrupted so that we reap the child. This might still leave
2293     a small window when a SIGCHLD could get lost. However, since we use SIGCHLD
2294     only to do the reaping more quickly, it shouldn't result in anything other
2295     than a delay until something else causes a wake-up. */
2296
2297     if (sigchld_seen)
2298       {
2299       lcount = -1;
2300       errno = EINTR;
2301       }
2302     else
2303       lcount = select(max_socket + 1, (SELECT_ARG2_TYPE *)&select_listen,
2304         NULL, NULL, NULL);
2305
2306     if (lcount < 0)
2307       {
2308       select_failed = TRUE;
2309       lcount = 1;
2310       }
2311
2312     /* Clean up any subprocesses that may have terminated. We need to do this
2313     here so that smtp_accept_max_per_host works when a connection to that host
2314     has completed, and we are about to accept a new one. When this code was
2315     later in the sequence, a new connection could be rejected, even though an
2316     old one had just finished. Preserve the errno from any select() failure for
2317     the use of the common select/accept error processing below. */
2318
2319     select_errno = errno;
2320     handle_ending_processes();
2321     errno = select_errno;
2322
2323 #ifndef DISABLE_TLS
2324     /* Create or rotate any required keys */
2325     tls_daemon_init();
2326 #endif
2327
2328     /* Loop for all the sockets that are currently ready to go. If select
2329     actually failed, we have set the count to 1 and select_failed=TRUE, so as
2330     to use the common error code for select/accept below. */
2331
2332     while (lcount-- > 0)
2333       {
2334       int accept_socket = -1;
2335
2336       if (!select_failed)
2337         {
2338         if (  daemon_notifier_fd >= 0
2339            && FD_ISSET(daemon_notifier_fd, &select_listen))
2340           {
2341           FD_CLR(daemon_notifier_fd, &select_listen);
2342           sigalrm_seen = daemon_notification();
2343           break;        /* to top of daemon loop */
2344           }
2345         for (int sk = 0; sk < listen_socket_count; sk++)
2346           if (FD_ISSET(listen_sockets[sk], &select_listen))
2347             {
2348             len = sizeof(accepted);
2349             accept_socket = accept(listen_sockets[sk],
2350               (struct sockaddr *)&accepted, &len);
2351             FD_CLR(listen_sockets[sk], &select_listen);
2352             break;
2353             }
2354         }
2355
2356       /* If select or accept has failed and this was not caused by an
2357       interruption, log the incident and try again. With asymmetric TCP/IP
2358       routing errors such as "No route to network" have been seen here. Also
2359       "connection reset by peer" has been seen. These cannot be classed as
2360       disastrous errors, but they could fill up a lot of log. The code in smail
2361       crashes the daemon after 10 successive failures of accept, on the grounds
2362       that some OS fail continuously. Exim originally followed suit, but this
2363       appears to have caused problems. Now it just keeps going, but instead of
2364       logging each error, it batches them up when they are continuous. */
2365
2366       if (accept_socket < 0 && errno != EINTR)
2367         {
2368         if (accept_retry_count == 0)
2369           {
2370           accept_retry_errno = errno;
2371           accept_retry_select_failed = select_failed;
2372           }
2373         else
2374           {
2375           if (errno != accept_retry_errno ||
2376               select_failed != accept_retry_select_failed ||
2377               accept_retry_count >= 50)
2378             {
2379             log_write(0, LOG_MAIN | ((accept_retry_count >= 50)? LOG_PANIC : 0),
2380               "%d %s() failure%s: %s",
2381               accept_retry_count,
2382               accept_retry_select_failed? "select" : "accept",
2383               (accept_retry_count == 1)? "" : "s",
2384               strerror(accept_retry_errno));
2385             log_close_all();
2386             accept_retry_count = 0;
2387             accept_retry_errno = errno;
2388             accept_retry_select_failed = select_failed;
2389             }
2390           }
2391         accept_retry_count++;
2392         }
2393
2394       else
2395         {
2396         if (accept_retry_count > 0)
2397           {
2398           log_write(0, LOG_MAIN, "%d %s() failure%s: %s",
2399             accept_retry_count,
2400             accept_retry_select_failed? "select" : "accept",
2401             (accept_retry_count == 1)? "" : "s",
2402             strerror(accept_retry_errno));
2403           log_close_all();
2404           accept_retry_count = 0;
2405           }
2406         }
2407
2408       /* If select/accept succeeded, deal with the connection. */
2409
2410       if (accept_socket >= 0)
2411         {
2412         if (inetd_wait_timeout)
2413           last_connection_time = time(NULL);
2414         handle_smtp_call(listen_sockets, listen_socket_count, accept_socket,
2415           (struct sockaddr *)&accepted);
2416         }
2417       }
2418     }
2419
2420   /* If not listening, then just sleep for the queue interval. If we woke
2421   up early the last time for some other signal, it won't matter because
2422   the alarm signal will wake at the right time. This code originally used
2423   sleep() but it turns out that on the FreeBSD system, sleep() is not inter-
2424   rupted by signals, so it wasn't waking up for SIGALRM or SIGCHLD. Luckily
2425   select() can be used as an interruptible sleep() on all versions of Unix. */
2426
2427   else
2428     {
2429     struct timeval tv;
2430     tv.tv_sec = queue_interval;
2431     tv.tv_usec = 0;
2432     select(0, NULL, NULL, NULL, &tv);
2433     handle_ending_processes();
2434     }
2435
2436   /* Re-enable the SIGCHLD handler if it has been run. It can't do it
2437   for itself, because it isn't doing the waiting itself. */
2438
2439   if (sigchld_seen)
2440     {
2441     sigchld_seen = FALSE;
2442     os_non_restarting_signal(SIGCHLD, main_sigchld_handler);
2443     }
2444
2445   /* Handle being woken by SIGHUP. We know at this point that the result
2446   of accept() has been dealt with, so we can re-exec exim safely, first
2447   closing the listening sockets so that they can be reused. Cancel any pending
2448   alarm in case it is just about to go off, and set SIGHUP to be ignored so
2449   that another HUP in quick succession doesn't clobber the new daemon before it
2450   gets going. All log files get closed by the close-on-exec flag; however, if
2451   the exec fails, we need to close the logs. */
2452
2453   if (sighup_seen)
2454     {
2455     log_write(0, LOG_MAIN, "pid %d: SIGHUP received: re-exec daemon",
2456       getpid());
2457     close_daemon_sockets(daemon_notifier_fd,
2458       listen_sockets, listen_socket_count);
2459     ALARM_CLR(0);
2460     signal(SIGHUP, SIG_IGN);
2461     sighup_argv[0] = exim_path;
2462     exim_nullstd();
2463     execv(CS exim_path, (char *const *)sighup_argv);
2464     log_write(0, LOG_MAIN|LOG_PANIC_DIE, "pid %d: exec of %s failed: %s",
2465       getpid(), exim_path, strerror(errno));
2466     log_close_all();
2467     }
2468
2469   }   /* End of main loop */
2470
2471 /* Control never reaches here */
2472 }
2473
2474 /* vi: aw ai sw=2
2475 */
2476 /* End of exim_daemon.c */