ChangeLog entry JH/18; applying to 4.89 release
[users/heiko/exim.git] / src / src / queue.c
1 /*************************************************
2 *     Exim - an Internet mail transport agent    *
3 *************************************************/
4
5 /* Copyright (c) University of Cambridge 1995 - 2015 */
6 /* See the file NOTICE for conditions of use and distribution. */
7
8 /* Functions that operate on the input queue. */
9
10
11 #include "exim.h"
12
13
14
15 /* Routines with knowledge of spool layout */
16
17 #ifndef COMPILE_UTILITY
18 static void
19 spool_pname_buf(uschar * buf, int len)
20 {
21 snprintf(CS buf, len, "%s/%s/input", spool_directory, queue_name);
22 }
23
24 uschar *
25 spool_dname(const uschar * purpose, uschar * subdir)
26 {
27 return string_sprintf("%s/%s/%s/%s",
28         spool_directory, queue_name, purpose, subdir);
29 }
30 #endif
31
32 uschar *
33 spool_sname(const uschar * purpose, uschar * subdir)
34 {
35 return string_sprintf("%s%s%s%s%s",
36                     queue_name, *queue_name ? "/" : "",
37                     purpose,
38                     *subdir ? "/" : "", subdir);
39 }
40
41 uschar *
42 spool_fname(const uschar * purpose, const uschar * subdir, const uschar * fname,
43         const uschar * suffix)
44 {
45 return string_sprintf("%s/%s/%s/%s/%s%s",
46         spool_directory, queue_name, purpose, subdir, fname, suffix);
47 }
48
49
50
51
52 #ifndef COMPILE_UTILITY
53
54 /* The number of nodes to use for the bottom-up merge sort when a list of queue
55 items is to be ordered. The code for this sort was contributed as a patch by
56 Michael Haardt. */
57
58 #define LOG2_MAXNODES 32
59
60
61
62 /*************************************************
63 *  Helper sort function for queue_get_spool_list *
64 *************************************************/
65
66 /* This function is used when sorting the queue list in the function
67 queue_get_spool_list() below.
68
69 Arguments:
70   a            points to an ordered list of queue_filename items
71   b            points to another ordered list
72
73 Returns:       a pointer to a merged ordered list
74 */
75
76 static queue_filename *
77 merge_queue_lists(queue_filename *a, queue_filename *b)
78 {
79 queue_filename *first = NULL;
80 queue_filename **append = &first;
81
82 while (a && b)
83   if (Ustrcmp(a->text, b->text) < 0)
84     {
85     *append = a;
86     append= &a->next;
87     a = a->next;
88     }
89   else
90     {
91     *append = b;
92     append= &b->next;
93     b = b->next;
94     }
95
96 *append = a ? a : b;
97 return first;
98 }
99
100
101
102
103
104 /*************************************************
105 *             Get list of spool files            *
106 *************************************************/
107
108 /* Scan the spool directory and return a list of the relevant file names
109 therein. Single-character sub-directories are handled as follows:
110
111   If the first argument is > 0, a sub-directory is scanned; the letter is
112   taken from the nth entry in subdirs.
113
114   If the first argument is 0, sub-directories are not scanned. However, a
115   list of them is returned.
116
117   If the first argument is < 0, sub-directories are scanned for messages,
118   and a single, unified list is created. The returned data blocks contain the
119   identifying character of the subdirectory, if any. The subdirs vector is
120   still required as an argument.
121
122 If the randomize argument is TRUE, messages are returned in "randomized" order.
123 Actually, the order is anything but random, but the algorithm is cheap, and the
124 point is simply to ensure that the same order doesn't occur every time, in case
125 a particular message is causing a remote MTA to barf - we would like to try
126 other messages to that MTA first.
127
128 If the randomize argument is FALSE, sort the list according to the file name.
129 This should give the order in which the messages arrived. It is normally used
130 only for presentation to humans, in which case the (possibly expensive) sort
131 that it does is not part of the normal operational code. However, if
132 queue_run_in_order is set, sorting has to take place for queue runs as well.
133 When randomize is FALSE, the first argument is normally -1, so all messages are
134 included.
135
136 Arguments:
137   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
138   subdirs        vector to store list of subdirchars
139   subcount       pointer to int in which to store count of subdirs
140   randomize      TRUE if the order of the list is to be unpredictable
141
142 Returns:         pointer to a chain of queue name items
143 */
144
145 static queue_filename *
146 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
147   BOOL randomize)
148 {
149 int i;
150 int flags = 0;
151 int resetflags = -1;
152 int subptr;
153 queue_filename *yield = NULL;
154 queue_filename *last = NULL;
155 struct dirent *ent;
156 DIR *dd;
157 uschar buffer[256];
158 queue_filename *root[LOG2_MAXNODES];
159
160 /* When randomizing, the file names are added to the start or end of the list
161 according to the bits of the flags variable. Get a collection of bits from the
162 current time. Use the bottom 16 and just keep re-using them if necessary. When
163 not randomizing, initialize the sublists for the bottom-up merge sort. */
164
165 if (randomize)
166   resetflags = time(NULL) & 0xFFFF;
167 else
168    for (i = 0; i < LOG2_MAXNODES; i++)
169      root[i] = NULL;
170
171 /* If processing the full queue, or just the top-level, start at the base
172 directory, and initialize the first subdirectory name (as none). Otherwise,
173 start at the sub-directory offset. */
174
175 if (subdiroffset <= 0)
176   {
177   i = 0;
178   subdirs[0] = 0;
179   *subcount = 0;
180   }
181 else
182   i = subdiroffset;
183
184 /* Set up prototype for the directory name. */
185
186 spool_pname_buf(buffer, sizeof(buffer));
187 buffer[sizeof(buffer) - 3] = 0;
188 subptr = Ustrlen(buffer);
189 buffer[subptr+2] = 0;               /* terminator for lengthened name */
190
191 /* This loop runs at least once, for the main or given directory, and then as
192 many times as necessary to scan any subdirectories encountered in the main
193 directory, if they are to be scanned at this time. */
194
195 for (; i <= *subcount; i++)
196   {
197   int count = 0;
198   int subdirchar = subdirs[i];      /* 0 for main directory */
199
200   if (subdirchar != 0)
201     {
202     buffer[subptr] = '/';
203     buffer[subptr+1] = subdirchar;
204     }
205
206   DEBUG(D_queue_run) debug_printf("looking in %s\n", buffer);
207   if (!(dd = opendir(CS buffer)))
208     continue;
209
210   /* Now scan the directory. */
211
212   while ((ent = readdir(dd)))
213     {
214     uschar *name = US ent->d_name;
215     int len = Ustrlen(name);
216
217     /* Count entries */
218
219     count++;
220
221     /* If we find a single alphameric sub-directory in the base directory,
222     add it to the list for subsequent scans. */
223
224     if (i == 0 && len == 1 && isalnum(*name))
225       {
226       *subcount = *subcount + 1;
227       subdirs[*subcount] = *name;
228       continue;
229       }
230
231     /* Otherwise, if it is a header spool file, add it to the list */
232
233     if (len == SPOOL_NAME_LENGTH &&
234         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
235       {
236       queue_filename *next =
237         store_get(sizeof(queue_filename) + Ustrlen(name));
238       Ustrcpy(next->text, name);
239       next->dir_uschar = subdirchar;
240
241       /* Handle the creation of a randomized list. The first item becomes both
242       the top and bottom of the list. Subsequent items are inserted either at
243       the top or the bottom, randomly. This is, I argue, faster than doing a
244       sort by allocating a random number to each item, and it also saves having
245       to store the number with each item. */
246
247       if (randomize)
248         if (!yield)
249           {
250           next->next = NULL;
251           yield = last = next;
252           }
253         else
254           {
255           if (flags == 0)
256             flags = resetflags;
257           if ((flags & 1) == 0)
258             {
259             next->next = yield;
260             yield = next;
261             }
262           else
263             {
264             next->next = NULL;
265             last->next = next;
266             last = next;
267             }
268           flags = flags >> 1;
269           }
270
271       /* Otherwise do a bottom-up merge sort based on the name. */
272
273       else
274         {
275         int j;
276         next->next = NULL;
277         for (j = 0; j < LOG2_MAXNODES; j++)
278           if (root[j])
279             {
280             next = merge_queue_lists(next, root[j]);
281             root[j] = (j == LOG2_MAXNODES - 1)? next : NULL;
282             }
283           else
284             {
285             root[j] = next;
286             break;
287             }
288         }
289       }
290     }
291
292   /* Finished with this directory */
293
294   closedir(dd);
295
296   /* If we have just scanned a sub-directory, and it was empty (count == 2
297   implies just "." and ".." entries), and Exim is no longer configured to
298   use sub-directories, attempt to get rid of it. At the same time, try to
299   get rid of any corresponding msglog subdirectory. These are just cosmetic
300   tidying actions, so just ignore failures. If we are scanning just a single
301   sub-directory, break the loop. */
302
303   if (i != 0)
304     {
305     if (!split_spool_directory && count <= 2)
306       {
307       uschar subdir[2];
308
309       rmdir(CS buffer);
310       subdir[0] = subdirchar; subdir[1] = 0;
311       rmdir(CS spool_dname(US"msglog", subdir));
312       }
313     if (subdiroffset > 0) break;    /* Single sub-directory */
314     }
315
316   /* If we have just scanned the base directory, and subdiroffset is 0,
317   we do not want to continue scanning the sub-directories. */
318
319   else if (subdiroffset == 0)
320     break;
321   }    /* Loop for multiple subdirectories */
322
323 /* When using a bottom-up merge sort, do the final merging of the sublists.
324 Then pass back the final list of file items. */
325
326 if (!randomize)
327   for (i = 0; i < LOG2_MAXNODES; ++i)
328     yield = merge_queue_lists(yield, root[i]);
329
330 return yield;
331 }
332
333
334
335
336 /*************************************************
337 *              Perform a queue run               *
338 *************************************************/
339
340 /* The arguments give the messages to start and stop at; NULL means start at
341 the beginning or stop at the end. If the given start message doesn't exist, we
342 start at the next lexically greater one, and likewise we stop at the after the
343 previous lexically lesser one if the given stop message doesn't exist. Because
344 a queue run can take some time, stat each file before forking, in case it has
345 been delivered in the meantime by some other means.
346
347 The global variables queue_run_force and queue_run_local may be set to cause
348 forced deliveries or local-only deliveries, respectively.
349
350 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
351 not contain the string. As this option is typically used when a machine comes
352 back online, we want to ensure that at least one delivery attempt takes place,
353 so force the first one. The selecting string can optionally be a regex, or
354 refer to the sender instead of recipients.
355
356 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
357 is set so that routing is done for all messages. Thus in the second run those
358 that are routed to the same host should go down the same SMTP connection.
359
360 Arguments:
361   start_id   message id to start at, or NULL for all
362   stop_id    message id to end at, or NULL for all
363   recurse    TRUE if recursing for 2-stage run
364
365 Returns:     nothing
366 */
367
368 void
369 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
370 {
371 BOOL force_delivery = queue_run_force || deliver_selectstring != NULL ||
372   deliver_selectstring_sender != NULL;
373 const pcre *selectstring_regex = NULL;
374 const pcre *selectstring_regex_sender = NULL;
375 uschar *log_detail = NULL;
376 int subcount = 0;
377 int i;
378 uschar subdirs[64];
379
380 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
381 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
382 gets set. Save the queue_runner's pid and the flag that indicates any
383 deliveries run directly from this process. Deliveries that are run by handing
384 on TCP/IP channels have queue_run_pid set, but not queue_running. */
385
386 queue_domains = NULL;
387 queue_smtp_domains = NULL;
388 queue_smtp = queue_2stage;
389
390 queue_run_pid = getpid();
391 queue_running = TRUE;
392
393 /* Log the true start of a queue run, and fancy options */
394
395 if (!recurse)
396   {
397   uschar extras[8];
398   uschar *p = extras;
399
400   if (queue_2stage) *p++ = 'q';
401   if (queue_run_first_delivery) *p++ = 'i';
402   if (queue_run_force) *p++ = 'f';
403   if (deliver_force_thaw) *p++ = 'f';
404   if (queue_run_local) *p++ = 'l';
405   *p = 0;
406
407   p = big_buffer;
408   sprintf(CS p, "pid=%d", (int)queue_run_pid);
409   while (*p != 0) p++;
410
411   if (extras[0] != 0)
412     {
413     sprintf(CS p, " -q%s", extras);
414     while (*p != 0) p++;
415     }
416
417   if (deliver_selectstring != NULL)
418     {
419     sprintf(CS p, " -R%s %s", deliver_selectstring_regex? "r" : "",
420       deliver_selectstring);
421     while (*p != 0) p++;
422     }
423
424   if (deliver_selectstring_sender != NULL)
425     {
426     sprintf(CS p, " -S%s %s", deliver_selectstring_sender_regex? "r" : "",
427       deliver_selectstring_sender);
428     while (*p != 0) p++;
429     }
430
431   log_detail = string_copy(big_buffer);
432   if (*queue_name)
433     log_write(L_queue_run, LOG_MAIN, "Start '%s' queue run: %s",
434       queue_name, log_detail);
435   else
436     log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
437   }
438
439 /* If deliver_selectstring is a regex, compile it. */
440
441 if (deliver_selectstring != NULL && deliver_selectstring_regex)
442   selectstring_regex = regex_must_compile(deliver_selectstring, TRUE, FALSE);
443
444 if (deliver_selectstring_sender != NULL && deliver_selectstring_sender_regex)
445   selectstring_regex_sender =
446     regex_must_compile(deliver_selectstring_sender, TRUE, FALSE);
447
448 /* If the spool is split into subdirectories, we want to process it one
449 directory at a time, so as to spread out the directory scanning and the
450 delivering when there are lots of messages involved, except when
451 queue_run_in_order is set.
452
453 In the random order case, this loop runs once for the main directory (handling
454 any messages therein), and then repeats for any subdirectories that were found.
455 When the first argument of queue_get_spool_list() is 0, it scans the top
456 directory, fills in subdirs, and sets subcount. The order of the directories is
457 then randomized after the first time through, before they are scanned in
458 subsequent iterations.
459
460 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
461 order), it scans all directories and makes a single message list. */
462
463 for (i  = (queue_run_in_order? -1 : 0);
464      i <= (queue_run_in_order? -1 : subcount);
465      i++)
466   {
467   queue_filename *f;
468   void *reset_point1 = store_get(0);
469
470   DEBUG(D_queue_run)
471     {
472     if (i == 0)
473       debug_printf("queue running main directory\n");
474     else if (i == -1)
475       debug_printf("queue running combined directories\n");
476     else
477       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
478     }
479
480   for (f = queue_get_spool_list(i, subdirs, &subcount, !queue_run_in_order);
481        f;
482        f = f->next)
483     {
484     pid_t pid;
485     int status;
486     int pfd[2];
487     struct stat statbuf;
488     uschar buffer[256];
489
490     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
491     check that the load average is low enough to permit deliveries. */
492
493     if (!queue_run_force && deliver_queue_load_max >= 0)
494       if ((load_average = os_getloadavg()) > deliver_queue_load_max)
495         {
496         log_write(L_queue_run, LOG_MAIN, "Abandon queue run: %s (load %.2f, max %.2f)",
497           log_detail,
498           (double)load_average/1000.0,
499           (double)deliver_queue_load_max/1000.0);
500         i = subcount;                 /* Don't process other directories */
501         break;
502         }
503       else
504         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
505           (double)load_average/1000.0,
506           (double)deliver_queue_load_max/1000.0);
507
508     /* Skip this message unless it's within the ID limits */
509
510     if (stop_id && Ustrncmp(f->text, stop_id, MESSAGE_ID_LENGTH) > 0)
511       continue;
512     if (start_id && Ustrncmp(f->text, start_id, MESSAGE_ID_LENGTH) < 0)
513       continue;
514
515     /* Check that the message still exists */
516
517     message_subdir[0] = f->dir_uschar;
518     if (Ustat(spool_fname(US"input", message_subdir, f->text, US""), &statbuf) < 0)
519       continue;
520
521     /* There are some tests that require the reading of the header file. Ensure
522     the store used is scavenged afterwards so that this process doesn't keep
523     growing its store. We have to read the header file again when actually
524     delivering, but it's cheaper than forking a delivery process for each
525     message when many are not going to be delivered. */
526
527     if (deliver_selectstring || deliver_selectstring_sender ||
528         queue_run_first_delivery)
529       {
530       BOOL wanted = TRUE;
531       BOOL orig_dont_deliver = dont_deliver;
532       void *reset_point2 = store_get(0);
533
534       /* Restore the original setting of dont_deliver after reading the header,
535       so that a setting for a particular message doesn't force it for any that
536       follow. If the message is chosen for delivery, the header is read again
537       in the deliver_message() function, in a subprocess. */
538
539       if (spool_read_header(f->text, FALSE, TRUE) != spool_read_OK) continue;
540       dont_deliver = orig_dont_deliver;
541
542       /* Now decide if we want to deliver this message. As we have read the
543       header file, we might as well do the freeze test now, and save forking
544       another process. */
545
546       if (deliver_freeze && !deliver_force_thaw)
547         {
548         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
549         wanted = FALSE;
550         }
551
552       /* Check first_delivery in the case when there are no message logs. */
553
554       else if (queue_run_first_delivery && !deliver_firsttime)
555         {
556         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", f->text);
557         wanted = FALSE;
558         }
559
560       /* Check for a matching address if deliver_selectstring[_sender] is set.
561       If so, we do a fully delivery - don't want to omit other addresses since
562       their routing might trigger re-writing etc. */
563
564       /* Sender matching */
565
566       else if (  deliver_selectstring_sender
567               && !(deliver_selectstring_sender_regex
568                   ? (pcre_exec(selectstring_regex_sender, NULL,
569                       CS sender_address, Ustrlen(sender_address), 0, PCRE_EOPT,
570                       NULL, 0) >= 0)
571                   : (strstric(sender_address, deliver_selectstring_sender, FALSE)
572                       != NULL)
573               )   )
574         {
575         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
576           f->text, deliver_selectstring_sender);
577         wanted = FALSE;
578         }
579
580       /* Recipient matching */
581
582       else if (deliver_selectstring)
583         {
584         int i;
585         for (i = 0; i < recipients_count; i++)
586           {
587           uschar *address = recipients_list[i].address;
588           if (  (deliver_selectstring_regex
589                 ? (pcre_exec(selectstring_regex, NULL, CS address,
590                      Ustrlen(address), 0, PCRE_EOPT, NULL, 0) >= 0)
591                 : (strstric(address, deliver_selectstring, FALSE) != NULL)
592                 )
593              && tree_search(tree_nonrecipients, address) == NULL
594              )
595             break;
596           }
597
598         if (i >= recipients_count)
599           {
600           DEBUG(D_queue_run)
601             debug_printf("%s: no recipient address matched %s\n",
602               f->text, deliver_selectstring);
603           wanted = FALSE;
604           }
605         }
606
607       /* Recover store used when reading the header */
608
609       received_protocol = NULL;
610       sender_address = sender_ident = NULL;
611       authenticated_id = authenticated_sender = NULL;
612       store_reset(reset_point2);
613       if (!wanted) continue;      /* With next message */
614       }
615
616     /* OK, got a message we want to deliver. Create a pipe which will
617     serve as a means of detecting when all the processes created by the
618     delivery process are finished. This is relevant when the delivery
619     process passes one or more SMTP channels on to its own children. The
620     pipe gets passed down; by reading on it here we detect when the last
621     descendent dies by the unblocking of the read. It's a pity that for
622     most of the time the pipe isn't used, but creating a pipe should be
623     pretty cheap. */
624
625     if (pipe(pfd) < 0)
626       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
627         "runner process %d: %s", queue_run_pid, strerror(errno));
628     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
629
630     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
631     safe side... */
632
633     if (queue_run_pipe == 0)
634       {
635       queue_run_pipe = dup(queue_run_pipe);
636       (void)close(0);
637       }
638
639     /* Before forking to deliver the message, ensure any open and cached
640     lookup files or databases are closed. Otherwise, closing in the subprocess
641     can make the next subprocess have problems. There won't often be anything
642     open here, but it is possible (e.g. if spool_directory is an expanded
643     string). A single call before this loop would probably suffice, but just in
644     case expansions get inserted at some point, I've taken the heavy-handed
645     approach. When nothing is open, the call should be cheap. */
646
647     search_tidyup();
648
649     /* Now deliver the message; get the id by cutting the -H off the file
650     name. The return of the process is zero if a delivery was attempted. */
651
652     set_process_info("running queue: %s", f->text);
653     f->text[SPOOL_NAME_LENGTH-2] = 0;
654     if ((pid = fork()) == 0)
655       {
656       int rc;
657       if (running_in_test_harness) millisleep(100);
658       (void)close(pfd[pipe_read]);
659       rc = deliver_message(f->text, force_delivery, FALSE);
660       _exit(rc == DELIVER_NOT_ATTEMPTED);
661       }
662     if (pid < 0)
663       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
664         "queue runner %d failed\n", queue_run_pid);
665
666     /* Close the writing end of the synchronizing pipe in this process,
667     then wait for the first level process to terminate. */
668
669     (void)close(pfd[pipe_write]);
670     set_process_info("running queue: waiting for %s (%d)", f->text, pid);
671     while (wait(&status) != pid);
672
673     /* A zero return means a delivery was attempted; turn off the force flag
674     for any subsequent calls unless queue_force is set. */
675
676     if ((status & 0xffff) == 0) force_delivery = queue_run_force;
677
678     /* If the process crashed, tell somebody */
679
680     else if ((status & 0x00ff) != 0)
681       log_write(0, LOG_MAIN|LOG_PANIC,
682         "queue run: process %d crashed with signal %d while delivering %s",
683         (int)pid, status & 0x00ff, f->text);
684
685     /* Before continuing, wait till the pipe gets closed at the far end. This
686     tells us that any children created by the delivery to re-use any SMTP
687     channels have all finished. Since no process actually writes to the pipe,
688     the mere fact that read() unblocks is enough. */
689
690     set_process_info("running queue: waiting for children of %d", pid);
691     if ((status = read(pfd[pipe_read], buffer, sizeof(buffer))) != 0)
692       log_write(0, LOG_MAIN|LOG_PANIC, "queue run: %s on pipe",
693                 status > 0 ? "unexpected data" : "error");
694     (void)close(pfd[pipe_read]);
695     set_process_info("running queue");
696
697     /* If we are in the test harness, and this is not the first of a 2-stage
698     queue run, update fudged queue times. */
699
700     if (running_in_test_harness && !queue_2stage)
701       {
702       uschar *fqtnext = Ustrchr(fudged_queue_times, '/');
703       if (fqtnext != NULL) fudged_queue_times = fqtnext + 1;
704       }
705     }                                  /* End loop for list of messages */
706
707   store_reset(reset_point1);           /* Scavenge list of messages */
708
709   /* If this was the first time through for random order processing, and
710   sub-directories have been found, randomize their order if necessary. */
711
712   if (i == 0 && subcount > 1 && !queue_run_in_order)
713     {
714     int j, r;
715     for (j = 1; j <= subcount; j++)
716       if ((r = random_number(100)) >= 50)
717         {
718         int k = (r % subcount) + 1;
719         int x = subdirs[j];
720         subdirs[j] = subdirs[k];
721         subdirs[k] = x;
722         }
723     }
724   }                                    /* End loop for multiple directories */
725
726 /* If queue_2stage is true, we do it all again, with the 2stage flag
727 turned off. */
728
729 if (queue_2stage)
730   {
731   queue_2stage = FALSE;
732   queue_run(start_id, stop_id, TRUE);
733   }
734
735 /* At top level, log the end of the run. */
736
737 if (!recurse)
738   if (*queue_name)
739     log_write(L_queue_run, LOG_MAIN, "End '%s' queue run: %s",
740       queue_name, log_detail);
741   else
742     log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
743 }
744
745
746
747
748 /************************************************
749 *         Count messages on the queue           *
750 ************************************************/
751
752 /* Called as a result of -bpc
753
754 Arguments:  none
755 Returns:    nothing
756 */
757
758 void
759 queue_count(void)
760 {
761 int subcount;
762 int count = 0;
763 queue_filename *f = NULL;
764 uschar subdirs[64];
765 f = queue_get_spool_list(
766         -1,             /* entire queue */
767         subdirs,        /* for holding sub list */
768         &subcount,      /* for subcount */
769         FALSE);         /* not random */
770 for (; f != NULL; f = f->next) count++;
771 fprintf(stdout, "%d\n", count);
772 }
773
774
775
776 /************************************************
777 *          List extra deliveries                *
778 ************************************************/
779
780 /* This is called from queue_list below to print out all addresses that
781 have received a message but which were not primary addresses. That is, all
782 the addresses in the tree of non-recipients that are not primary addresses.
783 The tree has been scanned and the data field filled in for those that are
784 primary addresses.
785
786 Argument:    points to the tree node
787 Returns:     nothing
788 */
789
790 static void queue_list_extras(tree_node *p)
791 {
792 if (p->left != NULL) queue_list_extras(p->left);
793 if (!p->data.val) printf("       +D %s\n", p->name);
794 if (p->right != NULL) queue_list_extras(p->right);
795 }
796
797
798
799 /************************************************
800 *          List messages on the queue           *
801 ************************************************/
802
803 /* Or a given list of messages. In the "all" case, we get a list of file names
804 as quickly as possible, then scan each one for information to output. If any
805 disappear while we are processing, just leave them out, but give an error if an
806 explicit list was given. This function is a top-level function that is obeyed
807 as a result of the -bp argument. As there may be a lot of messages on the
808 queue, we must tidy up the store after reading the headers for each one.
809
810 Arguments:
811    option     0 => list top-level recipients, with "D" for those delivered
812               1 => list only undelivered top-level recipients
813               2 => as 0, plus any generated delivered recipients
814               If 8 is added to any of these values, the queue is listed in
815                 random order.
816    list       => first of any message ids to list
817    count      count of message ids; 0 => all
818
819 Returns:      nothing
820 */
821
822 void
823 queue_list(int option, uschar **list, int count)
824 {
825 int i;
826 int subcount;
827 int now = (int)time(NULL);
828 void *reset_point;
829 queue_filename *f = NULL;
830 uschar subdirs[64];
831
832 /* If given a list of messages, build a chain containing their ids. */
833
834 if (count > 0)
835   {
836   queue_filename *last = NULL;
837   for (i = 0; i < count; i++)
838     {
839     queue_filename *next =
840       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2);
841     sprintf(CS next->text, "%s-H", list[i]);
842     next->dir_uschar = '*';
843     next->next = NULL;
844     if (i == 0) f = next; else last->next = next;
845     last = next;
846     }
847   }
848
849 /* Otherwise get a list of the entire queue, in order if necessary. */
850
851 else
852   f = queue_get_spool_list(
853           -1,             /* entire queue */
854           subdirs,        /* for holding sub list */
855           &subcount,      /* for subcount */
856           option >= 8);   /* randomize if required */
857
858 if (option >= 8) option -= 8;
859
860 /* Now scan the chain and print information, resetting store used
861 each time. */
862
863 for (reset_point = store_get(0); f; f = f->next)
864   {
865   int rc, save_errno;
866   int size = 0;
867   BOOL env_read;
868
869   message_size = 0;
870   message_subdir[0] = f->dir_uschar;
871   rc = spool_read_header(f->text, FALSE, count <= 0);
872   if (rc == spool_read_notopen && errno == ENOENT && count <= 0) goto next;
873   save_errno = errno;
874
875   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
876
877   if (env_read)
878     {
879     int ptr;
880     FILE *jread;
881     struct stat statbuf;
882     uschar * fname = spool_fname(US"input", message_subdir, f->text, US"");
883
884     ptr = Ustrlen(fname)-1;
885     fname[ptr] = 'D';
886
887     /* Add the data size to the header size; don't count the file name
888     at the start of the data file, but add one for the notional blank line
889     that precedes the data. */
890
891     if (Ustat(fname, &statbuf) == 0)
892       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
893     i = (now - received_time)/60;  /* minutes on queue */
894     if (i > 90)
895       {
896       i = (i + 30)/60;
897       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
898       }
899     else printf("%2dm ", i);
900
901     /* Collect delivered addresses from any J file */
902
903     fname[ptr] = 'J';
904     if ((jread = Ufopen(fname, "rb")))
905       {
906       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
907         {
908         int n = Ustrlen(big_buffer);
909         big_buffer[n-1] = 0;
910         tree_add_nonrecipient(big_buffer);
911         }
912       (void)fclose(jread);
913       }
914     }
915
916   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
917   for (i = 0; i < 16; i++) fputc(f->text[i], stdout);
918
919   if (env_read && sender_address)
920     {
921     printf(" <%s>", sender_address);
922     if (sender_set_untrusted) printf(" (%s)", originator_login);
923     }
924
925   if (rc != spool_read_OK)
926     {
927     printf("\n    ");
928     if (save_errno == ERRNO_SPOOLFORMAT)
929       {
930       struct stat statbuf;
931       uschar * fname = spool_fname(US"input", message_subdir, f->text, US"");
932
933       if (Ustat(fname, &statbuf) == 0)
934         printf("*** spool format error: size=" OFF_T_FMT " ***",
935           statbuf.st_size);
936       else printf("*** spool format error ***");
937       }
938     else printf("*** spool read error: %s ***", strerror(save_errno));
939     if (rc != spool_read_hdrerror)
940       {
941       printf("\n\n");
942       goto next;
943       }
944     }
945
946   if (deliver_freeze) printf(" *** frozen ***");
947
948   printf("\n");
949
950   if (recipients_list)
951     {
952     for (i = 0; i < recipients_count; i++)
953       {
954       tree_node *delivered =
955         tree_search(tree_nonrecipients, recipients_list[i].address);
956       if (!delivered || option != 1)
957         printf("        %s %s\n", (delivered != NULL)? "D":" ",
958           recipients_list[i].address);
959       if (delivered) delivered->data.val = TRUE;
960       }
961     if (option == 2 && tree_nonrecipients)
962       queue_list_extras(tree_nonrecipients);
963     printf("\n");
964     }
965
966 next:
967   received_protocol = NULL;
968   sender_fullhost = sender_helo_name =
969   sender_rcvhost = sender_host_address = sender_address = sender_ident = NULL;
970   sender_host_authenticated = authenticated_sender = authenticated_id = NULL;
971   interface_address = NULL;
972   acl_var_m = NULL;
973
974   store_reset(reset_point);
975   }
976 }
977
978
979
980 /*************************************************
981 *             Act on a specific message          *
982 *************************************************/
983
984 /* Actions that require a list of addresses make use of argv/argc/
985 recipients_arg. Other actions do not. This function does its own
986 authority checking.
987
988 Arguments:
989   id              id of the message to work on
990   action          which action is required (MSG_xxx)
991   argv            the original argv for Exim
992   argc            the original argc for Exim
993   recipients_arg  offset to the list of recipients in argv
994
995 Returns:          FALSE if there was any problem
996 */
997
998 BOOL
999 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
1000 {
1001 int i, j;
1002 BOOL yield = TRUE;
1003 BOOL removed = FALSE;
1004 struct passwd *pw;
1005 uschar *doing = NULL;
1006 uschar *username;
1007 uschar *errmsg;
1008 uschar spoolname[32];
1009
1010 /* Set the global message_id variable, used when re-writing spool files. This
1011 also causes message ids to be added to log messages. */
1012
1013 Ustrcpy(message_id, id);
1014
1015 /* The "actions" that just list the files do not require any locking to be
1016 done. Only admin users may read the spool files. */
1017
1018 if (action >= MSG_SHOW_BODY)
1019   {
1020   int fd, i, rc;
1021   uschar *subdirectory, *suffix;
1022
1023   if (!admin_user)
1024     {
1025     printf("Permission denied\n");
1026     return FALSE;
1027     }
1028
1029   if (recipients_arg < argc)
1030     {
1031     printf("*** Only one message can be listed at once\n");
1032     return FALSE;
1033     }
1034
1035   if (action == MSG_SHOW_BODY)
1036     {
1037     subdirectory = US"input";
1038     suffix = US"-D";
1039     }
1040   else if (action == MSG_SHOW_HEADER)
1041     {
1042     subdirectory = US"input";
1043     suffix = US"-H";
1044     }
1045   else
1046     {
1047     subdirectory = US"msglog";
1048     suffix = US"";
1049     }
1050
1051   for (i = 0; i < 2; i++)
1052     {
1053     message_subdir[0] = split_spool_directory == (i == 0) ? id[5] : 0;
1054     if ((fd = Uopen(spool_fname(subdirectory, message_subdir, id, suffix),
1055                     O_RDONLY, 0)) >= 0)
1056       break;
1057     if (i == 0)
1058       continue;
1059
1060     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1061       strerror(errno));
1062     if (action == MSG_SHOW_LOG && !message_logs)
1063       printf("(No message logs are being created because the message_logs "
1064         "option is false.)\n");
1065     return FALSE;
1066     }
1067
1068   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1069     rc = write(fileno(stdout), big_buffer, rc);
1070
1071   (void)close(fd);
1072   return TRUE;
1073   }
1074
1075 /* For actions that actually act, open and lock the data file to ensure that no
1076 other process is working on this message. If the file does not exist, continue
1077 only if the action is remove and the user is an admin user, to allow for
1078 tidying up broken states. */
1079
1080 if ((deliver_datafile = spool_open_datafile(id)) < 0)
1081   if (errno == ENOENT)
1082     {
1083     yield = FALSE;
1084     printf("Spool data file for %s does not exist\n", id);
1085     if (action != MSG_REMOVE || !admin_user) return FALSE;
1086     printf("Continuing, to ensure all files removed\n");
1087     }
1088   else
1089     {
1090     if (errno == 0) printf("Message %s is locked\n", id);
1091       else printf("Couldn't open spool file for %s: %s\n", id,
1092         strerror(errno));
1093     return FALSE;
1094     }
1095
1096 /* Read the spool header file for the message. Again, continue after an
1097 error only in the case of deleting by an administrator. Setting the third
1098 argument false causes it to look both in the main spool directory and in
1099 the appropriate subdirectory, and set message_subdir according to where it
1100 found the message. */
1101
1102 sprintf(CS spoolname, "%s-H", id);
1103 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1104   {
1105   yield = FALSE;
1106   if (errno != ERRNO_SPOOLFORMAT)
1107     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1108   else
1109     printf("Spool format error for %s\n", spoolname);
1110   if (action != MSG_REMOVE || !admin_user)
1111     {
1112     (void)close(deliver_datafile);
1113     deliver_datafile = -1;
1114     return FALSE;
1115     }
1116   printf("Continuing to ensure all files removed\n");
1117   }
1118
1119 /* Check that the user running this process is entitled to operate on this
1120 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1121 mess about, but the original sender is permitted to remove a message. That's
1122 why we leave this check until after the headers are read. */
1123
1124 if (!admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1125   {
1126   printf("Permission denied\n");
1127   (void)close(deliver_datafile);
1128   deliver_datafile = -1;
1129   return FALSE;
1130   }
1131
1132 /* Set up the user name for logging. */
1133
1134 pw = getpwuid(real_uid);
1135 username = (pw != NULL)?
1136   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1137
1138 /* Take the necessary action. */
1139
1140 if (action != MSG_SHOW_COPY) printf("Message %s ", id);
1141
1142 switch(action)
1143   {
1144   case MSG_SHOW_COPY:
1145   deliver_in_buffer = store_malloc(DELIVER_IN_BUFFER_SIZE);
1146   deliver_out_buffer = store_malloc(DELIVER_OUT_BUFFER_SIZE);
1147   transport_write_message(1, NULL, 0);
1148   break;
1149
1150
1151   case MSG_FREEZE:
1152   if (deliver_freeze)
1153     {
1154     yield = FALSE;
1155     printf("is already frozen\n");
1156     }
1157   else
1158     {
1159     deliver_freeze = TRUE;
1160     deliver_manual_thaw = FALSE;
1161     deliver_frozen_at = time(NULL);
1162     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1163       {
1164       printf("is now frozen\n");
1165       log_write(0, LOG_MAIN, "frozen by %s", username);
1166       }
1167     else
1168       {
1169       yield = FALSE;
1170       printf("could not be frozen: %s\n", errmsg);
1171       }
1172     }
1173   break;
1174
1175
1176   case MSG_THAW:
1177   if (!deliver_freeze)
1178     {
1179     yield = FALSE;
1180     printf("is not frozen\n");
1181     }
1182   else
1183     {
1184     deliver_freeze = FALSE;
1185     deliver_manual_thaw = TRUE;
1186     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1187       {
1188       printf("is no longer frozen\n");
1189       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1190       }
1191     else
1192       {
1193       yield = FALSE;
1194       printf("could not be unfrozen: %s\n", errmsg);
1195       }
1196     }
1197   break;
1198
1199
1200   /* We must ensure all files are removed from both the input directory
1201   and the appropriate subdirectory, to clean up cases when there are odd
1202   files left lying around in odd places. In the normal case message_subdir
1203   will have been set correctly by spool_read_header, but as this is a rare
1204   operation, just run everything twice. */
1205
1206   case MSG_REMOVE:
1207     {
1208     uschar suffix[3];
1209
1210     suffix[0] = '-';
1211     suffix[2] = 0;
1212     message_subdir[0] = id[5];
1213
1214     for (j = 0; j < 2; message_subdir[0] = 0, j++)
1215       {
1216       uschar * fname = spool_fname(US"msglog", message_subdir, id, US"");
1217
1218       DEBUG(D_any) debug_printf(" removing %s", fname);
1219       if (Uunlink(fname) < 0)
1220         {
1221         if (errno != ENOENT)
1222           {
1223           yield = FALSE;
1224           printf("Error while removing %s: %s\n", fname, strerror(errno));
1225           }
1226         else DEBUG(D_any) debug_printf(" (no file)\n");
1227         }
1228       else
1229         {
1230         removed = TRUE;
1231         DEBUG(D_any) debug_printf(" (ok)\n");
1232         }
1233
1234       for (i = 0; i < 3; i++)
1235         {
1236         uschar * fname;
1237
1238         suffix[1] = (US"DHJ")[i];
1239         fname = spool_fname(US"input", message_subdir, id, suffix);
1240
1241         DEBUG(D_any) debug_printf(" removing %s", fname);
1242         if (Uunlink(fname) < 0)
1243           {
1244           if (errno != ENOENT)
1245             {
1246             yield = FALSE;
1247             printf("Error while removing %s: %s\n", fname, strerror(errno));
1248             }
1249           else DEBUG(D_any) debug_printf(" (no file)\n");
1250           }
1251         else
1252           {
1253           removed = TRUE;
1254           DEBUG(D_any) debug_printf(" (done)\n");
1255           }
1256         }
1257       }
1258
1259     /* In the common case, the datafile is open (and locked), so give the
1260     obvious message. Otherwise be more specific. */
1261
1262     if (deliver_datafile >= 0) printf("has been removed\n");
1263       else printf("has been removed or did not exist\n");
1264     if (removed)
1265       {
1266       log_write(0, LOG_MAIN, "removed by %s", username);
1267       log_write(0, LOG_MAIN, "Completed");
1268       }
1269     break;
1270     }
1271
1272
1273   case MSG_MARK_ALL_DELIVERED:
1274   for (i = 0; i < recipients_count; i++)
1275     {
1276     tree_add_nonrecipient(recipients_list[i].address);
1277     }
1278   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1279     {
1280     printf("has been modified\n");
1281     for (i = 0; i < recipients_count; i++)
1282       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1283         recipients_list[i].address, username);
1284     }
1285   else
1286     {
1287     yield = FALSE;
1288     printf("- could not mark all delivered: %s\n", errmsg);
1289     }
1290   break;
1291
1292
1293   case MSG_EDIT_SENDER:
1294   if (recipients_arg < argc - 1)
1295     {
1296     yield = FALSE;
1297     printf("- only one sender address can be specified\n");
1298     break;
1299     }
1300   doing = US"editing sender";
1301   /* Fall through */
1302
1303   case MSG_ADD_RECIPIENT:
1304   if (doing == NULL) doing = US"adding recipient";
1305   /* Fall through */
1306
1307   case MSG_MARK_DELIVERED:
1308   if (doing == NULL) doing = US"marking as delivered";
1309
1310   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1311
1312   if (recipients_arg >= argc)
1313     {
1314     yield = FALSE;
1315     printf("- error while %s: no address given\n", doing);
1316     break;
1317     }
1318
1319   for (; recipients_arg < argc; recipients_arg++)
1320     {
1321     int start, end, domain;
1322     uschar *errmess;
1323     uschar *recipient =
1324       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1325         &domain, (action == MSG_EDIT_SENDER));
1326
1327     if (recipient == NULL)
1328       {
1329       yield = FALSE;
1330       printf("- error while %s:\n  bad address %s: %s\n",
1331         doing, argv[recipients_arg], errmess);
1332       }
1333     else if (recipient[0] != 0 && domain == 0)
1334       {
1335       yield = FALSE;
1336       printf("- error while %s:\n  bad address %s: "
1337         "domain missing\n", doing, argv[recipients_arg]);
1338       }
1339     else
1340       {
1341       if (action == MSG_ADD_RECIPIENT)
1342         {
1343 #ifdef SUPPORT_I18N
1344         if (string_is_utf8(recipient)) allow_utf8_domains = message_smtputf8 = TRUE;
1345 #endif
1346         receive_add_recipient(recipient, -1);
1347         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1348           recipient, username);
1349         }
1350       else if (action == MSG_MARK_DELIVERED)
1351         {
1352         for (i = 0; i < recipients_count; i++)
1353           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1354         if (i >= recipients_count)
1355           {
1356           printf("- error while %s:\n  %s is not a recipient:"
1357             " message not updated\n", doing, recipient);
1358           yield = FALSE;
1359           }
1360         else
1361           {
1362           tree_add_nonrecipient(recipients_list[i].address);
1363           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1364             recipient, username);
1365           }
1366         }
1367       else  /* MSG_EDIT_SENDER */
1368         {
1369 #ifdef SUPPORT_I18N
1370         if (string_is_utf8(recipient)) allow_utf8_domains = message_smtputf8 = TRUE;
1371 #endif
1372         sender_address = recipient;
1373         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1374           recipient, username);
1375         }
1376       }
1377     }
1378
1379   if (yield)
1380     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1381       printf("has been modified\n");
1382     else
1383       {
1384       yield = FALSE;
1385       printf("- while %s: %s\n", doing, errmsg);
1386       }
1387
1388   break;
1389   }
1390
1391 /* Closing the datafile releases the lock and permits other processes
1392 to operate on the message (if it still exists). */
1393
1394 if (deliver_datafile >= 0)
1395   {
1396   (void)close(deliver_datafile);
1397   deliver_datafile = -1;
1398   }
1399 return yield;
1400 }
1401
1402
1403
1404 /*************************************************
1405 *       Check the queue_only_file condition      *
1406 *************************************************/
1407
1408 /* The queue_only_file option forces certain kinds of queueing if a given file
1409 exists.
1410
1411 Arguments:  none
1412 Returns:    nothing
1413 */
1414
1415 void
1416 queue_check_only(void)
1417 {
1418 BOOL *set;
1419 int sep = 0;
1420 struct stat statbuf;
1421 const uschar *s;
1422 uschar *ss, *name;
1423 uschar buffer[1024];
1424
1425 if (queue_only_file == NULL) return;
1426
1427 s = queue_only_file;
1428 while ((ss = string_nextinlist(&s, &sep, buffer, sizeof(buffer))) != NULL)
1429   {
1430   if (Ustrncmp(ss, "smtp", 4) == 0)
1431     {
1432     name = US"queue_smtp";
1433     set = &queue_smtp;
1434     ss += 4;
1435     }
1436   else
1437     {
1438     name = US"queue_only";
1439     set = &queue_only;
1440     }
1441
1442   if (Ustat(ss, &statbuf) == 0)
1443     {
1444     *set = TRUE;
1445     DEBUG(D_receive) debug_printf("%s set because %s exists\n", name, ss);
1446     }
1447   }
1448 }
1449
1450 #endif /*!COMPILE_UTILITY*/
1451
1452 /* End of queue.c */