Start
[users/jgh/exim.git] / src / src / queue.c
1 /* $Cambridge: exim/src/src/queue.c,v 1.1 2004/10/07 10:39:01 ph10 Exp $ */
2
3 /*************************************************
4 *     Exim - an Internet mail transport agent    *
5 *************************************************/
6
7 /* Copyright (c) University of Cambridge 1995 - 2004 */
8 /* See the file NOTICE for conditions of use and distribution. */
9
10 /* Functions that operate on the input queue. */
11
12
13 #include "exim.h"
14
15
16
17 /* The number of nodes to use for the bottom-up merge sort when a list of queue
18 items is to be ordered. The code for this sort was contributed as a patch by
19 Michael Haardt. */
20
21 #define LOG2_MAXNODES 32
22
23
24
25 /*************************************************
26 *  Helper sort function for queue_get_spool_list *
27 *************************************************/
28
29 /* This function is used when sorting the queue list in the function
30 queue_get_spool_list() below.
31
32 Arguments:
33   a            points to an ordered list of queue_filename items
34   b            points to another ordered list
35
36 Returns:       a pointer to a merged ordered list
37 */
38
39 static queue_filename *
40 merge_queue_lists(queue_filename *a, queue_filename *b)
41 {
42 queue_filename *first = NULL;
43 queue_filename **append = &first;
44
45 while (a != NULL && b != NULL)
46   {
47   if (Ustrcmp(a->text, b->text) < 0)
48     {
49     *append = a;
50     append= &a->next;
51     a = a->next;
52     }
53   else
54     {
55     *append = b;
56     append= &b->next;
57     b = b->next;
58     }
59   }
60
61 *append=((a != NULL)? a : b);
62 return first;
63 }
64
65
66
67
68
69 /*************************************************
70 *             Get list of spool files            *
71 *************************************************/
72
73 /* Scan the spool directory and return a list of the relevant file names
74 therein. Single-character sub-directories are handled as follows:
75
76   If the first argument is > 0, a sub-directory is scanned; the letter is
77   taken from the nth entry in subdirs.
78
79   If the first argument is 0, sub-directories are not scanned. However, a
80   list of them is returned.
81
82   If the first argument is < 0, sub-directories are scanned for messages,
83   and a single, unified list is created. The returned data blocks contain the
84   identifying character of the subdirectory, if any. The subdirs vector is
85   still required as an argument.
86
87 If the randomize argument is TRUE, messages are returned in "randomized" order.
88 Actually, the order is anything but random, but the algorithm is cheap, and the
89 point is simply to ensure that the same order doesn't occur every time, in case
90 a particular message is causing a remote MTA to barf - we would like to try
91 other messages to that MTA first.
92
93 If the randomize argument is FALSE, sort the list according to the file name.
94 This should give the order in which the messages arrived. It is normally used
95 only for presentation to humans, in which case the (possibly expensive) sort
96 that it does is not part of the normal operational code. However, if
97 queue_run_in_order is set, sorting has to take place for queue runs as well.
98 When randomize is FALSE, the first argument is normally -1, so all messages are
99 included.
100
101 Arguments:
102   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
103   subdirs        vector to store list of subdirchars
104   subcount       pointer to int in which to store count of subdirs
105   randomize      TRUE if the order of the list is to be unpredictable
106
107 Returns:         pointer to a chain of queue name items
108 */
109
110 static queue_filename *
111 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
112   BOOL randomize)
113 {
114 int i;
115 int flags = 0;
116 int resetflags = -1;
117 int subptr;
118 queue_filename *yield = NULL;
119 queue_filename *last = NULL;
120 struct dirent *ent;
121 DIR *dd;
122 uschar buffer[256];
123 queue_filename *root[LOG2_MAXNODES];
124
125 /* When randomizing, the file names are added to the start or end of the list
126 according to the bits of the flags variable. Get a collection of bits from the
127 current time. Use the bottom 16 and just keep re-using them if necessary. When
128 not randomizing, initialize the sublists for the bottom-up merge sort. */
129
130 if (randomize) resetflags = time(NULL) & 0xFFFF;
131   else for (i = 0; i < LOG2_MAXNODES; i++) root[i] = NULL;
132
133 /* If processing the full queue, or just the top-level, start at the base
134 directory, and initialize the first subdirectory name (as none). Otherwise,
135 start at the sub-directory offset. */
136
137 if (subdiroffset <= 0)
138   {
139   i = 0;
140   subdirs[0] = 0;
141   *subcount = 0;
142   }
143 else i = subdiroffset;
144
145 /* Set up prototype for the directory name. */
146
147 sprintf(CS buffer, "%s/input", spool_directory);
148 subptr = Ustrlen(buffer);
149 buffer[subptr+2] = 0;               /* terminator for lengthened name */
150
151 /* This loop runs at least once, for the main or given directory, and then as
152 many times as necessary to scan any subdirectories encountered in the main
153 directory, if they are to be scanned at this time. */
154
155 for (; i <= *subcount; i++)
156   {
157   int count = 0;
158   int subdirchar = subdirs[i];      /* 0 for main directory */
159
160   if (subdirchar != 0)
161     {
162     buffer[subptr] = '/';
163     buffer[subptr+1] = subdirchar;
164     }
165
166   dd = opendir(CS buffer);
167   if (dd == NULL) continue;
168
169   /* Now scan the directory. */
170
171   while ((ent = readdir(dd)) != NULL)
172     {
173     uschar *name = US ent->d_name;
174     int len = Ustrlen(name);
175
176     /* Count entries */
177
178     count++;
179
180     /* If we find a single alphameric sub-directory in the base directory,
181     add it to the list for subsequent scans. */
182
183     if (i == 0 && len == 1 && isalnum(*name))
184       {
185       *subcount = *subcount + 1;
186       subdirs[*subcount] = *name;
187       continue;
188       }
189
190     /* Otherwise, if it is a header spool file, add it to the list */
191
192     if (len == SPOOL_NAME_LENGTH &&
193         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
194       {
195       queue_filename *next =
196         store_get(sizeof(queue_filename) + Ustrlen(name));
197       Ustrcpy(next->text, name);
198       next->dir_uschar = subdirchar;
199
200       /* Handle the creation of a randomized list. The first item becomes both
201       the top and bottom of the list. Subsequent items are inserted either at
202       the top or the bottom, randomly. This is, I argue, faster than doing a
203       sort by allocating a random number to each item, and it also saves having
204       to store the number with each item. */
205
206       if (randomize)
207         {
208         if (yield == NULL)
209           {
210           next->next = NULL;
211           yield = last = next;
212           }
213         else
214           {
215           if (flags == 0) flags = resetflags;
216           if ((flags & 1) == 0)
217             {
218             next->next = yield;
219             yield = next;
220             }
221           else
222             {
223             next->next = NULL;
224             last->next = next;
225             last = next;
226             }
227           flags = flags >> 1;
228           }
229         }
230
231       /* Otherwise do a bottom-up merge sort based on the name. */
232
233       else
234         {
235         int j;
236         next->next = NULL;
237         for (j = 0; j < LOG2_MAXNODES; j++)
238           {
239           if (root[j] != NULL)
240             {
241             next = merge_queue_lists(next, root[j]);
242             root[j] = (j == LOG2_MAXNODES - 1)? next : NULL;
243             }
244           else
245             {
246             root[j] = next;
247             break;
248             }
249           }
250         }
251       }
252     }
253
254   /* Finished with this directory */
255
256   closedir(dd);
257
258   /* If we have just scanned a sub-directory, and it was empty (count == 2
259   implies just "." and ".." entries), and Exim is no longer configured to
260   use sub-directories, attempt to get rid of it. At the same time, try to
261   get rid of any corresponding msglog subdirectory. These are just cosmetic
262   tidying actions, so just ignore failures. If we are scanning just a single
263   sub-directory, break the loop. */
264
265   if (i != 0)
266     {
267     if (!split_spool_directory && count <= 2)
268       {
269       rmdir(CS buffer);
270       sprintf(CS big_buffer, "%s/msglog/%c", spool_directory, subdirchar);
271       rmdir(CS big_buffer);
272       }
273     if (subdiroffset > 0) break;    /* Single sub-directory */
274     }
275
276   /* If we have just scanned the base directory, and subdiroffset is 0,
277   we do not want to continue scanning the sub-directories. */
278
279   else
280     {
281     if (subdiroffset == 0) break;
282     }
283   }    /* Loop for multiple subdirectories */
284
285 /* When using a bottom-up merge sort, do the final merging of the sublists.
286 Then pass back the final list of file items. */
287
288 if (!randomize)
289   for (i = 0; i < LOG2_MAXNODES; ++i)
290     yield = merge_queue_lists(yield, root[i]);
291
292 return yield;
293 }
294
295
296
297
298 /*************************************************
299 *              Perform a queue run               *
300 *************************************************/
301
302 /* The arguments give the messages to start and stop at; NULL means start at
303 the beginning or stop at the end. If the given start message doesn't exist, we
304 start at the next lexically greater one, and likewise we stop at the after the
305 previous lexically lesser one if the given stop message doesn't exist. Because
306 a queue run can take some time, stat each file before forking, in case it has
307 been delivered in the meantime by some other means.
308
309 The global variables queue_run_force and queue_run_local may be set to cause
310 forced deliveries or local-only deliveries, respectively.
311
312 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
313 not contain the string. As this option is typically used when a machine comes
314 back online, we want to ensure that at least one delivery attempt takes place,
315 so force the first one. The selecting string can optionally be a regex, or
316 refer to the sender instead of recipients.
317
318 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
319 is set so that routing is done for all messages. Thus in the second run those
320 that are routed to the same host should go down the same SMTP connection.
321
322 Arguments:
323   start_id   message id to start at, or NULL for all
324   stop_id    message id to end at, or NULL for all
325   recurse    TRUE if recursing for 2-stage run
326
327 Returns:     nothing
328 */
329
330 void
331 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
332 {
333 BOOL force_delivery = queue_run_force || deliver_selectstring != NULL ||
334   deliver_selectstring_sender != NULL;
335 const pcre *selectstring_regex = NULL;
336 const pcre *selectstring_regex_sender = NULL;
337 uschar *log_detail = NULL;
338 int subcount = 0;
339 int i;
340 uschar subdirs[64];
341
342 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
343 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
344 gets set. Save the queue_runner's pid and the flag that indicates any
345 deliveries run directly from this process. Deliveries that are run by handing
346 on TCP/IP channels have queue_run_pid set, but not queue_running. */
347
348 queue_domains = NULL;
349 queue_smtp_domains = NULL;
350 queue_smtp = queue_2stage;
351
352 queue_run_pid = getpid();
353 queue_running = TRUE;
354
355 /* Log the true start of a queue run, and fancy options */
356
357 if (!recurse)
358   {
359   uschar extras[8];
360   uschar *p = extras;
361
362   if (queue_2stage) *p++ = 'q';
363   if (queue_run_first_delivery) *p++ = 'i';
364   if (queue_run_force) *p++ = 'f';
365   if (deliver_force_thaw) *p++ = 'f';
366   if (queue_run_local) *p++ = 'l';
367   *p = 0;
368
369   p = big_buffer;
370   sprintf(CS p, "pid=%d", (int)queue_run_pid);
371   while (*p != 0) p++;
372
373   if (extras[0] != 0)
374     {
375     sprintf(CS p, " -q%s", extras);
376     while (*p != 0) p++;
377     }
378
379   if (deliver_selectstring != NULL)
380     {
381     sprintf(CS p, " -R%s %s", deliver_selectstring_regex? "r" : "",
382       deliver_selectstring);
383     while (*p != 0) p++;
384     }
385
386   if (deliver_selectstring_sender != NULL)
387     {
388     sprintf(CS p, " -S%s %s", deliver_selectstring_sender_regex? "r" : "",
389       deliver_selectstring_sender);
390     while (*p != 0) p++;
391     }
392
393   log_detail = string_copy(big_buffer);
394   log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
395   }
396
397 /* If deliver_selectstring is a regex, compile it. */
398
399 if (deliver_selectstring != NULL && deliver_selectstring_regex)
400   selectstring_regex = regex_must_compile(deliver_selectstring, TRUE, FALSE);
401
402 if (deliver_selectstring_sender != NULL && deliver_selectstring_sender_regex)
403   selectstring_regex_sender =
404     regex_must_compile(deliver_selectstring_sender, TRUE, FALSE);
405
406 /* If the spool is split into subdirectories, we want to process it one
407 directory at a time, so as to spread out the directory scanning and the
408 delivering when there are lots of messages involved, except when
409 queue_run_in_order is set.
410
411 In the random order case, this loop runs once for the main directory (handling
412 any messages therein), and then repeats for any subdirectories that were found.
413 When the first argument of queue_get_spool_list() is 0, it scans the top
414 directory, fills in subdirs, and sets subcount. The order of the directories is
415 then randomized after the first time through, before they are scanned in
416 subsqeuent iterations.
417
418 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
419 order), it scans all directories and makes a single message list. */
420
421 for (i  = (queue_run_in_order? -1 : 0);
422      i <= (queue_run_in_order? -1 : subcount);
423      i++)
424   {
425   queue_filename *f;
426   void *reset_point1 = store_get(0);
427
428   DEBUG(D_queue_run)
429     {
430     if (i == 0)
431       debug_printf("queue running main directory\n");
432     else if (i == -1)
433       debug_printf("queue running combined directories\n");
434     else
435       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
436     }
437
438   for (f = queue_get_spool_list(i, subdirs, &subcount, !queue_run_in_order);
439        f != NULL;
440        f = f->next)
441     {
442     pid_t pid;
443     int status;
444     int pfd[2];
445     struct stat statbuf;
446     uschar buffer[256];
447
448     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
449     check that the load average is low enough to permit deliveries. */
450
451     if (!queue_run_force && deliver_queue_load_max >= 0)
452       {
453       load_average = os_getloadavg();
454       if (load_average > deliver_queue_load_max)
455         {
456         log_write(0, LOG_MAIN, "abandon queue run (load %.2f, max %.2f)",
457           (double)load_average/1000.0,
458           (double)deliver_queue_load_max/1000.0);
459         i = subcount;                 /* Don't process other directories */
460         break;
461         }
462       else
463         {
464         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
465           (double)load_average/1000.0,
466           (double)deliver_queue_load_max/1000.0);
467         }
468       }
469
470     /* Skip this message unless it's within the ID limits */
471
472     if (stop_id != NULL && Ustrncmp(f->text, stop_id, MESSAGE_ID_LENGTH) > 0)
473       continue;
474     if (start_id != NULL && Ustrncmp(f->text, start_id, MESSAGE_ID_LENGTH) < 0)
475       continue;
476
477     /* Check that the message still exists */
478
479     message_subdir[0] = f->dir_uschar;
480     sprintf(CS buffer, "%s/input/%s/%s", spool_directory, message_subdir,
481       f->text);
482     if (Ustat(buffer, &statbuf) < 0) continue;
483
484     /* There are some tests that require the reading of the header file. Ensure
485     the store used is scavenged afterwards so that this process doesn't keep
486     growing its store. We have to read the header file again when actually
487     delivering, but it's cheaper than forking a delivery process for each
488     message when many are not going to be delivered. */
489
490     if (deliver_selectstring != NULL || deliver_selectstring_sender != NULL ||
491         queue_run_first_delivery)
492       {
493       BOOL wanted = TRUE;
494       BOOL orig_dont_deliver = dont_deliver;
495       void *reset_point2 = store_get(0);
496
497       /* Restore the original setting of dont_deliver after reading the header,
498       so that a setting for a particular message doesn't force it for any that
499       follow. If the message is chosen for delivery, the header is read again
500       in the deliver_message() function, in a subprocess. */
501
502       if (spool_read_header(f->text, FALSE, TRUE) != spool_read_OK) continue;
503       dont_deliver = orig_dont_deliver;
504
505       /* Now decide if we want to deliver this message. As we have read the
506       header file, we might as well do the freeze test now, and save forking
507       another process. */
508
509       if (deliver_freeze && !deliver_force_thaw)
510         {
511         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
512         wanted = FALSE;
513         }
514
515       /* Check first_delivery in the case when there are no message logs. */
516
517       else if (queue_run_first_delivery && !deliver_firsttime)
518         {
519         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", f->text);
520         wanted = FALSE;
521         }
522
523       /* Check for a matching address if deliver_selectstring[_sender} is set.
524       If so, we do a fully delivery - don't want to omit other addresses since
525       their routing might trigger re-writing etc. */
526
527       /* Sender matching */
528
529       else if (deliver_selectstring_sender != NULL &&
530               !(deliver_selectstring_sender_regex?
531                 (pcre_exec(selectstring_regex_sender, NULL, CS sender_address,
532                   Ustrlen(sender_address), 0, PCRE_EOPT, NULL, 0) >= 0)
533                 :
534                 (strstric(sender_address, deliver_selectstring_sender, FALSE)
535                   != NULL)))
536         {
537         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
538           f->text, deliver_selectstring_sender);
539         wanted = FALSE;
540         }
541
542       /* Recipient matching */
543
544       else if (deliver_selectstring != NULL)
545         {
546         int i;
547         for (i = 0; i < recipients_count; i++)
548           {
549           uschar *address = recipients_list[i].address;
550           if ((deliver_selectstring_regex?
551                (pcre_exec(selectstring_regex, NULL, CS address,
552                  Ustrlen(address), 0, PCRE_EOPT, NULL, 0) >= 0)
553                :
554                (strstric(address, deliver_selectstring, FALSE) != NULL))
555               &&
556               tree_search(tree_nonrecipients, address) == NULL)
557             break;
558           }
559
560         if (i >= recipients_count)
561           {
562           DEBUG(D_queue_run)
563             debug_printf("%s: no recipient address matched %s\n",
564               f->text, deliver_selectstring);
565           wanted = FALSE;
566           }
567         }
568
569       /* Recover store used when reading the header */
570
571       store_reset(reset_point2);
572       if (!wanted) continue;      /* With next message */
573       }
574
575     /* OK, got a message we want to deliver. Create a pipe which will
576     serve as a means of detecting when all the processes created by the
577     delivery process are finished. This is relevant when the delivery
578     process passes one or more SMTP channels on to its own children. The
579     pipe gets passed down; by reading on it here we detect when the last
580     descendent dies by the unblocking of the read. It's a pity that for
581     most of the time the pipe isn't used, but creating a pipe should be
582     pretty cheap. */
583
584     if (pipe(pfd) < 0)
585       {
586       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
587         "runner process %d: %s", queue_run_pid, strerror(errno));
588       }
589     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
590
591     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
592     safe side... */
593
594     if (queue_run_pipe == 0)
595       {
596       queue_run_pipe = dup(queue_run_pipe);
597       close(0);
598       }
599
600     /* Before forking to deliver the message, ensure any open and cached
601     lookup files or databases are closed. Otherwise, closing in the subprocess
602     can make the next subprocess have problems. There won't often be anything
603     open here, but it is possible (e.g. if spool_directory is an expanded
604     string). A single call before this loop would probably suffice, but just in
605     case expansions get inserted at some point, I've taken the heavy-handed
606     approach. When nothing is open, the call should be cheap. */
607
608     search_tidyup();
609
610     /* Now deliver the message; get the id by cutting the -H off the file
611     name. The return of the process is zero if a delivery was attempted. */
612
613     set_process_info("running queue: %s", f->text);
614     f->text[SPOOL_NAME_LENGTH-2] = 0;
615     if ((pid = fork()) == 0)
616       {
617       int rc;
618       (void)close(pfd[pipe_read]);
619       rc = deliver_message(f->text, force_delivery, FALSE);
620       _exit(rc == DELIVER_NOT_ATTEMPTED);
621       }
622     if (pid < 0)
623       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
624         "queue runner %d failed\n", queue_run_pid);
625
626     /* Close the writing end of the synchronizing pipe in this process,
627     then wait for the first level process to terminate. */
628
629     close(pfd[pipe_write]);
630     set_process_info("running queue: waiting for %s (%d)", f->text, pid);
631     while (wait(&status) != pid);
632
633     /* A zero return means a delivery was attempted; turn off the force flag
634     for any subsequent calls unless queue_force is set. */
635
636     if ((status & 0xffff) == 0) force_delivery = queue_run_force;
637
638     /* If the process crashed, tell somebody */
639
640     else if ((status & 0x00ff) != 0)
641       {
642       log_write(0, LOG_MAIN|LOG_PANIC,
643         "queue run: process %d crashed with signal %d while delivering %s",
644         (int)pid, status & 0x00ff, f->text);
645       }
646
647     /* Before continuing, wait till the pipe gets closed at the far end. This
648     tells us that any children created by the delivery to re-use any SMTP
649     channels have all finished. Since no process actually writes to the pipe,
650     the mere fact that read() unblocks is enough. */
651
652     set_process_info("running queue: waiting for children of %d", pid);
653     (void)read(pfd[pipe_read], buffer, sizeof(buffer));
654     (void)close(pfd[pipe_read]);
655     set_process_info("running queue");
656
657     /* If we are in the test harness, and this is not the first of a 2-stage
658     queue run, update fudged queue times. */
659
660     if (running_in_test_harness && !queue_2stage)
661       {
662       uschar *fqtnext = Ustrchr(fudged_queue_times, '/');
663       if (fqtnext != NULL) fudged_queue_times = fqtnext + 1;
664       }
665     }                                  /* End loop for list of messages */
666
667   store_reset(reset_point1);           /* Scavenge list of messages */
668
669   /* If this was the first time through for random order processing, and
670   sub-directories have been found, randomize their order if necessary. */
671
672   if (i == 0 && subcount > 1 && !queue_run_in_order)
673     {
674     int j;
675     for (j = 1; j <= subcount; j++)
676       {
677       int r = random_number(100);
678       if (r >= 50)
679         {
680         int k = (r % subcount) + 1;
681         int x = subdirs[j];
682         subdirs[j] = subdirs[k];
683         subdirs[k] = x;
684         }
685       }
686     }
687   }                                    /* End loop for multiple directories */
688
689 /* If queue_2stage is true, we do it all again, with the 2stage flag
690 turned off. */
691
692 if (queue_2stage)
693   {
694   queue_2stage = FALSE;
695   queue_run(start_id, stop_id, TRUE);
696   }
697
698 /* At top level, log the end of the run. */
699
700 if (!recurse) log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
701 }
702
703
704
705
706 /************************************************
707 *         Count messages on the queue           *
708 ************************************************/
709
710 /* Called as a result of -bpc
711
712 Arguments:  none
713 Returns:    nothing
714 */
715
716 void
717 queue_count(void)
718 {
719 int subcount;
720 int count = 0;
721 queue_filename *f = NULL;
722 uschar subdirs[64];
723 f = queue_get_spool_list(
724         -1,             /* entire queue */
725         subdirs,        /* for holding sub list */
726         &subcount,      /* for subcount */
727         FALSE);         /* not random */
728 for (; f != NULL; f = f->next) count++;
729 fprintf(stdout, "%d\n", count);
730 }
731
732
733
734 /************************************************
735 *          List extra deliveries                *
736 ************************************************/
737
738 /* This is called from queue_list below to print out all addresses that
739 have received a message but which were not primary addresses. That is, all
740 the addresses in the tree of non-recipients that are not primary addresses.
741 The tree has been scanned and the data field filled in for those that are
742 primary addresses.
743
744 Argument:    points to the tree node
745 Returns:     nothing
746 */
747
748 static void queue_list_extras(tree_node *p)
749 {
750 if (p->left != NULL) queue_list_extras(p->left);
751 if (!p->data.val) printf("       +D %s\n", p->name);
752 if (p->right != NULL) queue_list_extras(p->right);
753 }
754
755
756
757 /************************************************
758 *          List messages on the queue           *
759 ************************************************/
760
761 /* Or a given list of messages. In the "all" case, we get a list of file names
762 as quickly as possible, then scan each one for information to output. If any
763 disappear while we are processing, just leave them out, but give an error if an
764 explicit list was given. This function is a top-level function that is obeyed
765 as a result of the -bp argument. As there may be a lot of messages on the
766 queue, we must tidy up the store after reading the headers for each one.
767
768 Arguments:
769    option     0 => list top-level recipients, with "D" for those delivered
770               1 => list only undelivered top-level recipients
771               2 => as 0, plus any generated delivered recipients
772               If 8 is added to any of these values, the queue is listed in
773                 random order.
774    list       => first of any message ids to list
775    count      count of message ids; 0 => all
776
777 Returns:      nothing
778 */
779
780 void
781 queue_list(int option, uschar **list, int count)
782 {
783 int i;
784 int subcount;
785 int now = (int)time(NULL);
786 void *reset_point;
787 queue_filename *f = NULL;
788 uschar subdirs[64];
789
790 /* If given a list of messages, build a chain containing their ids. */
791
792 if (count > 0)
793   {
794   queue_filename *last = NULL;
795   for (i = 0; i < count; i++)
796     {
797     queue_filename *next =
798       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2);
799     sprintf(CS next->text, "%s-H", list[i]);
800     next->dir_uschar = '*';
801     next->next = NULL;
802     if (i == 0) f = next; else last->next = next;
803     last = next;
804     }
805   }
806
807 /* Otherwise get a list of the entire queue, in order if necessary. */
808
809 else
810   f = queue_get_spool_list(
811           -1,             /* entire queue */
812           subdirs,        /* for holding sub list */
813           &subcount,      /* for subcount */
814           option >= 8);   /* randomize if required */
815
816 if (option >= 8) option -= 8;
817
818 /* Now scan the chain and print information, resetting store used
819 each time. */
820
821 reset_point = store_get(0);
822
823 for (; f != NULL; f = f->next)
824   {
825   int rc, save_errno;
826   int size = 0;
827   BOOL env_read;
828
829   store_reset(reset_point);
830   message_size = 0;
831   message_subdir[0] = f->dir_uschar;
832   rc = spool_read_header(f->text, FALSE, count <= 0);
833   if (rc == spool_read_notopen && errno == ENOENT && count <= 0) continue;
834   save_errno = errno;
835
836   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
837
838   if (env_read)
839     {
840     int ptr;
841     FILE *jread;
842     struct stat statbuf;
843
844     sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
845       f->text);
846     ptr = Ustrlen(big_buffer)-1;
847     big_buffer[ptr] = 'D';
848
849     /* Add the data size to the header size; don't count the file name
850     at the start of the data file, but add one for the notional blank line
851     that precedes the data. */
852
853     if (Ustat(big_buffer, &statbuf) == 0)
854       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
855     i = (now - received_time)/60;  /* minutes on queue */
856     if (i > 90)
857       {
858       i = (i + 30)/60;
859       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
860       }
861     else printf("%2dm ", i);
862
863     /* Collect delivered addresses from any J file */
864
865     big_buffer[ptr] = 'J';
866     jread = Ufopen(big_buffer, "rb");
867     if (jread != NULL)
868       {
869       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
870         {
871         int n = Ustrlen(big_buffer);
872         big_buffer[n-1] = 0;
873         tree_add_nonrecipient(big_buffer);
874         }
875       fclose(jread);
876       }
877     }
878
879   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
880   for (i = 0; i < 16; i++) fputc(f->text[i], stdout);
881
882   if (env_read && sender_address != NULL)
883     {
884     printf(" <%s>", sender_address);
885     if (sender_set_untrusted) printf(" (%s)", originator_login);
886     }
887
888   if (rc != spool_read_OK)
889     {
890     printf("\n    ");
891     if (save_errno == ERRNO_SPOOLFORMAT)
892       {
893       struct stat statbuf;
894       sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
895         f->text);
896       if (Ustat(big_buffer, &statbuf) == 0)
897         {
898         int size = statbuf.st_size;    /* Because might be a long */
899         printf("*** spool format error: size=%d ***", size);
900         }
901       else printf("*** spool format error ***");
902       }
903     else printf("*** spool read error: %s ***", strerror(save_errno));
904     if (rc != spool_read_hdrerror)
905       {
906       printf("\n\n");
907       continue;
908       }
909     }
910
911   if (deliver_freeze) printf(" *** frozen ***");
912
913   printf("\n");
914
915   if (recipients_list != NULL)
916     {
917     for (i = 0; i < recipients_count; i++)
918       {
919       tree_node *delivered =
920         tree_search(tree_nonrecipients, recipients_list[i].address);
921       if (!delivered || option != 1)
922         printf("        %s %s\n", (delivered != NULL)? "D":" ",
923           recipients_list[i].address);
924       if (delivered != NULL) delivered->data.val = TRUE;
925       }
926     if (option == 2 && tree_nonrecipients != NULL)
927       queue_list_extras(tree_nonrecipients);
928     printf("\n");
929     }
930   }
931 }
932
933
934
935 /*************************************************
936 *             Act on a specific message          *
937 *************************************************/
938
939 /* Actions that require a list of addresses make use of
940 argv/argc/recipients_arg. Other actions do not. This function does its
941 own authority checking.
942
943 Arguments:
944   id              id of the message to work on
945   action          which action is required (MSG_xxx)
946   argv            the original argv for Exim
947   argc            the original argc for Exim
948   recipients_arg  offset to the list of recipients in argv
949
950 Returns:          FALSE if there was any problem
951 */
952
953 BOOL
954 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
955 {
956 int i, j;
957 BOOL yield = TRUE;
958 BOOL removed = FALSE;
959 struct passwd *pw;
960 uschar *doing = NULL;
961 uschar *username;
962 uschar *errmsg;
963 uschar spoolname[256];
964
965 /* Set the global message_id variable, used when re-writing spool files. This
966 also causes message ids to be added to log messages. */
967
968 Ustrcpy(message_id, id);
969
970 /* The "actions" that just list the files do not require any locking to be
971 done. Only admin users may read the spool files. */
972
973 if (action >= MSG_SHOW_BODY)
974   {
975   int fd, i, rc;
976   uschar *subdirectory, *suffix;
977
978   if (!admin_user)
979     {
980     printf("Permission denied\n");
981     return FALSE;
982     }
983
984   if (recipients_arg < argc)
985     {
986     printf("*** Only one message can be listed at once\n");
987     return FALSE;
988     }
989
990   if (action == MSG_SHOW_BODY)
991     {
992     subdirectory = US"input";
993     suffix = US"-D";
994     }
995   else if (action == MSG_SHOW_HEADER)
996     {
997     subdirectory = US"input";
998     suffix = US"-H";
999     }
1000   else
1001     {
1002     subdirectory = US"msglog";
1003     suffix = US"";
1004     }
1005
1006   for (i = 0; i < 2; i++)
1007     {
1008     message_subdir[0] = (split_spool_directory == (i == 0))? id[5] : 0;
1009     sprintf(CS spoolname, "%s/%s/%s/%s%s", spool_directory, subdirectory,
1010       message_subdir, id, suffix);
1011     fd = Uopen(spoolname, O_RDONLY, 0);
1012     if (fd >= 0) break;
1013     if (i == 0) continue;
1014     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1015       strerror(errno));
1016     if (action == MSG_SHOW_LOG && !message_logs)
1017       printf("(No message logs are being created because the message_logs "
1018         "option is false.)\n");
1019     return FALSE;
1020     }
1021
1022   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1023     write(fileno(stdout), big_buffer, rc);
1024
1025   close(fd);
1026   return TRUE;
1027   }
1028
1029 /* For actions that actually act, open and lock the data file to ensure that no
1030 other process is working on this message. If the file does not exist, continue
1031 only if the action is remove and the user is an admin user, to allow for
1032 tidying up broken states. */
1033
1034 if (!spool_open_datafile(id))
1035   {
1036   if (errno == ENOENT)
1037     {
1038     yield = FALSE;
1039     printf("Spool data file for %s does not exist\n", id);
1040     if (action != MSG_REMOVE || !admin_user) return FALSE;
1041     printf("Continuing, to ensure all files removed\n");
1042     }
1043   else
1044     {
1045     if (errno == 0) printf("Message %s is locked\n", id);
1046       else printf("Couldn't open spool file for %s: %s\n", id,
1047         strerror(errno));
1048     return FALSE;
1049     }
1050   }
1051
1052 /* Read the spool header file for the message. Again, continue after an
1053 error only in the case of deleting by an administrator. Setting the third
1054 argument false causes it to look both in the main spool directory and in
1055 the appropriate subdirectory, and set message_subdir according to where it
1056 found the message. */
1057
1058 sprintf(CS spoolname, "%s-H", id);
1059 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1060   {
1061   yield = FALSE;
1062   if (errno != ERRNO_SPOOLFORMAT)
1063     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1064   else
1065     printf("Spool format error for %s\n", spoolname);
1066   if (action != MSG_REMOVE || !admin_user)
1067     {
1068     close(deliver_datafile);
1069     deliver_datafile = -1;
1070     return FALSE;
1071     }
1072   printf("Continuing to ensure all files removed\n");
1073   }
1074
1075 /* Check that the user running this process is entitled to operate on this
1076 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1077 mess about, but the original sender is permitted to remove a message. That's
1078 why we leave this check until after the headers are read. */
1079
1080 if (!admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1081   {
1082   printf("Permission denied\n");
1083   close(deliver_datafile);
1084   deliver_datafile = -1;
1085   return FALSE;
1086   }
1087
1088 /* Set up the user name for logging. */
1089
1090 pw = getpwuid(real_uid);
1091 username = (pw != NULL)?
1092   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1093
1094 /* Take the necessary action. */
1095
1096 printf("Message %s ", id);
1097
1098 switch(action)
1099   {
1100   case MSG_FREEZE:
1101   if (deliver_freeze)
1102     {
1103     yield = FALSE;
1104     printf("is already frozen\n");
1105     }
1106   else
1107     {
1108     deliver_freeze = TRUE;
1109     deliver_manual_thaw = FALSE;
1110     deliver_frozen_at = time(NULL);
1111     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1112       {
1113       printf("is now frozen\n");
1114       log_write(0, LOG_MAIN, "frozen by %s", username);
1115       }
1116     else
1117       {
1118       yield = FALSE;
1119       printf("could not be frozen: %s\n", errmsg);
1120       }
1121     }
1122   break;
1123
1124
1125   case MSG_THAW:
1126   if (!deliver_freeze)
1127     {
1128     yield = FALSE;
1129     printf("is not frozen\n");
1130     }
1131   else
1132     {
1133     deliver_freeze = FALSE;
1134     deliver_manual_thaw = TRUE;
1135     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1136       {
1137       printf("is no longer frozen\n");
1138       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1139       }
1140     else
1141       {
1142       yield = FALSE;
1143       printf("could not be unfrozen: %s\n", errmsg);
1144       }
1145     }
1146   break;
1147
1148
1149   /* We must ensure all files are removed from both the input directory
1150   and the appropriate subdirectory, to clean up cases when there are odd
1151   files left lying around in odd places. In the normal case message_subdir
1152   will have been set correctly by spool_read_header, but as this is a rare
1153   operation, just run everything twice. */
1154
1155   case MSG_REMOVE:
1156   message_subdir[0] = id[5];
1157   for (j = 0; j < 2; message_subdir[0] = 0, j++)
1158     {
1159     sprintf(CS spoolname, "%s/msglog/%s/%s", spool_directory, message_subdir, id);
1160     if (Uunlink(spoolname) < 0)
1161       {
1162       if (errno != ENOENT)
1163         {
1164         yield = FALSE;
1165         printf("Error while removing %s: %s\n", spoolname,
1166           strerror(errno));
1167         }
1168       }
1169     else removed = TRUE;
1170
1171     for (i = 0; i < 3; i++)
1172       {
1173       sprintf(CS spoolname, "%s/input/%s/%s-%c", spool_directory, message_subdir,
1174         id, "DHJ"[i]);
1175       if (Uunlink(spoolname) < 0)
1176         {
1177         if (errno != ENOENT)
1178           {
1179           yield = FALSE;
1180           printf("Error while removing %s: %s\n", spoolname,
1181             strerror(errno));
1182           }
1183         }
1184       else removed = TRUE;
1185       }
1186     }
1187
1188   /* In the common case, the datafile is open (and locked), so give the
1189   obvious message. Otherwise be more specific. */
1190
1191   if (deliver_datafile >= 0) printf("has been removed\n");
1192     else printf("has been removed or did not exist\n");
1193   if (removed) log_write(0, LOG_MAIN, "removed by %s", username);
1194   break;
1195
1196
1197   case MSG_MARK_ALL_DELIVERED:
1198   for (i = 0; i < recipients_count; i++)
1199     {
1200     tree_add_nonrecipient(recipients_list[i].address);
1201     }
1202   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1203     {
1204     printf("has been modified\n");
1205     for (i = 0; i < recipients_count; i++)
1206       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1207         recipients_list[i].address, username);
1208     }
1209   else
1210     {
1211     yield = FALSE;
1212     printf("- could not mark all delivered: %s\n", errmsg);
1213     }
1214   break;
1215
1216
1217   case MSG_EDIT_SENDER:
1218   if (recipients_arg < argc - 1)
1219     {
1220     yield = FALSE;
1221     printf("- only one sender address can be specified\n");
1222     break;
1223     }
1224   doing = US"editing sender";
1225   /* Fall through */
1226
1227   case MSG_ADD_RECIPIENT:
1228   if (doing == NULL) doing = US"adding recipient";
1229   /* Fall through */
1230
1231   case MSG_MARK_DELIVERED:
1232   if (doing == NULL) doing = US"marking as delivered";
1233
1234   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1235
1236   if (recipients_arg >= argc)
1237     {
1238     yield = FALSE;
1239     printf("- error while %s: no address given\n", doing);
1240     break;
1241     }
1242
1243   for (; recipients_arg < argc; recipients_arg++)
1244     {
1245     int start, end, domain;
1246     uschar *errmess;
1247     uschar *recipient =
1248       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1249         &domain, (action == MSG_EDIT_SENDER));
1250
1251     if (recipient == NULL)
1252       {
1253       yield = FALSE;
1254       printf("- error while %s:\n  bad address %s: %s\n",
1255         doing, argv[recipients_arg], errmess);
1256       }
1257     else if (recipient[0] != 0 && domain == 0)
1258       {
1259       yield = FALSE;
1260       printf("- error while %s:\n  bad address %s: "
1261         "domain missing\n", doing, argv[recipients_arg]);
1262       }
1263     else
1264       {
1265       if (action == MSG_ADD_RECIPIENT)
1266         {
1267         receive_add_recipient(recipient, -1);
1268         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1269           recipient, username);
1270         }
1271       else if (action == MSG_MARK_DELIVERED)
1272         {
1273         for (i = 0; i < recipients_count; i++)
1274           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1275         if (i >= recipients_count)
1276           {
1277           printf("- error while %s:\n  %s is not a recipient:"
1278             " message not updated\n", doing, recipient);
1279           yield = FALSE;
1280           }
1281         else
1282           {
1283           tree_add_nonrecipient(recipients_list[i].address);
1284           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1285             recipient, username);
1286           }
1287         }
1288       else  /* MSG_EDIT_SENDER */
1289         {
1290         sender_address = recipient;
1291         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1292           recipient, username);
1293         }
1294       }
1295     }
1296
1297   if (yield)
1298     {
1299     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1300       printf("has been modified\n");
1301     else
1302       {
1303       yield = FALSE;
1304       printf("- while %s: %s\n", doing, errmsg);
1305       }
1306     }
1307
1308   break;
1309   }
1310
1311 /* Closing the datafile releases the lock and permits other processes
1312 to operate on the message (if it still exists). */
1313
1314 close(deliver_datafile);
1315 deliver_datafile = -1;
1316 return yield;
1317 }
1318
1319
1320
1321 /*************************************************
1322 *       Check the queue_only_file condition      *
1323 *************************************************/
1324
1325 /* The queue_only_file option forces certain kinds of queueing if a given file
1326 exists.
1327
1328 Arguments:  none
1329 Returns:    nothing
1330 */
1331
1332 void
1333 queue_check_only(void)
1334 {
1335 BOOL *set;
1336 int sep = 0;
1337 struct stat statbuf;
1338 uschar *s, *ss, *name;
1339 uschar buffer[1024];
1340
1341 if (queue_only_file == NULL) return;
1342
1343 s = queue_only_file;
1344 while ((ss = string_nextinlist(&s, &sep, buffer, sizeof(buffer))) != NULL)
1345   {
1346   if (Ustrncmp(ss, "smtp", 4) == 0)
1347     {
1348     name = US"queue_smtp";
1349     set = &queue_smtp;
1350     ss += 4;
1351     }
1352   else
1353     {
1354     name = US"queue_only";
1355     set = &queue_only;
1356     }
1357
1358   if (Ustat(ss, &statbuf) == 0)
1359     {
1360     *set = TRUE;
1361     DEBUG(D_receive) debug_printf("%s set because %s exists\n", name, ss);
1362     }
1363   }
1364 }
1365
1366 /* End of queue.c */