src/src/queue.c

   1 /* $Cambridge: exim/src/src/queue.c,v 1.12 2007/06/19 14:41:31 ph10 Exp $ */
   2
   3 /*************************************************
   4 *     Exim - an Internet mail transport agent    *
   5 *************************************************/
   6
   7 /* Copyright (c) University of Cambridge 1995 - 2007 */
   8 /* See the file NOTICE for conditions of use and distribution. */
   9
  10 /* Functions that operate on the input queue. */
  11
  12
  13 #include "exim.h"
  14
  15
  16
  17 /* The number of nodes to use for the bottom-up merge sort when a list of queue
  18 items is to be ordered. The code for this sort was contributed as a patch by
  19 Michael Haardt. */
  20
  21 #define LOG2_MAXNODES 32
  22
  23
  24
  25 /*************************************************
  26 *  Helper sort function for queue_get_spool_list *
  27 *************************************************/
  28
  29 /* This function is used when sorting the queue list in the function
  30 queue_get_spool_list() below.
  31
  32 Arguments:
  33   a            points to an ordered list of queue_filename items
  34   b            points to another ordered list
  35
  36 Returns:       a pointer to a merged ordered list
  37 */
  38
  39 static queue_filename *
  40 merge_queue_lists(queue_filename *a, queue_filename *b)
  41 {
  42 queue_filename *first = NULL;
  43 queue_filename **append = &first;
  44
  45 while (a != NULL && b != NULL)
  46   {
  47   if (Ustrcmp(a->text, b->text) < 0)
  48     {
  49     *append = a;
  50     append= &a->next;
  51     a = a->next;
  52     }
  53   else
  54     {
  55     *append = b;
  56     append= &b->next;
  57     b = b->next;
  58     }
  59   }
  60
  61 *append=((a != NULL)? a : b);
  62 return first;
  63 }
  64
  65
  66
  67
  68
  69 /*************************************************
  70 *             Get list of spool files            *
  71 *************************************************/
  72
  73 /* Scan the spool directory and return a list of the relevant file names
  74 therein. Single-character sub-directories are handled as follows:
  75
  76   If the first argument is > 0, a sub-directory is scanned; the letter is
  77   taken from the nth entry in subdirs.
  78
  79   If the first argument is 0, sub-directories are not scanned. However, a
  80   list of them is returned.
  81
  82   If the first argument is < 0, sub-directories are scanned for messages,
  83   and a single, unified list is created. The returned data blocks contain the
  84   identifying character of the subdirectory, if any. The subdirs vector is
  85   still required as an argument.
  86
  87 If the randomize argument is TRUE, messages are returned in "randomized" order.
  88 Actually, the order is anything but random, but the algorithm is cheap, and the
  89 point is simply to ensure that the same order doesn't occur every time, in case
  90 a particular message is causing a remote MTA to barf - we would like to try
  91 other messages to that MTA first.
  92
  93 If the randomize argument is FALSE, sort the list according to the file name.
  94 This should give the order in which the messages arrived. It is normally used
  95 only for presentation to humans, in which case the (possibly expensive) sort
  96 that it does is not part of the normal operational code. However, if
  97 queue_run_in_order is set, sorting has to take place for queue runs as well.
  98 When randomize is FALSE, the first argument is normally -1, so all messages are
  99 included.
 100
 101 Arguments:
 102   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
 103   subdirs        vector to store list of subdirchars
 104   subcount       pointer to int in which to store count of subdirs
 105   randomize      TRUE if the order of the list is to be unpredictable
 106
 107 Returns:         pointer to a chain of queue name items
 108 */
 109
 110 static queue_filename *
 111 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
 112   BOOL randomize)
 113 {
 114 int i;
 115 int flags = 0;
 116 int resetflags = -1;
 117 int subptr;
 118 queue_filename *yield = NULL;
 119 queue_filename *last = NULL;
 120 struct dirent *ent;
 121 DIR *dd;
 122 uschar buffer[256];
 123 queue_filename *root[LOG2_MAXNODES];
 124
 125 /* When randomizing, the file names are added to the start or end of the list
 126 according to the bits of the flags variable. Get a collection of bits from the
 127 current time. Use the bottom 16 and just keep re-using them if necessary. When
 128 not randomizing, initialize the sublists for the bottom-up merge sort. */
 129
 130 if (randomize) resetflags = time(NULL) & 0xFFFF;
 131   else for (i = 0; i < LOG2_MAXNODES; i++) root[i] = NULL;
 132
 133 /* If processing the full queue, or just the top-level, start at the base
 134 directory, and initialize the first subdirectory name (as none). Otherwise,
 135 start at the sub-directory offset. */
 136
 137 if (subdiroffset <= 0)
 138   {
 139   i = 0;
 140   subdirs[0] = 0;
 141   *subcount = 0;
 142   }
 143 else i = subdiroffset;
 144
 145 /* Set up prototype for the directory name. */
 146
 147 sprintf(CS buffer, "%s/input", spool_directory);
 148 subptr = Ustrlen(buffer);
 149 buffer[subptr+2] = 0;               /* terminator for lengthened name */
 150
 151 /* This loop runs at least once, for the main or given directory, and then as
 152 many times as necessary to scan any subdirectories encountered in the main
 153 directory, if they are to be scanned at this time. */
 154
 155 for (; i <= *subcount; i++)
 156   {
 157   int count = 0;
 158   int subdirchar = subdirs[i];      /* 0 for main directory */
 159
 160   if (subdirchar != 0)
 161     {
 162     buffer[subptr] = '/';
 163     buffer[subptr+1] = subdirchar;
 164     }
 165
 166   dd = opendir(CS buffer);
 167   if (dd == NULL) continue;
 168
 169   /* Now scan the directory. */
 170
 171   while ((ent = readdir(dd)) != NULL)
 172     {
 173     uschar *name = US ent->d_name;
 174     int len = Ustrlen(name);
 175
 176     /* Count entries */
 177
 178     count++;
 179
 180     /* If we find a single alphameric sub-directory in the base directory,
 181     add it to the list for subsequent scans. */
 182
 183     if (i == 0 && len == 1 && isalnum(*name))
 184       {
 185       *subcount = *subcount + 1;
 186       subdirs[*subcount] = *name;
 187       continue;
 188       }
 189
 190     /* Otherwise, if it is a header spool file, add it to the list */
 191
 192     if (len == SPOOL_NAME_LENGTH &&
 193         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
 194       {
 195       queue_filename *next =
 196         store_get(sizeof(queue_filename) + Ustrlen(name));
 197       Ustrcpy(next->text, name);
 198       next->dir_uschar = subdirchar;
 199
 200       /* Handle the creation of a randomized list. The first item becomes both
 201       the top and bottom of the list. Subsequent items are inserted either at
 202       the top or the bottom, randomly. This is, I argue, faster than doing a
 203       sort by allocating a random number to each item, and it also saves having
 204       to store the number with each item. */
 205
 206       if (randomize)
 207         {
 208         if (yield == NULL)
 209           {
 210           next->next = NULL;
 211           yield = last = next;
 212           }
 213         else
 214           {
 215           if (flags == 0) flags = resetflags;
 216           if ((flags & 1) == 0)
 217             {
 218             next->next = yield;
 219             yield = next;
 220             }
 221           else
 222             {
 223             next->next = NULL;
 224             last->next = next;
 225             last = next;
 226             }
 227           flags = flags >> 1;
 228           }
 229         }
 230
 231       /* Otherwise do a bottom-up merge sort based on the name. */
 232
 233       else
 234         {
 235         int j;
 236         next->next = NULL;
 237         for (j = 0; j < LOG2_MAXNODES; j++)
 238           {
 239           if (root[j] != NULL)
 240             {
 241             next = merge_queue_lists(next, root[j]);
 242             root[j] = (j == LOG2_MAXNODES - 1)? next : NULL;
 243             }
 244           else
 245             {
 246             root[j] = next;
 247             break;
 248             }
 249           }
 250         }
 251       }
 252     }
 253
 254   /* Finished with this directory */
 255
 256   closedir(dd);
 257
 258   /* If we have just scanned a sub-directory, and it was empty (count == 2
 259   implies just "." and ".." entries), and Exim is no longer configured to
 260   use sub-directories, attempt to get rid of it. At the same time, try to
 261   get rid of any corresponding msglog subdirectory. These are just cosmetic
 262   tidying actions, so just ignore failures. If we are scanning just a single
 263   sub-directory, break the loop. */
 264
 265   if (i != 0)
 266     {
 267     if (!split_spool_directory && count <= 2)
 268       {
 269       rmdir(CS buffer);
 270       sprintf(CS big_buffer, "%s/msglog/%c", spool_directory, subdirchar);
 271       rmdir(CS big_buffer);
 272       }
 273     if (subdiroffset > 0) break;    /* Single sub-directory */
 274     }
 275
 276   /* If we have just scanned the base directory, and subdiroffset is 0,
 277   we do not want to continue scanning the sub-directories. */
 278
 279   else
 280     {
 281     if (subdiroffset == 0) break;
 282     }
 283   }    /* Loop for multiple subdirectories */
 284
 285 /* When using a bottom-up merge sort, do the final merging of the sublists.
 286 Then pass back the final list of file items. */
 287
 288 if (!randomize)
 289   for (i = 0; i < LOG2_MAXNODES; ++i)
 290     yield = merge_queue_lists(yield, root[i]);
 291
 292 return yield;
 293 }
 294
 295
 296
 297
 298 /*************************************************
 299 *              Perform a queue run               *
 300 *************************************************/
 301
 302 /* The arguments give the messages to start and stop at; NULL means start at
 303 the beginning or stop at the end. If the given start message doesn't exist, we
 304 start at the next lexically greater one, and likewise we stop at the after the
 305 previous lexically lesser one if the given stop message doesn't exist. Because
 306 a queue run can take some time, stat each file before forking, in case it has
 307 been delivered in the meantime by some other means.
 308
 309 The global variables queue_run_force and queue_run_local may be set to cause
 310 forced deliveries or local-only deliveries, respectively.
 311
 312 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
 313 not contain the string. As this option is typically used when a machine comes
 314 back online, we want to ensure that at least one delivery attempt takes place,
 315 so force the first one. The selecting string can optionally be a regex, or
 316 refer to the sender instead of recipients.
 317
 318 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
 319 is set so that routing is done for all messages. Thus in the second run those
 320 that are routed to the same host should go down the same SMTP connection.
 321
 322 Arguments:
 323   start_id   message id to start at, or NULL for all
 324   stop_id    message id to end at, or NULL for all
 325   recurse    TRUE if recursing for 2-stage run
 326
 327 Returns:     nothing
 328 */
 329
 330 void
 331 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
 332 {
 333 BOOL force_delivery = queue_run_force || deliver_selectstring != NULL ||
 334   deliver_selectstring_sender != NULL;
 335 const pcre *selectstring_regex = NULL;
 336 const pcre *selectstring_regex_sender = NULL;
 337 uschar *log_detail = NULL;
 338 int subcount = 0;
 339 int i;
 340 uschar subdirs[64];
 341
 342 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
 343 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
 344 gets set. Save the queue_runner's pid and the flag that indicates any
 345 deliveries run directly from this process. Deliveries that are run by handing
 346 on TCP/IP channels have queue_run_pid set, but not queue_running. */
 347
 348 queue_domains = NULL;
 349 queue_smtp_domains = NULL;
 350 queue_smtp = queue_2stage;
 351
 352 queue_run_pid = getpid();
 353 queue_running = TRUE;
 354
 355 /* Log the true start of a queue run, and fancy options */
 356
 357 if (!recurse)
 358   {
 359   uschar extras[8];
 360   uschar *p = extras;
 361
 362   if (queue_2stage) *p++ = 'q';
 363   if (queue_run_first_delivery) *p++ = 'i';
 364   if (queue_run_force) *p++ = 'f';
 365   if (deliver_force_thaw) *p++ = 'f';
 366   if (queue_run_local) *p++ = 'l';
 367   *p = 0;
 368
 369   p = big_buffer;
 370   sprintf(CS p, "pid=%d", (int)queue_run_pid);
 371   while (*p != 0) p++;
 372
 373   if (extras[0] != 0)
 374     {
 375     sprintf(CS p, " -q%s", extras);
 376     while (*p != 0) p++;
 377     }
 378
 379   if (deliver_selectstring != NULL)
 380     {
 381     sprintf(CS p, " -R%s %s", deliver_selectstring_regex? "r" : "",
 382       deliver_selectstring);
 383     while (*p != 0) p++;
 384     }
 385
 386   if (deliver_selectstring_sender != NULL)
 387     {
 388     sprintf(CS p, " -S%s %s", deliver_selectstring_sender_regex? "r" : "",
 389       deliver_selectstring_sender);
 390     while (*p != 0) p++;
 391     }
 392
 393   log_detail = string_copy(big_buffer);
 394   log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
 395   }
 396
 397 /* If deliver_selectstring is a regex, compile it. */
 398
 399 if (deliver_selectstring != NULL && deliver_selectstring_regex)
 400   selectstring_regex = regex_must_compile(deliver_selectstring, TRUE, FALSE);
 401
 402 if (deliver_selectstring_sender != NULL && deliver_selectstring_sender_regex)
 403   selectstring_regex_sender =
 404     regex_must_compile(deliver_selectstring_sender, TRUE, FALSE);
 405
 406 /* If the spool is split into subdirectories, we want to process it one
 407 directory at a time, so as to spread out the directory scanning and the
 408 delivering when there are lots of messages involved, except when
 409 queue_run_in_order is set.
 410
 411 In the random order case, this loop runs once for the main directory (handling
 412 any messages therein), and then repeats for any subdirectories that were found.
 413 When the first argument of queue_get_spool_list() is 0, it scans the top
 414 directory, fills in subdirs, and sets subcount. The order of the directories is
 415 then randomized after the first time through, before they are scanned in
 416 subsqeuent iterations.
 417
 418 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
 419 order), it scans all directories and makes a single message list. */
 420
 421 for (i  = (queue_run_in_order? -1 : 0);
 422      i <= (queue_run_in_order? -1 : subcount);
 423      i++)
 424   {
 425   queue_filename *f;
 426   void *reset_point1 = store_get(0);
 427
 428   DEBUG(D_queue_run)
 429     {
 430     if (i == 0)
 431       debug_printf("queue running main directory\n");
 432     else if (i == -1)
 433       debug_printf("queue running combined directories\n");
 434     else
 435       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
 436     }
 437
 438   for (f = queue_get_spool_list(i, subdirs, &subcount, !queue_run_in_order);
 439        f != NULL;
 440        f = f->next)
 441     {
 442     pid_t pid;
 443     int status;
 444     int pfd[2];
 445     struct stat statbuf;
 446     uschar buffer[256];
 447
 448     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
 449     check that the load average is low enough to permit deliveries. */
 450
 451     if (!queue_run_force && deliver_queue_load_max >= 0)
 452       {
 453       load_average = os_getloadavg();
 454       if (load_average > deliver_queue_load_max)
 455         {
 456         log_write(L_queue_run, LOG_MAIN, "Abandon queue run: %s (load %.2f, max %.2f)",
 457           log_detail,
 458           (double)load_average/1000.0,
 459           (double)deliver_queue_load_max/1000.0);
 460         i = subcount;                 /* Don't process other directories */
 461         break;
 462         }
 463       else
 464         {
 465         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
 466           (double)load_average/1000.0,
 467           (double)deliver_queue_load_max/1000.0);
 468         }
 469       }
 470
 471     /* Skip this message unless it's within the ID limits */
 472
 473     if (stop_id != NULL && Ustrncmp(f->text, stop_id, MESSAGE_ID_LENGTH) > 0)
 474       continue;
 475     if (start_id != NULL && Ustrncmp(f->text, start_id, MESSAGE_ID_LENGTH) < 0)
 476       continue;
 477
 478     /* Check that the message still exists */
 479
 480     message_subdir[0] = f->dir_uschar;
 481     sprintf(CS buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 482       f->text);
 483     if (Ustat(buffer, &statbuf) < 0) continue;
 484
 485     /* There are some tests that require the reading of the header file. Ensure
 486     the store used is scavenged afterwards so that this process doesn't keep
 487     growing its store. We have to read the header file again when actually
 488     delivering, but it's cheaper than forking a delivery process for each
 489     message when many are not going to be delivered. */
 490
 491     if (deliver_selectstring != NULL || deliver_selectstring_sender != NULL ||
 492         queue_run_first_delivery)
 493       {
 494       BOOL wanted = TRUE;
 495       BOOL orig_dont_deliver = dont_deliver;
 496       void *reset_point2 = store_get(0);
 497
 498       /* Restore the original setting of dont_deliver after reading the header,
 499       so that a setting for a particular message doesn't force it for any that
 500       follow. If the message is chosen for delivery, the header is read again
 501       in the deliver_message() function, in a subprocess. */
 502
 503       if (spool_read_header(f->text, FALSE, TRUE) != spool_read_OK) continue;
 504       dont_deliver = orig_dont_deliver;
 505
 506       /* Now decide if we want to deliver this message. As we have read the
 507       header file, we might as well do the freeze test now, and save forking
 508       another process. */
 509
 510       if (deliver_freeze && !deliver_force_thaw)
 511         {
 512         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
 513         wanted = FALSE;
 514         }
 515
 516       /* Check first_delivery in the case when there are no message logs. */
 517
 518       else if (queue_run_first_delivery && !deliver_firsttime)
 519         {
 520         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", f->text);
 521         wanted = FALSE;
 522         }
 523
 524       /* Check for a matching address if deliver_selectstring[_sender} is set.
 525       If so, we do a fully delivery - don't want to omit other addresses since
 526       their routing might trigger re-writing etc. */
 527
 528       /* Sender matching */
 529
 530       else if (deliver_selectstring_sender != NULL &&
 531               !(deliver_selectstring_sender_regex?
 532                 (pcre_exec(selectstring_regex_sender, NULL, CS sender_address,
 533                   Ustrlen(sender_address), 0, PCRE_EOPT, NULL, 0) >= 0)
 534                 :
 535                 (strstric(sender_address, deliver_selectstring_sender, FALSE)
 536                   != NULL)))
 537         {
 538         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
 539           f->text, deliver_selectstring_sender);
 540         wanted = FALSE;
 541         }
 542
 543       /* Recipient matching */
 544
 545       else if (deliver_selectstring != NULL)
 546         {
 547         int i;
 548         for (i = 0; i < recipients_count; i++)
 549           {
 550           uschar *address = recipients_list[i].address;
 551           if ((deliver_selectstring_regex?
 552                (pcre_exec(selectstring_regex, NULL, CS address,
 553                  Ustrlen(address), 0, PCRE_EOPT, NULL, 0) >= 0)
 554                :
 555                (strstric(address, deliver_selectstring, FALSE) != NULL))
 556               &&
 557               tree_search(tree_nonrecipients, address) == NULL)
 558             break;
 559           }
 560
 561         if (i >= recipients_count)
 562           {
 563           DEBUG(D_queue_run)
 564             debug_printf("%s: no recipient address matched %s\n",
 565               f->text, deliver_selectstring);
 566           wanted = FALSE;
 567           }
 568         }
 569
 570       /* Recover store used when reading the header */
 571
 572       store_reset(reset_point2);
 573       if (!wanted) continue;      /* With next message */
 574       }
 575
 576     /* OK, got a message we want to deliver. Create a pipe which will
 577     serve as a means of detecting when all the processes created by the
 578     delivery process are finished. This is relevant when the delivery
 579     process passes one or more SMTP channels on to its own children. The
 580     pipe gets passed down; by reading on it here we detect when the last
 581     descendent dies by the unblocking of the read. It's a pity that for
 582     most of the time the pipe isn't used, but creating a pipe should be
 583     pretty cheap. */
 584
 585     if (pipe(pfd) < 0)
 586       {
 587       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
 588         "runner process %d: %s", queue_run_pid, strerror(errno));
 589       }
 590     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
 591
 592     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
 593     safe side... */
 594
 595     if (queue_run_pipe == 0)
 596       {
 597       queue_run_pipe = dup(queue_run_pipe);
 598       (void)close(0);
 599       }
 600
 601     /* Before forking to deliver the message, ensure any open and cached
 602     lookup files or databases are closed. Otherwise, closing in the subprocess
 603     can make the next subprocess have problems. There won't often be anything
 604     open here, but it is possible (e.g. if spool_directory is an expanded
 605     string). A single call before this loop would probably suffice, but just in
 606     case expansions get inserted at some point, I've taken the heavy-handed
 607     approach. When nothing is open, the call should be cheap. */
 608
 609     search_tidyup();
 610
 611     /* Now deliver the message; get the id by cutting the -H off the file
 612     name. The return of the process is zero if a delivery was attempted. */
 613
 614     set_process_info("running queue: %s", f->text);
 615     f->text[SPOOL_NAME_LENGTH-2] = 0;
 616     if ((pid = fork()) == 0)
 617       {
 618       int rc;
 619       if (running_in_test_harness) millisleep(100);
 620       (void)close(pfd[pipe_read]);
 621       rc = deliver_message(f->text, force_delivery, FALSE);
 622       _exit(rc == DELIVER_NOT_ATTEMPTED);
 623       }
 624     if (pid < 0)
 625       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
 626         "queue runner %d failed\n", queue_run_pid);
 627
 628     /* Close the writing end of the synchronizing pipe in this process,
 629     then wait for the first level process to terminate. */
 630
 631     (void)close(pfd[pipe_write]);
 632     set_process_info("running queue: waiting for %s (%d)", f->text, pid);
 633     while (wait(&status) != pid);
 634
 635     /* A zero return means a delivery was attempted; turn off the force flag
 636     for any subsequent calls unless queue_force is set. */
 637
 638     if ((status & 0xffff) == 0) force_delivery = queue_run_force;
 639
 640     /* If the process crashed, tell somebody */
 641
 642     else if ((status & 0x00ff) != 0)
 643       {
 644       log_write(0, LOG_MAIN|LOG_PANIC,
 645         "queue run: process %d crashed with signal %d while delivering %s",
 646         (int)pid, status & 0x00ff, f->text);
 647       }
 648
 649     /* Before continuing, wait till the pipe gets closed at the far end. This
 650     tells us that any children created by the delivery to re-use any SMTP
 651     channels have all finished. Since no process actually writes to the pipe,
 652     the mere fact that read() unblocks is enough. */
 653
 654     set_process_info("running queue: waiting for children of %d", pid);
 655     (void)read(pfd[pipe_read], buffer, sizeof(buffer));
 656     (void)close(pfd[pipe_read]);
 657     set_process_info("running queue");
 658
 659     /* If we are in the test harness, and this is not the first of a 2-stage
 660     queue run, update fudged queue times. */
 661
 662     if (running_in_test_harness && !queue_2stage)
 663       {
 664       uschar *fqtnext = Ustrchr(fudged_queue_times, '/');
 665       if (fqtnext != NULL) fudged_queue_times = fqtnext + 1;
 666       }
 667     }                                  /* End loop for list of messages */
 668
 669   store_reset(reset_point1);           /* Scavenge list of messages */
 670
 671   /* If this was the first time through for random order processing, and
 672   sub-directories have been found, randomize their order if necessary. */
 673
 674   if (i == 0 && subcount > 1 && !queue_run_in_order)
 675     {
 676     int j;
 677     for (j = 1; j <= subcount; j++)
 678       {
 679       int r = random_number(100);
 680       if (r >= 50)
 681         {
 682         int k = (r % subcount) + 1;
 683         int x = subdirs[j];
 684         subdirs[j] = subdirs[k];
 685         subdirs[k] = x;
 686         }
 687       }
 688     }
 689   }                                    /* End loop for multiple directories */
 690
 691 /* If queue_2stage is true, we do it all again, with the 2stage flag
 692 turned off. */
 693
 694 if (queue_2stage)
 695   {
 696   queue_2stage = FALSE;
 697   queue_run(start_id, stop_id, TRUE);
 698   }
 699
 700 /* At top level, log the end of the run. */
 701
 702 if (!recurse) log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
 703 }
 704
 705
 706
 707
 708 /************************************************
 709 *         Count messages on the queue           *
 710 ************************************************/
 711
 712 /* Called as a result of -bpc
 713
 714 Arguments:  none
 715 Returns:    nothing
 716 */
 717
 718 void
 719 queue_count(void)
 720 {
 721 int subcount;
 722 int count = 0;
 723 queue_filename *f = NULL;
 724 uschar subdirs[64];
 725 f = queue_get_spool_list(
 726         -1,             /* entire queue */
 727         subdirs,        /* for holding sub list */
 728         &subcount,      /* for subcount */
 729         FALSE);         /* not random */
 730 for (; f != NULL; f = f->next) count++;
 731 fprintf(stdout, "%d\n", count);
 732 }
 733
 734
 735
 736 /************************************************
 737 *          List extra deliveries                *
 738 ************************************************/
 739
 740 /* This is called from queue_list below to print out all addresses that
 741 have received a message but which were not primary addresses. That is, all
 742 the addresses in the tree of non-recipients that are not primary addresses.
 743 The tree has been scanned and the data field filled in for those that are
 744 primary addresses.
 745
 746 Argument:    points to the tree node
 747 Returns:     nothing
 748 */
 749
 750 static void queue_list_extras(tree_node *p)
 751 {
 752 if (p->left != NULL) queue_list_extras(p->left);
 753 if (!p->data.val) printf("       +D %s\n", p->name);
 754 if (p->right != NULL) queue_list_extras(p->right);
 755 }
 756
 757
 758
 759 /************************************************
 760 *          List messages on the queue           *
 761 ************************************************/
 762
 763 /* Or a given list of messages. In the "all" case, we get a list of file names
 764 as quickly as possible, then scan each one for information to output. If any
 765 disappear while we are processing, just leave them out, but give an error if an
 766 explicit list was given. This function is a top-level function that is obeyed
 767 as a result of the -bp argument. As there may be a lot of messages on the
 768 queue, we must tidy up the store after reading the headers for each one.
 769
 770 Arguments:
 771    option     0 => list top-level recipients, with "D" for those delivered
 772               1 => list only undelivered top-level recipients
 773               2 => as 0, plus any generated delivered recipients
 774               If 8 is added to any of these values, the queue is listed in
 775                 random order.
 776    list       => first of any message ids to list
 777    count      count of message ids; 0 => all
 778
 779 Returns:      nothing
 780 */
 781
 782 void
 783 queue_list(int option, uschar **list, int count)
 784 {
 785 int i;
 786 int subcount;
 787 int now = (int)time(NULL);
 788 void *reset_point;
 789 queue_filename *f = NULL;
 790 uschar subdirs[64];
 791
 792 /* If given a list of messages, build a chain containing their ids. */
 793
 794 if (count > 0)
 795   {
 796   queue_filename *last = NULL;
 797   for (i = 0; i < count; i++)
 798     {
 799     queue_filename *next =
 800       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2);
 801     sprintf(CS next->text, "%s-H", list[i]);
 802     next->dir_uschar = '*';
 803     next->next = NULL;
 804     if (i == 0) f = next; else last->next = next;
 805     last = next;
 806     }
 807   }
 808
 809 /* Otherwise get a list of the entire queue, in order if necessary. */
 810
 811 else
 812   f = queue_get_spool_list(
 813           -1,             /* entire queue */
 814           subdirs,        /* for holding sub list */
 815           &subcount,      /* for subcount */
 816           option >= 8);   /* randomize if required */
 817
 818 if (option >= 8) option -= 8;
 819
 820 /* Now scan the chain and print information, resetting store used
 821 each time. */
 822
 823 reset_point = store_get(0);
 824
 825 for (; f != NULL; f = f->next)
 826   {
 827   int rc, save_errno;
 828   int size = 0;
 829   BOOL env_read;
 830
 831   store_reset(reset_point);
 832   message_size = 0;
 833   message_subdir[0] = f->dir_uschar;
 834   rc = spool_read_header(f->text, FALSE, count <= 0);
 835   if (rc == spool_read_notopen && errno == ENOENT && count <= 0) continue;
 836   save_errno = errno;
 837
 838   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
 839
 840   if (env_read)
 841     {
 842     int ptr;
 843     FILE *jread;
 844     struct stat statbuf;
 845
 846     sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 847       f->text);
 848     ptr = Ustrlen(big_buffer)-1;
 849     big_buffer[ptr] = 'D';
 850
 851     /* Add the data size to the header size; don't count the file name
 852     at the start of the data file, but add one for the notional blank line
 853     that precedes the data. */
 854
 855     if (Ustat(big_buffer, &statbuf) == 0)
 856       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
 857     i = (now - received_time)/60;  /* minutes on queue */
 858     if (i > 90)
 859       {
 860       i = (i + 30)/60;
 861       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
 862       }
 863     else printf("%2dm ", i);
 864
 865     /* Collect delivered addresses from any J file */
 866
 867     big_buffer[ptr] = 'J';
 868     jread = Ufopen(big_buffer, "rb");
 869     if (jread != NULL)
 870       {
 871       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
 872         {
 873         int n = Ustrlen(big_buffer);
 874         big_buffer[n-1] = 0;
 875         tree_add_nonrecipient(big_buffer);
 876         }
 877       (void)fclose(jread);
 878       }
 879     }
 880
 881   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
 882   for (i = 0; i < 16; i++) fputc(f->text[i], stdout);
 883
 884   if (env_read && sender_address != NULL)
 885     {
 886     printf(" <%s>", sender_address);
 887     if (sender_set_untrusted) printf(" (%s)", originator_login);
 888     }
 889
 890   if (rc != spool_read_OK)
 891     {
 892     printf("\n    ");
 893     if (save_errno == ERRNO_SPOOLFORMAT)
 894       {
 895       struct stat statbuf;
 896       sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 897         f->text);
 898       if (Ustat(big_buffer, &statbuf) == 0)
 899         printf("*** spool format error: size=" OFF_T_FMT " ***",
 900           statbuf.st_size);
 901       else printf("*** spool format error ***");
 902       }
 903     else printf("*** spool read error: %s ***", strerror(save_errno));
 904     if (rc != spool_read_hdrerror)
 905       {
 906       printf("\n\n");
 907       continue;
 908       }
 909     }
 910
 911   if (deliver_freeze) printf(" *** frozen ***");
 912
 913   printf("\n");
 914
 915   if (recipients_list != NULL)
 916     {
 917     for (i = 0; i < recipients_count; i++)
 918       {
 919       tree_node *delivered =
 920         tree_search(tree_nonrecipients, recipients_list[i].address);
 921       if (!delivered || option != 1)
 922         printf("        %s %s\n", (delivered != NULL)? "D":" ",
 923           recipients_list[i].address);
 924       if (delivered != NULL) delivered->data.val = TRUE;
 925       }
 926     if (option == 2 && tree_nonrecipients != NULL)
 927       queue_list_extras(tree_nonrecipients);
 928     printf("\n");
 929     }
 930   }
 931 }
 932
 933
 934
 935 /*************************************************
 936 *             Act on a specific message          *
 937 *************************************************/
 938
 939 /* Actions that require a list of addresses make use of argv/argc/
 940 recipients_arg. Other actions do not. This function does its own
 941 authority checking.
 942
 943 Arguments:
 944   id              id of the message to work on
 945   action          which action is required (MSG_xxx)
 946   argv            the original argv for Exim
 947   argc            the original argc for Exim
 948   recipients_arg  offset to the list of recipients in argv
 949
 950 Returns:          FALSE if there was any problem
 951 */
 952
 953 BOOL
 954 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
 955 {
 956 int i, j;
 957 BOOL yield = TRUE;
 958 BOOL removed = FALSE;
 959 struct passwd *pw;
 960 uschar *doing = NULL;
 961 uschar *username;
 962 uschar *errmsg;
 963 uschar spoolname[256];
 964
 965 /* Set the global message_id variable, used when re-writing spool files. This
 966 also causes message ids to be added to log messages. */
 967
 968 Ustrcpy(message_id, id);
 969
 970 /* The "actions" that just list the files do not require any locking to be
 971 done. Only admin users may read the spool files. */
 972
 973 if (action >= MSG_SHOW_BODY)
 974   {
 975   int fd, i, rc;
 976   uschar *subdirectory, *suffix;
 977
 978   if (!admin_user)
 979     {
 980     printf("Permission denied\n");
 981     return FALSE;
 982     }
 983
 984   if (recipients_arg < argc)
 985     {
 986     printf("*** Only one message can be listed at once\n");
 987     return FALSE;
 988     }
 989
 990   if (action == MSG_SHOW_BODY)
 991     {
 992     subdirectory = US"input";
 993     suffix = US"-D";
 994     }
 995   else if (action == MSG_SHOW_HEADER)
 996     {
 997     subdirectory = US"input";
 998     suffix = US"-H";
 999     }
1000   else
1001     {
1002     subdirectory = US"msglog";
1003     suffix = US"";
1004     }
1005
1006   for (i = 0; i < 2; i++)
1007     {
1008     message_subdir[0] = (split_spool_directory == (i == 0))? id[5] : 0;
1009     sprintf(CS spoolname, "%s/%s/%s/%s%s", spool_directory, subdirectory,
1010       message_subdir, id, suffix);
1011     fd = Uopen(spoolname, O_RDONLY, 0);
1012     if (fd >= 0) break;
1013     if (i == 0) continue;
1014     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1015       strerror(errno));
1016     if (action == MSG_SHOW_LOG && !message_logs)
1017       printf("(No message logs are being created because the message_logs "
1018         "option is false.)\n");
1019     return FALSE;
1020     }
1021
1022   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1023     (void)write(fileno(stdout), big_buffer, rc);
1024
1025   (void)close(fd);
1026   return TRUE;
1027   }
1028
1029 /* For actions that actually act, open and lock the data file to ensure that no
1030 other process is working on this message. If the file does not exist, continue
1031 only if the action is remove and the user is an admin user, to allow for
1032 tidying up broken states. */
1033
1034 if (!spool_open_datafile(id))
1035   {
1036   if (errno == ENOENT)
1037     {
1038     yield = FALSE;
1039     printf("Spool data file for %s does not exist\n", id);
1040     if (action != MSG_REMOVE || !admin_user) return FALSE;
1041     printf("Continuing, to ensure all files removed\n");
1042     }
1043   else
1044     {
1045     if (errno == 0) printf("Message %s is locked\n", id);
1046       else printf("Couldn't open spool file for %s: %s\n", id,
1047         strerror(errno));
1048     return FALSE;
1049     }
1050   }
1051
1052 /* Read the spool header file for the message. Again, continue after an
1053 error only in the case of deleting by an administrator. Setting the third
1054 argument false causes it to look both in the main spool directory and in
1055 the appropriate subdirectory, and set message_subdir according to where it
1056 found the message. */
1057
1058 sprintf(CS spoolname, "%s-H", id);
1059 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1060   {
1061   yield = FALSE;
1062   if (errno != ERRNO_SPOOLFORMAT)
1063     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1064   else
1065     printf("Spool format error for %s\n", spoolname);
1066   if (action != MSG_REMOVE || !admin_user)
1067     {
1068     (void)close(deliver_datafile);
1069     deliver_datafile = -1;
1070     return FALSE;
1071     }
1072   printf("Continuing to ensure all files removed\n");
1073   }
1074
1075 /* Check that the user running this process is entitled to operate on this
1076 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1077 mess about, but the original sender is permitted to remove a message. That's
1078 why we leave this check until after the headers are read. */
1079
1080 if (!admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1081   {
1082   printf("Permission denied\n");
1083   (void)close(deliver_datafile);
1084   deliver_datafile = -1;
1085   return FALSE;
1086   }
1087
1088 /* Set up the user name for logging. */
1089
1090 pw = getpwuid(real_uid);
1091 username = (pw != NULL)?
1092   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1093
1094 /* Take the necessary action. */
1095
1096 if (action != MSG_SHOW_COPY) printf("Message %s ", id);
1097
1098 switch(action)
1099   {
1100   case MSG_SHOW_COPY:
1101   deliver_in_buffer = store_malloc(DELIVER_IN_BUFFER_SIZE);
1102   deliver_out_buffer = store_malloc(DELIVER_OUT_BUFFER_SIZE);
1103   transport_write_message(NULL, 1, 0, 0, NULL, NULL, NULL, NULL, NULL, 0);
1104   break;
1105
1106
1107   case MSG_FREEZE:
1108   if (deliver_freeze)
1109     {
1110     yield = FALSE;
1111     printf("is already frozen\n");
1112     }
1113   else
1114     {
1115     deliver_freeze = TRUE;
1116     deliver_manual_thaw = FALSE;
1117     deliver_frozen_at = time(NULL);
1118     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1119       {
1120       printf("is now frozen\n");
1121       log_write(0, LOG_MAIN, "frozen by %s", username);
1122       }
1123     else
1124       {
1125       yield = FALSE;
1126       printf("could not be frozen: %s\n", errmsg);
1127       }
1128     }
1129   break;
1130
1131
1132   case MSG_THAW:
1133   if (!deliver_freeze)
1134     {
1135     yield = FALSE;
1136     printf("is not frozen\n");
1137     }
1138   else
1139     {
1140     deliver_freeze = FALSE;
1141     deliver_manual_thaw = TRUE;
1142     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1143       {
1144       printf("is no longer frozen\n");
1145       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1146       }
1147     else
1148       {
1149       yield = FALSE;
1150       printf("could not be unfrozen: %s\n", errmsg);
1151       }
1152     }
1153   break;
1154
1155
1156   /* We must ensure all files are removed from both the input directory
1157   and the appropriate subdirectory, to clean up cases when there are odd
1158   files left lying around in odd places. In the normal case message_subdir
1159   will have been set correctly by spool_read_header, but as this is a rare
1160   operation, just run everything twice. */
1161
1162   case MSG_REMOVE:
1163   message_subdir[0] = id[5];
1164   for (j = 0; j < 2; message_subdir[0] = 0, j++)
1165     {
1166     sprintf(CS spoolname, "%s/msglog/%s/%s", spool_directory, message_subdir, id);
1167     if (Uunlink(spoolname) < 0)
1168       {
1169       if (errno != ENOENT)
1170         {
1171         yield = FALSE;
1172         printf("Error while removing %s: %s\n", spoolname,
1173           strerror(errno));
1174         }
1175       }
1176     else removed = TRUE;
1177
1178     for (i = 0; i < 3; i++)
1179       {
1180       sprintf(CS spoolname, "%s/input/%s/%s-%c", spool_directory, message_subdir,
1181         id, "DHJ"[i]);
1182       if (Uunlink(spoolname) < 0)
1183         {
1184         if (errno != ENOENT)
1185           {
1186           yield = FALSE;
1187           printf("Error while removing %s: %s\n", spoolname,
1188             strerror(errno));
1189           }
1190         }
1191       else removed = TRUE;
1192       }
1193     }
1194
1195   /* In the common case, the datafile is open (and locked), so give the
1196   obvious message. Otherwise be more specific. */
1197
1198   if (deliver_datafile >= 0) printf("has been removed\n");
1199     else printf("has been removed or did not exist\n");
1200   if (removed)
1201     {
1202     log_write(0, LOG_MAIN, "removed by %s", username);
1203     log_write(0, LOG_MAIN, "Completed");
1204     }
1205   break;
1206
1207
1208   case MSG_MARK_ALL_DELIVERED:
1209   for (i = 0; i < recipients_count; i++)
1210     {
1211     tree_add_nonrecipient(recipients_list[i].address);
1212     }
1213   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1214     {
1215     printf("has been modified\n");
1216     for (i = 0; i < recipients_count; i++)
1217       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1218         recipients_list[i].address, username);
1219     }
1220   else
1221     {
1222     yield = FALSE;
1223     printf("- could not mark all delivered: %s\n", errmsg);
1224     }
1225   break;
1226
1227
1228   case MSG_EDIT_SENDER:
1229   if (recipients_arg < argc - 1)
1230     {
1231     yield = FALSE;
1232     printf("- only one sender address can be specified\n");
1233     break;
1234     }
1235   doing = US"editing sender";
1236   /* Fall through */
1237
1238   case MSG_ADD_RECIPIENT:
1239   if (doing == NULL) doing = US"adding recipient";
1240   /* Fall through */
1241
1242   case MSG_MARK_DELIVERED:
1243   if (doing == NULL) doing = US"marking as delivered";
1244
1245   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1246
1247   if (recipients_arg >= argc)
1248     {
1249     yield = FALSE;
1250     printf("- error while %s: no address given\n", doing);
1251     break;
1252     }
1253
1254   for (; recipients_arg < argc; recipients_arg++)
1255     {
1256     int start, end, domain;
1257     uschar *errmess;
1258     uschar *recipient =
1259       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1260         &domain, (action == MSG_EDIT_SENDER));
1261
1262     if (recipient == NULL)
1263       {
1264       yield = FALSE;
1265       printf("- error while %s:\n  bad address %s: %s\n",
1266         doing, argv[recipients_arg], errmess);
1267       }
1268     else if (recipient[0] != 0 && domain == 0)
1269       {
1270       yield = FALSE;
1271       printf("- error while %s:\n  bad address %s: "
1272         "domain missing\n", doing, argv[recipients_arg]);
1273       }
1274     else
1275       {
1276       if (action == MSG_ADD_RECIPIENT)
1277         {
1278         receive_add_recipient(recipient, -1);
1279         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1280           recipient, username);
1281         }
1282       else if (action == MSG_MARK_DELIVERED)
1283         {
1284         for (i = 0; i < recipients_count; i++)
1285           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1286         if (i >= recipients_count)
1287           {
1288           printf("- error while %s:\n  %s is not a recipient:"
1289             " message not updated\n", doing, recipient);
1290           yield = FALSE;
1291           }
1292         else
1293           {
1294           tree_add_nonrecipient(recipients_list[i].address);
1295           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1296             recipient, username);
1297           }
1298         }
1299       else  /* MSG_EDIT_SENDER */
1300         {
1301         sender_address = recipient;
1302         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1303           recipient, username);
1304         }
1305       }
1306     }
1307
1308   if (yield)
1309     {
1310     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1311       printf("has been modified\n");
1312     else
1313       {
1314       yield = FALSE;
1315       printf("- while %s: %s\n", doing, errmsg);
1316       }
1317     }
1318
1319   break;
1320   }
1321
1322 /* Closing the datafile releases the lock and permits other processes
1323 to operate on the message (if it still exists). */
1324
1325 (void)close(deliver_datafile);
1326 deliver_datafile = -1;
1327 return yield;
1328 }
1329
1330
1331
1332 /*************************************************
1333 *       Check the queue_only_file condition      *
1334 *************************************************/
1335
1336 /* The queue_only_file option forces certain kinds of queueing if a given file
1337 exists.
1338
1339 Arguments:  none
1340 Returns:    nothing
1341 */
1342
1343 void
1344 queue_check_only(void)
1345 {
1346 BOOL *set;
1347 int sep = 0;
1348 struct stat statbuf;
1349 uschar *s, *ss, *name;
1350 uschar buffer[1024];
1351
1352 if (queue_only_file == NULL) return;
1353
1354 s = queue_only_file;
1355 while ((ss = string_nextinlist(&s, &sep, buffer, sizeof(buffer))) != NULL)
1356   {
1357   if (Ustrncmp(ss, "smtp", 4) == 0)
1358     {
1359     name = US"queue_smtp";
1360     set = &queue_smtp;
1361     ss += 4;
1362     }
1363   else
1364     {
1365     name = US"queue_only";
1366     set = &queue_only;
1367     }
1368
1369   if (Ustat(ss, &statbuf) == 0)
1370     {
1371     *set = TRUE;
1372     DEBUG(D_receive) debug_printf("%s set because %s exists\n", name, ss);
1373     }
1374   }
1375 }
1376
1377 /* End of queue.c */