src/src/queue.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) University of Cambridge 1995 - 2009 */
   6 /* See the file NOTICE for conditions of use and distribution. */
   7
   8 /* Functions that operate on the input queue. */
   9
  10
  11 #include "exim.h"
  12
  13
  14
  15 /* The number of nodes to use for the bottom-up merge sort when a list of queue
  16 items is to be ordered. The code for this sort was contributed as a patch by
  17 Michael Haardt. */
  18
  19 #define LOG2_MAXNODES 32
  20
  21
  22
  23 /*************************************************
  24 *  Helper sort function for queue_get_spool_list *
  25 *************************************************/
  26
  27 /* This function is used when sorting the queue list in the function
  28 queue_get_spool_list() below.
  29
  30 Arguments:
  31   a            points to an ordered list of queue_filename items
  32   b            points to another ordered list
  33
  34 Returns:       a pointer to a merged ordered list
  35 */
  36
  37 static queue_filename *
  38 merge_queue_lists(queue_filename *a, queue_filename *b)
  39 {
  40 queue_filename *first = NULL;
  41 queue_filename **append = &first;
  42
  43 while (a != NULL && b != NULL)
  44   {
  45   if (Ustrcmp(a->text, b->text) < 0)
  46     {
  47     *append = a;
  48     append= &a->next;
  49     a = a->next;
  50     }
  51   else
  52     {
  53     *append = b;
  54     append= &b->next;
  55     b = b->next;
  56     }
  57   }
  58
  59 *append=((a != NULL)? a : b);
  60 return first;
  61 }
  62
  63
  64
  65
  66
  67 /*************************************************
  68 *             Get list of spool files            *
  69 *************************************************/
  70
  71 /* Scan the spool directory and return a list of the relevant file names
  72 therein. Single-character sub-directories are handled as follows:
  73
  74   If the first argument is > 0, a sub-directory is scanned; the letter is
  75   taken from the nth entry in subdirs.
  76
  77   If the first argument is 0, sub-directories are not scanned. However, a
  78   list of them is returned.
  79
  80   If the first argument is < 0, sub-directories are scanned for messages,
  81   and a single, unified list is created. The returned data blocks contain the
  82   identifying character of the subdirectory, if any. The subdirs vector is
  83   still required as an argument.
  84
  85 If the randomize argument is TRUE, messages are returned in "randomized" order.
  86 Actually, the order is anything but random, but the algorithm is cheap, and the
  87 point is simply to ensure that the same order doesn't occur every time, in case
  88 a particular message is causing a remote MTA to barf - we would like to try
  89 other messages to that MTA first.
  90
  91 If the randomize argument is FALSE, sort the list according to the file name.
  92 This should give the order in which the messages arrived. It is normally used
  93 only for presentation to humans, in which case the (possibly expensive) sort
  94 that it does is not part of the normal operational code. However, if
  95 queue_run_in_order is set, sorting has to take place for queue runs as well.
  96 When randomize is FALSE, the first argument is normally -1, so all messages are
  97 included.
  98
  99 Arguments:
 100   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
 101   subdirs        vector to store list of subdirchars
 102   subcount       pointer to int in which to store count of subdirs
 103   randomize      TRUE if the order of the list is to be unpredictable
 104
 105 Returns:         pointer to a chain of queue name items
 106 */
 107
 108 static queue_filename *
 109 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
 110   BOOL randomize)
 111 {
 112 int i;
 113 int flags = 0;
 114 int resetflags = -1;
 115 int subptr;
 116 queue_filename *yield = NULL;
 117 queue_filename *last = NULL;
 118 struct dirent *ent;
 119 DIR *dd;
 120 uschar buffer[256];
 121 queue_filename *root[LOG2_MAXNODES];
 122
 123 /* When randomizing, the file names are added to the start or end of the list
 124 according to the bits of the flags variable. Get a collection of bits from the
 125 current time. Use the bottom 16 and just keep re-using them if necessary. When
 126 not randomizing, initialize the sublists for the bottom-up merge sort. */
 127
 128 if (randomize) resetflags = time(NULL) & 0xFFFF;
 129   else for (i = 0; i < LOG2_MAXNODES; i++) root[i] = NULL;
 130
 131 /* If processing the full queue, or just the top-level, start at the base
 132 directory, and initialize the first subdirectory name (as none). Otherwise,
 133 start at the sub-directory offset. */
 134
 135 if (subdiroffset <= 0)
 136   {
 137   i = 0;
 138   subdirs[0] = 0;
 139   *subcount = 0;
 140   }
 141 else i = subdiroffset;
 142
 143 /* Set up prototype for the directory name. */
 144
 145 sprintf(CS buffer, "%s/input", spool_directory);
 146 subptr = Ustrlen(buffer);
 147 buffer[subptr+2] = 0;               /* terminator for lengthened name */
 148
 149 /* This loop runs at least once, for the main or given directory, and then as
 150 many times as necessary to scan any subdirectories encountered in the main
 151 directory, if they are to be scanned at this time. */
 152
 153 for (; i <= *subcount; i++)
 154   {
 155   int count = 0;
 156   int subdirchar = subdirs[i];      /* 0 for main directory */
 157
 158   if (subdirchar != 0)
 159     {
 160     buffer[subptr] = '/';
 161     buffer[subptr+1] = subdirchar;
 162     }
 163
 164   dd = opendir(CS buffer);
 165   if (dd == NULL) continue;
 166
 167   /* Now scan the directory. */
 168
 169   while ((ent = readdir(dd)) != NULL)
 170     {
 171     uschar *name = US ent->d_name;
 172     int len = Ustrlen(name);
 173
 174     /* Count entries */
 175
 176     count++;
 177
 178     /* If we find a single alphameric sub-directory in the base directory,
 179     add it to the list for subsequent scans. */
 180
 181     if (i == 0 && len == 1 && isalnum(*name))
 182       {
 183       *subcount = *subcount + 1;
 184       subdirs[*subcount] = *name;
 185       continue;
 186       }
 187
 188     /* Otherwise, if it is a header spool file, add it to the list */
 189
 190     if (len == SPOOL_NAME_LENGTH &&
 191         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
 192       {
 193       queue_filename *next =
 194         store_get(sizeof(queue_filename) + Ustrlen(name));
 195       Ustrcpy(next->text, name);
 196       next->dir_uschar = subdirchar;
 197
 198       /* Handle the creation of a randomized list. The first item becomes both
 199       the top and bottom of the list. Subsequent items are inserted either at
 200       the top or the bottom, randomly. This is, I argue, faster than doing a
 201       sort by allocating a random number to each item, and it also saves having
 202       to store the number with each item. */
 203
 204       if (randomize)
 205         {
 206         if (yield == NULL)
 207           {
 208           next->next = NULL;
 209           yield = last = next;
 210           }
 211         else
 212           {
 213           if (flags == 0) flags = resetflags;
 214           if ((flags & 1) == 0)
 215             {
 216             next->next = yield;
 217             yield = next;
 218             }
 219           else
 220             {
 221             next->next = NULL;
 222             last->next = next;
 223             last = next;
 224             }
 225           flags = flags >> 1;
 226           }
 227         }
 228
 229       /* Otherwise do a bottom-up merge sort based on the name. */
 230
 231       else
 232         {
 233         int j;
 234         next->next = NULL;
 235         for (j = 0; j < LOG2_MAXNODES; j++)
 236           {
 237           if (root[j] != NULL)
 238             {
 239             next = merge_queue_lists(next, root[j]);
 240             root[j] = (j == LOG2_MAXNODES - 1)? next : NULL;
 241             }
 242           else
 243             {
 244             root[j] = next;
 245             break;
 246             }
 247           }
 248         }
 249       }
 250     }
 251
 252   /* Finished with this directory */
 253
 254   closedir(dd);
 255
 256   /* If we have just scanned a sub-directory, and it was empty (count == 2
 257   implies just "." and ".." entries), and Exim is no longer configured to
 258   use sub-directories, attempt to get rid of it. At the same time, try to
 259   get rid of any corresponding msglog subdirectory. These are just cosmetic
 260   tidying actions, so just ignore failures. If we are scanning just a single
 261   sub-directory, break the loop. */
 262
 263   if (i != 0)
 264     {
 265     if (!split_spool_directory && count <= 2)
 266       {
 267       rmdir(CS buffer);
 268       sprintf(CS big_buffer, "%s/msglog/%c", spool_directory, subdirchar);
 269       rmdir(CS big_buffer);
 270       }
 271     if (subdiroffset > 0) break;    /* Single sub-directory */
 272     }
 273
 274   /* If we have just scanned the base directory, and subdiroffset is 0,
 275   we do not want to continue scanning the sub-directories. */
 276
 277   else
 278     {
 279     if (subdiroffset == 0) break;
 280     }
 281   }    /* Loop for multiple subdirectories */
 282
 283 /* When using a bottom-up merge sort, do the final merging of the sublists.
 284 Then pass back the final list of file items. */
 285
 286 if (!randomize)
 287   for (i = 0; i < LOG2_MAXNODES; ++i)
 288     yield = merge_queue_lists(yield, root[i]);
 289
 290 return yield;
 291 }
 292
 293
 294
 295
 296 /*************************************************
 297 *              Perform a queue run               *
 298 *************************************************/
 299
 300 /* The arguments give the messages to start and stop at; NULL means start at
 301 the beginning or stop at the end. If the given start message doesn't exist, we
 302 start at the next lexically greater one, and likewise we stop at the after the
 303 previous lexically lesser one if the given stop message doesn't exist. Because
 304 a queue run can take some time, stat each file before forking, in case it has
 305 been delivered in the meantime by some other means.
 306
 307 The global variables queue_run_force and queue_run_local may be set to cause
 308 forced deliveries or local-only deliveries, respectively.
 309
 310 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
 311 not contain the string. As this option is typically used when a machine comes
 312 back online, we want to ensure that at least one delivery attempt takes place,
 313 so force the first one. The selecting string can optionally be a regex, or
 314 refer to the sender instead of recipients.
 315
 316 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
 317 is set so that routing is done for all messages. Thus in the second run those
 318 that are routed to the same host should go down the same SMTP connection.
 319
 320 Arguments:
 321   start_id   message id to start at, or NULL for all
 322   stop_id    message id to end at, or NULL for all
 323   recurse    TRUE if recursing for 2-stage run
 324
 325 Returns:     nothing
 326 */
 327
 328 void
 329 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
 330 {
 331 BOOL force_delivery = queue_run_force || deliver_selectstring != NULL ||
 332   deliver_selectstring_sender != NULL;
 333 const pcre *selectstring_regex = NULL;
 334 const pcre *selectstring_regex_sender = NULL;
 335 uschar *log_detail = NULL;
 336 int subcount = 0;
 337 int i;
 338 uschar subdirs[64];
 339
 340 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
 341 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
 342 gets set. Save the queue_runner's pid and the flag that indicates any
 343 deliveries run directly from this process. Deliveries that are run by handing
 344 on TCP/IP channels have queue_run_pid set, but not queue_running. */
 345
 346 queue_domains = NULL;
 347 queue_smtp_domains = NULL;
 348 queue_smtp = queue_2stage;
 349
 350 queue_run_pid = getpid();
 351 queue_running = TRUE;
 352
 353 /* Log the true start of a queue run, and fancy options */
 354
 355 if (!recurse)
 356   {
 357   uschar extras[8];
 358   uschar *p = extras;
 359
 360   if (queue_2stage) *p++ = 'q';
 361   if (queue_run_first_delivery) *p++ = 'i';
 362   if (queue_run_force) *p++ = 'f';
 363   if (deliver_force_thaw) *p++ = 'f';
 364   if (queue_run_local) *p++ = 'l';
 365   *p = 0;
 366
 367   p = big_buffer;
 368   sprintf(CS p, "pid=%d", (int)queue_run_pid);
 369   while (*p != 0) p++;
 370
 371   if (extras[0] != 0)
 372     {
 373     sprintf(CS p, " -q%s", extras);
 374     while (*p != 0) p++;
 375     }
 376
 377   if (deliver_selectstring != NULL)
 378     {
 379     sprintf(CS p, " -R%s %s", deliver_selectstring_regex? "r" : "",
 380       deliver_selectstring);
 381     while (*p != 0) p++;
 382     }
 383
 384   if (deliver_selectstring_sender != NULL)
 385     {
 386     sprintf(CS p, " -S%s %s", deliver_selectstring_sender_regex? "r" : "",
 387       deliver_selectstring_sender);
 388     while (*p != 0) p++;
 389     }
 390
 391   log_detail = string_copy(big_buffer);
 392   log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
 393   }
 394
 395 /* If deliver_selectstring is a regex, compile it. */
 396
 397 if (deliver_selectstring != NULL && deliver_selectstring_regex)
 398   selectstring_regex = regex_must_compile(deliver_selectstring, TRUE, FALSE);
 399
 400 if (deliver_selectstring_sender != NULL && deliver_selectstring_sender_regex)
 401   selectstring_regex_sender =
 402     regex_must_compile(deliver_selectstring_sender, TRUE, FALSE);
 403
 404 /* If the spool is split into subdirectories, we want to process it one
 405 directory at a time, so as to spread out the directory scanning and the
 406 delivering when there are lots of messages involved, except when
 407 queue_run_in_order is set.
 408
 409 In the random order case, this loop runs once for the main directory (handling
 410 any messages therein), and then repeats for any subdirectories that were found.
 411 When the first argument of queue_get_spool_list() is 0, it scans the top
 412 directory, fills in subdirs, and sets subcount. The order of the directories is
 413 then randomized after the first time through, before they are scanned in
 414 subsqeuent iterations.
 415
 416 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
 417 order), it scans all directories and makes a single message list. */
 418
 419 for (i  = (queue_run_in_order? -1 : 0);
 420      i <= (queue_run_in_order? -1 : subcount);
 421      i++)
 422   {
 423   queue_filename *f;
 424   void *reset_point1 = store_get(0);
 425
 426   DEBUG(D_queue_run)
 427     {
 428     if (i == 0)
 429       debug_printf("queue running main directory\n");
 430     else if (i == -1)
 431       debug_printf("queue running combined directories\n");
 432     else
 433       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
 434     }
 435
 436   for (f = queue_get_spool_list(i, subdirs, &subcount, !queue_run_in_order);
 437        f != NULL;
 438        f = f->next)
 439     {
 440     pid_t pid;
 441     int status;
 442     int pfd[2];
 443     struct stat statbuf;
 444     uschar buffer[256];
 445
 446     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
 447     check that the load average is low enough to permit deliveries. */
 448
 449     if (!queue_run_force && deliver_queue_load_max >= 0)
 450       {
 451       load_average = os_getloadavg();
 452       if (load_average > deliver_queue_load_max)
 453         {
 454         log_write(L_queue_run, LOG_MAIN, "Abandon queue run: %s (load %.2f, max %.2f)",
 455           log_detail,
 456           (double)load_average/1000.0,
 457           (double)deliver_queue_load_max/1000.0);
 458         i = subcount;                 /* Don't process other directories */
 459         break;
 460         }
 461       else
 462         {
 463         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
 464           (double)load_average/1000.0,
 465           (double)deliver_queue_load_max/1000.0);
 466         }
 467       }
 468
 469     /* Skip this message unless it's within the ID limits */
 470
 471     if (stop_id != NULL && Ustrncmp(f->text, stop_id, MESSAGE_ID_LENGTH) > 0)
 472       continue;
 473     if (start_id != NULL && Ustrncmp(f->text, start_id, MESSAGE_ID_LENGTH) < 0)
 474       continue;
 475
 476     /* Check that the message still exists */
 477
 478     message_subdir[0] = f->dir_uschar;
 479     sprintf(CS buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 480       f->text);
 481     if (Ustat(buffer, &statbuf) < 0) continue;
 482
 483     /* There are some tests that require the reading of the header file. Ensure
 484     the store used is scavenged afterwards so that this process doesn't keep
 485     growing its store. We have to read the header file again when actually
 486     delivering, but it's cheaper than forking a delivery process for each
 487     message when many are not going to be delivered. */
 488
 489     if (deliver_selectstring != NULL || deliver_selectstring_sender != NULL ||
 490         queue_run_first_delivery)
 491       {
 492       BOOL wanted = TRUE;
 493       BOOL orig_dont_deliver = dont_deliver;
 494       void *reset_point2 = store_get(0);
 495
 496       /* Restore the original setting of dont_deliver after reading the header,
 497       so that a setting for a particular message doesn't force it for any that
 498       follow. If the message is chosen for delivery, the header is read again
 499       in the deliver_message() function, in a subprocess. */
 500
 501       if (spool_read_header(f->text, FALSE, TRUE) != spool_read_OK) continue;
 502       dont_deliver = orig_dont_deliver;
 503
 504       /* Now decide if we want to deliver this message. As we have read the
 505       header file, we might as well do the freeze test now, and save forking
 506       another process. */
 507
 508       if (deliver_freeze && !deliver_force_thaw)
 509         {
 510         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
 511         wanted = FALSE;
 512         }
 513
 514       /* Check first_delivery in the case when there are no message logs. */
 515
 516       else if (queue_run_first_delivery && !deliver_firsttime)
 517         {
 518         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", f->text);
 519         wanted = FALSE;
 520         }
 521
 522       /* Check for a matching address if deliver_selectstring[_sender} is set.
 523       If so, we do a fully delivery - don't want to omit other addresses since
 524       their routing might trigger re-writing etc. */
 525
 526       /* Sender matching */
 527
 528       else if (deliver_selectstring_sender != NULL &&
 529               !(deliver_selectstring_sender_regex?
 530                 (pcre_exec(selectstring_regex_sender, NULL, CS sender_address,
 531                   Ustrlen(sender_address), 0, PCRE_EOPT, NULL, 0) >= 0)
 532                 :
 533                 (strstric(sender_address, deliver_selectstring_sender, FALSE)
 534                   != NULL)))
 535         {
 536         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
 537           f->text, deliver_selectstring_sender);
 538         wanted = FALSE;
 539         }
 540
 541       /* Recipient matching */
 542
 543       else if (deliver_selectstring != NULL)
 544         {
 545         int i;
 546         for (i = 0; i < recipients_count; i++)
 547           {
 548           uschar *address = recipients_list[i].address;
 549           if ((deliver_selectstring_regex?
 550                (pcre_exec(selectstring_regex, NULL, CS address,
 551                  Ustrlen(address), 0, PCRE_EOPT, NULL, 0) >= 0)
 552                :
 553                (strstric(address, deliver_selectstring, FALSE) != NULL))
 554               &&
 555               tree_search(tree_nonrecipients, address) == NULL)
 556             break;
 557           }
 558
 559         if (i >= recipients_count)
 560           {
 561           DEBUG(D_queue_run)
 562             debug_printf("%s: no recipient address matched %s\n",
 563               f->text, deliver_selectstring);
 564           wanted = FALSE;
 565           }
 566         }
 567
 568       /* Recover store used when reading the header */
 569
 570       store_reset(reset_point2);
 571       if (!wanted) continue;      /* With next message */
 572       }
 573
 574     /* OK, got a message we want to deliver. Create a pipe which will
 575     serve as a means of detecting when all the processes created by the
 576     delivery process are finished. This is relevant when the delivery
 577     process passes one or more SMTP channels on to its own children. The
 578     pipe gets passed down; by reading on it here we detect when the last
 579     descendent dies by the unblocking of the read. It's a pity that for
 580     most of the time the pipe isn't used, but creating a pipe should be
 581     pretty cheap. */
 582
 583     if (pipe(pfd) < 0)
 584       {
 585       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
 586         "runner process %d: %s", queue_run_pid, strerror(errno));
 587       }
 588     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
 589
 590     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
 591     safe side... */
 592
 593     if (queue_run_pipe == 0)
 594       {
 595       queue_run_pipe = dup(queue_run_pipe);
 596       (void)close(0);
 597       }
 598
 599     /* Before forking to deliver the message, ensure any open and cached
 600     lookup files or databases are closed. Otherwise, closing in the subprocess
 601     can make the next subprocess have problems. There won't often be anything
 602     open here, but it is possible (e.g. if spool_directory is an expanded
 603     string). A single call before this loop would probably suffice, but just in
 604     case expansions get inserted at some point, I've taken the heavy-handed
 605     approach. When nothing is open, the call should be cheap. */
 606
 607     search_tidyup();
 608
 609     /* Now deliver the message; get the id by cutting the -H off the file
 610     name. The return of the process is zero if a delivery was attempted. */
 611
 612     set_process_info("running queue: %s", f->text);
 613     f->text[SPOOL_NAME_LENGTH-2] = 0;
 614     if ((pid = fork()) == 0)
 615       {
 616       int rc;
 617       if (running_in_test_harness) millisleep(100);
 618       (void)close(pfd[pipe_read]);
 619       rc = deliver_message(f->text, force_delivery, FALSE);
 620       _exit(rc == DELIVER_NOT_ATTEMPTED);
 621       }
 622     if (pid < 0)
 623       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
 624         "queue runner %d failed\n", queue_run_pid);
 625
 626     /* Close the writing end of the synchronizing pipe in this process,
 627     then wait for the first level process to terminate. */
 628
 629     (void)close(pfd[pipe_write]);
 630     set_process_info("running queue: waiting for %s (%d)", f->text, pid);
 631     while (wait(&status) != pid);
 632
 633     /* A zero return means a delivery was attempted; turn off the force flag
 634     for any subsequent calls unless queue_force is set. */
 635
 636     if ((status & 0xffff) == 0) force_delivery = queue_run_force;
 637
 638     /* If the process crashed, tell somebody */
 639
 640     else if ((status & 0x00ff) != 0)
 641       {
 642       log_write(0, LOG_MAIN|LOG_PANIC,
 643         "queue run: process %d crashed with signal %d while delivering %s",
 644         (int)pid, status & 0x00ff, f->text);
 645       }
 646
 647     /* Before continuing, wait till the pipe gets closed at the far end. This
 648     tells us that any children created by the delivery to re-use any SMTP
 649     channels have all finished. Since no process actually writes to the pipe,
 650     the mere fact that read() unblocks is enough. */
 651
 652     set_process_info("running queue: waiting for children of %d", pid);
 653     (void)read(pfd[pipe_read], buffer, sizeof(buffer));
 654     (void)close(pfd[pipe_read]);
 655     set_process_info("running queue");
 656
 657     /* If we are in the test harness, and this is not the first of a 2-stage
 658     queue run, update fudged queue times. */
 659
 660     if (running_in_test_harness && !queue_2stage)
 661       {
 662       uschar *fqtnext = Ustrchr(fudged_queue_times, '/');
 663       if (fqtnext != NULL) fudged_queue_times = fqtnext + 1;
 664       }
 665     }                                  /* End loop for list of messages */
 666
 667   store_reset(reset_point1);           /* Scavenge list of messages */
 668
 669   /* If this was the first time through for random order processing, and
 670   sub-directories have been found, randomize their order if necessary. */
 671
 672   if (i == 0 && subcount > 1 && !queue_run_in_order)
 673     {
 674     int j;
 675     for (j = 1; j <= subcount; j++)
 676       {
 677       int r = random_number(100);
 678       if (r >= 50)
 679         {
 680         int k = (r % subcount) + 1;
 681         int x = subdirs[j];
 682         subdirs[j] = subdirs[k];
 683         subdirs[k] = x;
 684         }
 685       }
 686     }
 687   }                                    /* End loop for multiple directories */
 688
 689 /* If queue_2stage is true, we do it all again, with the 2stage flag
 690 turned off. */
 691
 692 if (queue_2stage)
 693   {
 694   queue_2stage = FALSE;
 695   queue_run(start_id, stop_id, TRUE);
 696   }
 697
 698 /* At top level, log the end of the run. */
 699
 700 if (!recurse) log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
 701 }
 702
 703
 704
 705
 706 /************************************************
 707 *         Count messages on the queue           *
 708 ************************************************/
 709
 710 /* Called as a result of -bpc
 711
 712 Arguments:  none
 713 Returns:    nothing
 714 */
 715
 716 void
 717 queue_count(void)
 718 {
 719 int subcount;
 720 int count = 0;
 721 queue_filename *f = NULL;
 722 uschar subdirs[64];
 723 f = queue_get_spool_list(
 724         -1,             /* entire queue */
 725         subdirs,        /* for holding sub list */
 726         &subcount,      /* for subcount */
 727         FALSE);         /* not random */
 728 for (; f != NULL; f = f->next) count++;
 729 fprintf(stdout, "%d\n", count);
 730 }
 731
 732
 733
 734 /************************************************
 735 *          List extra deliveries                *
 736 ************************************************/
 737
 738 /* This is called from queue_list below to print out all addresses that
 739 have received a message but which were not primary addresses. That is, all
 740 the addresses in the tree of non-recipients that are not primary addresses.
 741 The tree has been scanned and the data field filled in for those that are
 742 primary addresses.
 743
 744 Argument:    points to the tree node
 745 Returns:     nothing
 746 */
 747
 748 static void queue_list_extras(tree_node *p)
 749 {
 750 if (p->left != NULL) queue_list_extras(p->left);
 751 if (!p->data.val) printf("       +D %s\n", p->name);
 752 if (p->right != NULL) queue_list_extras(p->right);
 753 }
 754
 755
 756
 757 /************************************************
 758 *          List messages on the queue           *
 759 ************************************************/
 760
 761 /* Or a given list of messages. In the "all" case, we get a list of file names
 762 as quickly as possible, then scan each one for information to output. If any
 763 disappear while we are processing, just leave them out, but give an error if an
 764 explicit list was given. This function is a top-level function that is obeyed
 765 as a result of the -bp argument. As there may be a lot of messages on the
 766 queue, we must tidy up the store after reading the headers for each one.
 767
 768 Arguments:
 769    option     0 => list top-level recipients, with "D" for those delivered
 770               1 => list only undelivered top-level recipients
 771               2 => as 0, plus any generated delivered recipients
 772               If 8 is added to any of these values, the queue is listed in
 773                 random order.
 774    list       => first of any message ids to list
 775    count      count of message ids; 0 => all
 776
 777 Returns:      nothing
 778 */
 779
 780 void
 781 queue_list(int option, uschar **list, int count)
 782 {
 783 int i;
 784 int subcount;
 785 int now = (int)time(NULL);
 786 void *reset_point;
 787 queue_filename *f = NULL;
 788 uschar subdirs[64];
 789
 790 /* If given a list of messages, build a chain containing their ids. */
 791
 792 if (count > 0)
 793   {
 794   queue_filename *last = NULL;
 795   for (i = 0; i < count; i++)
 796     {
 797     queue_filename *next =
 798       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2);
 799     sprintf(CS next->text, "%s-H", list[i]);
 800     next->dir_uschar = '*';
 801     next->next = NULL;
 802     if (i == 0) f = next; else last->next = next;
 803     last = next;
 804     }
 805   }
 806
 807 /* Otherwise get a list of the entire queue, in order if necessary. */
 808
 809 else
 810   f = queue_get_spool_list(
 811           -1,             /* entire queue */
 812           subdirs,        /* for holding sub list */
 813           &subcount,      /* for subcount */
 814           option >= 8);   /* randomize if required */
 815
 816 if (option >= 8) option -= 8;
 817
 818 /* Now scan the chain and print information, resetting store used
 819 each time. */
 820
 821 reset_point = store_get(0);
 822
 823 for (; f != NULL; f = f->next)
 824   {
 825   int rc, save_errno;
 826   int size = 0;
 827   BOOL env_read;
 828
 829   store_reset(reset_point);
 830   message_size = 0;
 831   message_subdir[0] = f->dir_uschar;
 832   rc = spool_read_header(f->text, FALSE, count <= 0);
 833   if (rc == spool_read_notopen && errno == ENOENT && count <= 0) continue;
 834   save_errno = errno;
 835
 836   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
 837
 838   if (env_read)
 839     {
 840     int ptr;
 841     FILE *jread;
 842     struct stat statbuf;
 843
 844     sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 845       f->text);
 846     ptr = Ustrlen(big_buffer)-1;
 847     big_buffer[ptr] = 'D';
 848
 849     /* Add the data size to the header size; don't count the file name
 850     at the start of the data file, but add one for the notional blank line
 851     that precedes the data. */
 852
 853     if (Ustat(big_buffer, &statbuf) == 0)
 854       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
 855     i = (now - received_time)/60;  /* minutes on queue */
 856     if (i > 90)
 857       {
 858       i = (i + 30)/60;
 859       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
 860       }
 861     else printf("%2dm ", i);
 862
 863     /* Collect delivered addresses from any J file */
 864
 865     big_buffer[ptr] = 'J';
 866     jread = Ufopen(big_buffer, "rb");
 867     if (jread != NULL)
 868       {
 869       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
 870         {
 871         int n = Ustrlen(big_buffer);
 872         big_buffer[n-1] = 0;
 873         tree_add_nonrecipient(big_buffer);
 874         }
 875       (void)fclose(jread);
 876       }
 877     }
 878
 879   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
 880   for (i = 0; i < 16; i++) fputc(f->text[i], stdout);
 881
 882   if (env_read && sender_address != NULL)
 883     {
 884     printf(" <%s>", sender_address);
 885     if (sender_set_untrusted) printf(" (%s)", originator_login);
 886     }
 887
 888   if (rc != spool_read_OK)
 889     {
 890     printf("\n    ");
 891     if (save_errno == ERRNO_SPOOLFORMAT)
 892       {
 893       struct stat statbuf;
 894       sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 895         f->text);
 896       if (Ustat(big_buffer, &statbuf) == 0)
 897         printf("*** spool format error: size=" OFF_T_FMT " ***",
 898           statbuf.st_size);
 899       else printf("*** spool format error ***");
 900       }
 901     else printf("*** spool read error: %s ***", strerror(save_errno));
 902     if (rc != spool_read_hdrerror)
 903       {
 904       printf("\n\n");
 905       continue;
 906       }
 907     }
 908
 909   if (deliver_freeze) printf(" *** frozen ***");
 910
 911   printf("\n");
 912
 913   if (recipients_list != NULL)
 914     {
 915     for (i = 0; i < recipients_count; i++)
 916       {
 917       tree_node *delivered =
 918         tree_search(tree_nonrecipients, recipients_list[i].address);
 919       if (!delivered || option != 1)
 920         printf("        %s %s\n", (delivered != NULL)? "D":" ",
 921           recipients_list[i].address);
 922       if (delivered != NULL) delivered->data.val = TRUE;
 923       }
 924     if (option == 2 && tree_nonrecipients != NULL)
 925       queue_list_extras(tree_nonrecipients);
 926     printf("\n");
 927     }
 928   }
 929 }
 930
 931
 932
 933 /*************************************************
 934 *             Act on a specific message          *
 935 *************************************************/
 936
 937 /* Actions that require a list of addresses make use of argv/argc/
 938 recipients_arg. Other actions do not. This function does its own
 939 authority checking.
 940
 941 Arguments:
 942   id              id of the message to work on
 943   action          which action is required (MSG_xxx)
 944   argv            the original argv for Exim
 945   argc            the original argc for Exim
 946   recipients_arg  offset to the list of recipients in argv
 947
 948 Returns:          FALSE if there was any problem
 949 */
 950
 951 BOOL
 952 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
 953 {
 954 int i, j;
 955 BOOL yield = TRUE;
 956 BOOL removed = FALSE;
 957 struct passwd *pw;
 958 uschar *doing = NULL;
 959 uschar *username;
 960 uschar *errmsg;
 961 uschar spoolname[256];
 962
 963 /* Set the global message_id variable, used when re-writing spool files. This
 964 also causes message ids to be added to log messages. */
 965
 966 Ustrcpy(message_id, id);
 967
 968 /* The "actions" that just list the files do not require any locking to be
 969 done. Only admin users may read the spool files. */
 970
 971 if (action >= MSG_SHOW_BODY)
 972   {
 973   int fd, i, rc;
 974   uschar *subdirectory, *suffix;
 975
 976   if (!admin_user)
 977     {
 978     printf("Permission denied\n");
 979     return FALSE;
 980     }
 981
 982   if (recipients_arg < argc)
 983     {
 984     printf("*** Only one message can be listed at once\n");
 985     return FALSE;
 986     }
 987
 988   if (action == MSG_SHOW_BODY)
 989     {
 990     subdirectory = US"input";
 991     suffix = US"-D";
 992     }
 993   else if (action == MSG_SHOW_HEADER)
 994     {
 995     subdirectory = US"input";
 996     suffix = US"-H";
 997     }
 998   else
 999     {
1000     subdirectory = US"msglog";
1001     suffix = US"";
1002     }
1003
1004   for (i = 0; i < 2; i++)
1005     {
1006     message_subdir[0] = (split_spool_directory == (i == 0))? id[5] : 0;
1007     sprintf(CS spoolname, "%s/%s/%s/%s%s", spool_directory, subdirectory,
1008       message_subdir, id, suffix);
1009     fd = Uopen(spoolname, O_RDONLY, 0);
1010     if (fd >= 0) break;
1011     if (i == 0) continue;
1012     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1013       strerror(errno));
1014     if (action == MSG_SHOW_LOG && !message_logs)
1015       printf("(No message logs are being created because the message_logs "
1016         "option is false.)\n");
1017     return FALSE;
1018     }
1019
1020   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1021     (void)write(fileno(stdout), big_buffer, rc);
1022
1023   (void)close(fd);
1024   return TRUE;
1025   }
1026
1027 /* For actions that actually act, open and lock the data file to ensure that no
1028 other process is working on this message. If the file does not exist, continue
1029 only if the action is remove and the user is an admin user, to allow for
1030 tidying up broken states. */
1031
1032 if (!spool_open_datafile(id))
1033   {
1034   if (errno == ENOENT)
1035     {
1036     yield = FALSE;
1037     printf("Spool data file for %s does not exist\n", id);
1038     if (action != MSG_REMOVE || !admin_user) return FALSE;
1039     printf("Continuing, to ensure all files removed\n");
1040     }
1041   else
1042     {
1043     if (errno == 0) printf("Message %s is locked\n", id);
1044       else printf("Couldn't open spool file for %s: %s\n", id,
1045         strerror(errno));
1046     return FALSE;
1047     }
1048   }
1049
1050 /* Read the spool header file for the message. Again, continue after an
1051 error only in the case of deleting by an administrator. Setting the third
1052 argument false causes it to look both in the main spool directory and in
1053 the appropriate subdirectory, and set message_subdir according to where it
1054 found the message. */
1055
1056 sprintf(CS spoolname, "%s-H", id);
1057 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1058   {
1059   yield = FALSE;
1060   if (errno != ERRNO_SPOOLFORMAT)
1061     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1062   else
1063     printf("Spool format error for %s\n", spoolname);
1064   if (action != MSG_REMOVE || !admin_user)
1065     {
1066     (void)close(deliver_datafile);
1067     deliver_datafile = -1;
1068     return FALSE;
1069     }
1070   printf("Continuing to ensure all files removed\n");
1071   }
1072
1073 /* Check that the user running this process is entitled to operate on this
1074 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1075 mess about, but the original sender is permitted to remove a message. That's
1076 why we leave this check until after the headers are read. */
1077
1078 if (!admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1079   {
1080   printf("Permission denied\n");
1081   (void)close(deliver_datafile);
1082   deliver_datafile = -1;
1083   return FALSE;
1084   }
1085
1086 /* Set up the user name for logging. */
1087
1088 pw = getpwuid(real_uid);
1089 username = (pw != NULL)?
1090   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1091
1092 /* Take the necessary action. */
1093
1094 if (action != MSG_SHOW_COPY) printf("Message %s ", id);
1095
1096 switch(action)
1097   {
1098   case MSG_SHOW_COPY:
1099   deliver_in_buffer = store_malloc(DELIVER_IN_BUFFER_SIZE);
1100   deliver_out_buffer = store_malloc(DELIVER_OUT_BUFFER_SIZE);
1101   transport_write_message(NULL, 1, 0, 0, NULL, NULL, NULL, NULL, NULL, 0);
1102   break;
1103
1104
1105   case MSG_FREEZE:
1106   if (deliver_freeze)
1107     {
1108     yield = FALSE;
1109     printf("is already frozen\n");
1110     }
1111   else
1112     {
1113     deliver_freeze = TRUE;
1114     deliver_manual_thaw = FALSE;
1115     deliver_frozen_at = time(NULL);
1116     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1117       {
1118       printf("is now frozen\n");
1119       log_write(0, LOG_MAIN, "frozen by %s", username);
1120       }
1121     else
1122       {
1123       yield = FALSE;
1124       printf("could not be frozen: %s\n", errmsg);
1125       }
1126     }
1127   break;
1128
1129
1130   case MSG_THAW:
1131   if (!deliver_freeze)
1132     {
1133     yield = FALSE;
1134     printf("is not frozen\n");
1135     }
1136   else
1137     {
1138     deliver_freeze = FALSE;
1139     deliver_manual_thaw = TRUE;
1140     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1141       {
1142       printf("is no longer frozen\n");
1143       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1144       }
1145     else
1146       {
1147       yield = FALSE;
1148       printf("could not be unfrozen: %s\n", errmsg);
1149       }
1150     }
1151   break;
1152
1153
1154   /* We must ensure all files are removed from both the input directory
1155   and the appropriate subdirectory, to clean up cases when there are odd
1156   files left lying around in odd places. In the normal case message_subdir
1157   will have been set correctly by spool_read_header, but as this is a rare
1158   operation, just run everything twice. */
1159
1160   case MSG_REMOVE:
1161   message_subdir[0] = id[5];
1162   for (j = 0; j < 2; message_subdir[0] = 0, j++)
1163     {
1164     sprintf(CS spoolname, "%s/msglog/%s/%s", spool_directory, message_subdir, id);
1165     if (Uunlink(spoolname) < 0)
1166       {
1167       if (errno != ENOENT)
1168         {
1169         yield = FALSE;
1170         printf("Error while removing %s: %s\n", spoolname,
1171           strerror(errno));
1172         }
1173       }
1174     else removed = TRUE;
1175
1176     for (i = 0; i < 3; i++)
1177       {
1178       sprintf(CS spoolname, "%s/input/%s/%s-%c", spool_directory, message_subdir,
1179         id, "DHJ"[i]);
1180       if (Uunlink(spoolname) < 0)
1181         {
1182         if (errno != ENOENT)
1183           {
1184           yield = FALSE;
1185           printf("Error while removing %s: %s\n", spoolname,
1186             strerror(errno));
1187           }
1188         }
1189       else removed = TRUE;
1190       }
1191     }
1192
1193   /* In the common case, the datafile is open (and locked), so give the
1194   obvious message. Otherwise be more specific. */
1195
1196   if (deliver_datafile >= 0) printf("has been removed\n");
1197     else printf("has been removed or did not exist\n");
1198   if (removed)
1199     {
1200     log_write(0, LOG_MAIN, "removed by %s", username);
1201     log_write(0, LOG_MAIN, "Completed");
1202     }
1203   break;
1204
1205
1206   case MSG_MARK_ALL_DELIVERED:
1207   for (i = 0; i < recipients_count; i++)
1208     {
1209     tree_add_nonrecipient(recipients_list[i].address);
1210     }
1211   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1212     {
1213     printf("has been modified\n");
1214     for (i = 0; i < recipients_count; i++)
1215       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1216         recipients_list[i].address, username);
1217     }
1218   else
1219     {
1220     yield = FALSE;
1221     printf("- could not mark all delivered: %s\n", errmsg);
1222     }
1223   break;
1224
1225
1226   case MSG_EDIT_SENDER:
1227   if (recipients_arg < argc - 1)
1228     {
1229     yield = FALSE;
1230     printf("- only one sender address can be specified\n");
1231     break;
1232     }
1233   doing = US"editing sender";
1234   /* Fall through */
1235
1236   case MSG_ADD_RECIPIENT:
1237   if (doing == NULL) doing = US"adding recipient";
1238   /* Fall through */
1239
1240   case MSG_MARK_DELIVERED:
1241   if (doing == NULL) doing = US"marking as delivered";
1242
1243   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1244
1245   if (recipients_arg >= argc)
1246     {
1247     yield = FALSE;
1248     printf("- error while %s: no address given\n", doing);
1249     break;
1250     }
1251
1252   for (; recipients_arg < argc; recipients_arg++)
1253     {
1254     int start, end, domain;
1255     uschar *errmess;
1256     uschar *recipient =
1257       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1258         &domain, (action == MSG_EDIT_SENDER));
1259
1260     if (recipient == NULL)
1261       {
1262       yield = FALSE;
1263       printf("- error while %s:\n  bad address %s: %s\n",
1264         doing, argv[recipients_arg], errmess);
1265       }
1266     else if (recipient[0] != 0 && domain == 0)
1267       {
1268       yield = FALSE;
1269       printf("- error while %s:\n  bad address %s: "
1270         "domain missing\n", doing, argv[recipients_arg]);
1271       }
1272     else
1273       {
1274       if (action == MSG_ADD_RECIPIENT)
1275         {
1276         receive_add_recipient(recipient, -1);
1277         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1278           recipient, username);
1279         }
1280       else if (action == MSG_MARK_DELIVERED)
1281         {
1282         for (i = 0; i < recipients_count; i++)
1283           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1284         if (i >= recipients_count)
1285           {
1286           printf("- error while %s:\n  %s is not a recipient:"
1287             " message not updated\n", doing, recipient);
1288           yield = FALSE;
1289           }
1290         else
1291           {
1292           tree_add_nonrecipient(recipients_list[i].address);
1293           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1294             recipient, username);
1295           }
1296         }
1297       else  /* MSG_EDIT_SENDER */
1298         {
1299         sender_address = recipient;
1300         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1301           recipient, username);
1302         }
1303       }
1304     }
1305
1306   if (yield)
1307     {
1308     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1309       printf("has been modified\n");
1310     else
1311       {
1312       yield = FALSE;
1313       printf("- while %s: %s\n", doing, errmsg);
1314       }
1315     }
1316
1317   break;
1318   }
1319
1320 /* Closing the datafile releases the lock and permits other processes
1321 to operate on the message (if it still exists). */
1322
1323 (void)close(deliver_datafile);
1324 deliver_datafile = -1;
1325 return yield;
1326 }
1327
1328
1329
1330 /*************************************************
1331 *       Check the queue_only_file condition      *
1332 *************************************************/
1333
1334 /* The queue_only_file option forces certain kinds of queueing if a given file
1335 exists.
1336
1337 Arguments:  none
1338 Returns:    nothing
1339 */
1340
1341 void
1342 queue_check_only(void)
1343 {
1344 BOOL *set;
1345 int sep = 0;
1346 struct stat statbuf;
1347 uschar *s, *ss, *name;
1348 uschar buffer[1024];
1349
1350 if (queue_only_file == NULL) return;
1351
1352 s = queue_only_file;
1353 while ((ss = string_nextinlist(&s, &sep, buffer, sizeof(buffer))) != NULL)
1354   {
1355   if (Ustrncmp(ss, "smtp", 4) == 0)
1356     {
1357     name = US"queue_smtp";
1358     set = &queue_smtp;
1359     ss += 4;
1360     }
1361   else
1362     {
1363     name = US"queue_only";
1364     set = &queue_only;
1365     }
1366
1367   if (Ustat(ss, &statbuf) == 0)
1368     {
1369     *set = TRUE;
1370     DEBUG(D_receive) debug_printf("%s set because %s exists\n", name, ss);
1371     }
1372   }
1373 }
1374
1375 /* End of queue.c */