src/src/queue.c

   1 /*************************************************
   2 *     Exim - an Internet mail transport agent    *
   3 *************************************************/
   4
   5 /* Copyright (c) The Exim Maintainers 2020 - 2022 */
   6 /* Copyright (c) University of Cambridge 1995 - 2018 */
   7 /* See the file NOTICE for conditions of use and distribution. */
   8 /* SPDX-License-Identifier: GPL-2.0-only */
   9
  10 /* Functions that operate on the input queue. */
  11
  12
  13 #include "exim.h"
  14
  15
  16
  17
  18
  19
  20
  21 #ifndef COMPILE_UTILITY
  22
  23 /* The number of nodes to use for the bottom-up merge sort when a list of queue
  24 items is to be ordered. The code for this sort was contributed as a patch by
  25 Michael Haardt. */
  26
  27 #define LOG2_MAXNODES 32
  28
  29
  30 #ifndef DISABLE_TLS
  31 static BOOL queue_tls_init = FALSE;
  32 #endif
  33
  34 /*************************************************
  35 *  Helper sort function for queue_get_spool_list *
  36 *************************************************/
  37
  38 /* This function is used when sorting the queue list in the function
  39 queue_get_spool_list() below.
  40
  41 Arguments:
  42   a            points to an ordered list of queue_filename items
  43   b            points to another ordered list
  44
  45 Returns:       a pointer to a merged ordered list
  46 */
  47
  48 static queue_filename *
  49 merge_queue_lists(queue_filename *a, queue_filename *b)
  50 {
  51 queue_filename *first = NULL;
  52 queue_filename **append = &first;
  53
  54 while (a && b)
  55   {
  56   int d;
  57   if ((d = Ustrncmp(a->text, b->text, 6)) == 0)
  58     d = Ustrcmp(a->text + 14, b->text + 14);
  59   if (d < 0)
  60     {
  61     *append = a;
  62     append= &a->next;
  63     a = a->next;
  64     }
  65   else
  66     {
  67     *append = b;
  68     append= &b->next;
  69     b = b->next;
  70     }
  71   }
  72
  73 *append = a ? a : b;
  74 return first;
  75 }
  76
  77
  78
  79
  80
  81 /*************************************************
  82 *             Get list of spool files            *
  83 *************************************************/
  84
  85 /* Scan the spool directory and return a list of the relevant file names
  86 therein. Single-character sub-directories are handled as follows:
  87
  88   If the first argument is > 0, a sub-directory is scanned; the letter is
  89   taken from the nth entry in subdirs.
  90
  91   If the first argument is 0, sub-directories are not scanned. However, a
  92   list of them is returned.
  93
  94   If the first argument is < 0, sub-directories are scanned for messages,
  95   and a single, unified list is created. The returned data blocks contain the
  96   identifying character of the subdirectory, if any. The subdirs vector is
  97   still required as an argument.
  98
  99 If the randomize argument is TRUE, messages are returned in "randomized" order.
 100 Actually, the order is anything but random, but the algorithm is cheap, and the
 101 point is simply to ensure that the same order doesn't occur every time, in case
 102 a particular message is causing a remote MTA to barf - we would like to try
 103 other messages to that MTA first.
 104
 105 If the randomize argument is FALSE, sort the list according to the file name.
 106 This should give the order in which the messages arrived. It is normally used
 107 only for presentation to humans, in which case the (possibly expensive) sort
 108 that it does is not part of the normal operational code. However, if
 109 queue_run_in_order is set, sorting has to take place for queue runs as well.
 110 When randomize is FALSE, the first argument is normally -1, so all messages are
 111 included.
 112
 113 Arguments:
 114   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
 115   subdirs        vector to store list of subdirchars
 116   subcount       pointer to int in which to store count of subdirs
 117   randomize      TRUE if the order of the list is to be unpredictable
 118   pcount         If not NULL, fill in with count of files and do not return list
 119
 120 Returns:         pointer to a chain of queue name items
 121 */
 122
 123 static queue_filename *
 124 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
 125   BOOL randomize, unsigned * pcount)
 126 {
 127 int i;
 128 int flags = 0;
 129 int resetflags = -1;
 130 int subptr;
 131 queue_filename *yield = NULL;
 132 queue_filename *last = NULL;
 133 uschar buffer[256];
 134 queue_filename *root[LOG2_MAXNODES];
 135
 136 /* When randomizing, the file names are added to the start or end of the list
 137 according to the bits of the flags variable. Get a collection of bits from the
 138 current time. Use the bottom 16 and just keep re-using them if necessary. When
 139 not randomizing, initialize the sublists for the bottom-up merge sort. */
 140
 141 if (pcount)
 142   *pcount = 0;
 143 else if (randomize)
 144   resetflags = time(NULL) & 0xFFFF;
 145 else
 146    for (i = 0; i < LOG2_MAXNODES; i++)
 147      root[i] = NULL;
 148
 149 /* If processing the full queue, or just the top-level, start at the base
 150 directory, and initialize the first subdirectory name (as none). Otherwise,
 151 start at the sub-directory offset. */
 152
 153 if (subdiroffset <= 0)
 154   {
 155   i = 0;
 156   subdirs[0] = 0;
 157   *subcount = 0;
 158   }
 159 else
 160   i = subdiroffset;
 161
 162 /* Set up prototype for the directory name. */
 163
 164 spool_pname_buf(buffer, sizeof(buffer));
 165 buffer[sizeof(buffer) - 3] = 0;
 166 subptr = Ustrlen(buffer);
 167 buffer[subptr+2] = 0;               /* terminator for lengthened name */
 168
 169 /* This loop runs at least once, for the main or given directory, and then as
 170 many times as necessary to scan any subdirectories encountered in the main
 171 directory, if they are to be scanned at this time. */
 172
 173 for (; i <= *subcount; i++)
 174   {
 175   int count = 0;
 176   int subdirchar = subdirs[i];      /* 0 for main directory */
 177   DIR *dd;
 178
 179   if (subdirchar != 0)
 180     {
 181     buffer[subptr] = '/';
 182     buffer[subptr+1] = subdirchar;
 183     }
 184
 185   DEBUG(D_queue_run) debug_printf("looking in %s\n", buffer);
 186   if (!(dd = exim_opendir(buffer)))
 187     continue;
 188
 189   /* Now scan the directory. */
 190
 191   for (struct dirent *ent; ent = readdir(dd); )
 192     {
 193     uschar *name = US ent->d_name;
 194     int len = Ustrlen(name);
 195
 196     /* Count entries */
 197
 198     count++;
 199
 200     /* If we find a single alphameric sub-directory in the base directory,
 201     add it to the list for subsequent scans. */
 202
 203     if (i == 0 && len == 1 && isalnum(*name))
 204       {
 205       *subcount = *subcount + 1;
 206       subdirs[*subcount] = *name;
 207       continue;
 208       }
 209
 210     /* Otherwise, if it is a header spool file, add it to the list */
 211
 212     if (len == SPOOL_NAME_LENGTH &&
 213         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
 214       if (pcount)
 215         (*pcount)++;
 216       else
 217         {
 218         queue_filename * next =
 219           store_get(sizeof(queue_filename) + Ustrlen(name), name);
 220         Ustrcpy(next->text, name);
 221         next->dir_uschar = subdirchar;
 222
 223         /* Handle the creation of a randomized list. The first item becomes both
 224         the top and bottom of the list. Subsequent items are inserted either at
 225         the top or the bottom, randomly. This is, I argue, faster than doing a
 226         sort by allocating a random number to each item, and it also saves having
 227         to store the number with each item. */
 228
 229         if (randomize)
 230           if (!yield)
 231             {
 232             next->next = NULL;
 233             yield = last = next;
 234             }
 235           else
 236             {
 237             if (flags == 0)
 238               flags = resetflags;
 239             if ((flags & 1) == 0)
 240               {
 241               next->next = yield;
 242               yield = next;
 243               }
 244             else
 245               {
 246               next->next = NULL;
 247               last->next = next;
 248               last = next;
 249               }
 250             flags = flags >> 1;
 251             }
 252
 253         /* Otherwise do a bottom-up merge sort based on the name. */
 254
 255         else
 256           {
 257           next->next = NULL;
 258           for (int j = 0; j < LOG2_MAXNODES; j++)
 259             if (root[j])
 260               {
 261               next = merge_queue_lists(next, root[j]);
 262               root[j] = j == LOG2_MAXNODES - 1 ? next : NULL;
 263               }
 264             else
 265               {
 266               root[j] = next;
 267               break;
 268               }
 269           }
 270         }
 271     }
 272
 273   /* Finished with this directory */
 274
 275   closedir(dd);
 276
 277   /* If we have just scanned a sub-directory, and it was empty (count == 2
 278   implies just "." and ".." entries), and Exim is no longer configured to
 279   use sub-directories, attempt to get rid of it. At the same time, try to
 280   get rid of any corresponding msglog subdirectory. These are just cosmetic
 281   tidying actions, so just ignore failures. If we are scanning just a single
 282   sub-directory, break the loop. */
 283
 284   if (i != 0)
 285     {
 286     if (!split_spool_directory && count <= 2)
 287       {
 288       uschar subdir[2];
 289
 290       rmdir(CS buffer);
 291       subdir[0] = subdirchar; subdir[1] = 0;
 292       rmdir(CS spool_dname(US"msglog", subdir));
 293       }
 294     if (subdiroffset > 0) break;    /* Single sub-directory */
 295     }
 296
 297   /* If we have just scanned the base directory, and subdiroffset is 0,
 298   we do not want to continue scanning the sub-directories. */
 299
 300   else if (subdiroffset == 0)
 301     break;
 302   }    /* Loop for multiple subdirectories */
 303
 304 /* When using a bottom-up merge sort, do the final merging of the sublists.
 305 Then pass back the final list of file items. */
 306
 307 if (!pcount && !randomize)
 308   for (i = 0; i < LOG2_MAXNODES; ++i)
 309     yield = merge_queue_lists(yield, root[i]);
 310
 311 return yield;
 312 }
 313
 314
 315
 316
 317 /*************************************************
 318 *              Perform a queue run               *
 319 *************************************************/
 320
 321 /* The arguments give the messages to start and stop at; NULL means start at
 322 the beginning or stop at the end. If the given start message doesn't exist, we
 323 start at the next lexically greater one, and likewise we stop at the after the
 324 previous lexically lesser one if the given stop message doesn't exist. Because
 325 a queue run can take some time, stat each file before forking, in case it has
 326 been delivered in the meantime by some other means.
 327
 328 The global variables queue_run_force and queue_run_local may be set to cause
 329 forced deliveries or local-only deliveries, respectively.
 330
 331 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
 332 not contain the string. As this option is typically used when a machine comes
 333 back online, we want to ensure that at least one delivery attempt takes place,
 334 so force the first one. The selecting string can optionally be a regex, or
 335 refer to the sender instead of recipients.
 336
 337 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
 338 is set so that routing is done for all messages. Thus in the second run those
 339 that are routed to the same host should go down the same SMTP connection.
 340
 341 Arguments:
 342   start_id   message id to start at, or NULL for all
 343   stop_id    message id to end at, or NULL for all
 344   recurse    TRUE if recursing for 2-stage run
 345
 346 Returns:     nothing
 347 */
 348
 349 void
 350 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
 351 {
 352 BOOL force_delivery = f.queue_run_force || deliver_selectstring != NULL ||
 353   deliver_selectstring_sender != NULL;
 354 const pcre2_code *selectstring_regex = NULL;
 355 const pcre2_code *selectstring_regex_sender = NULL;
 356 uschar *log_detail = NULL;
 357 int subcount = 0;
 358 uschar subdirs[64];
 359 pid_t qpid[4] = {0};    /* Parallelism factor for q2stage 1st phase */
 360 BOOL single_id = FALSE;
 361
 362 #ifdef MEASURE_TIMING
 363 report_time_since(&timestamp_startup, US"queue_run start");
 364 #endif
 365
 366 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
 367 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
 368 gets set. Save the queue_runner's pid and the flag that indicates any
 369 deliveries run directly from this process. Deliveries that are run by handing
 370 on TCP/IP channels have queue_run_pid set, but not queue_running. */
 371
 372 queue_domains = NULL;
 373 queue_smtp_domains = NULL;
 374 f.queue_smtp = f.queue_2stage;
 375
 376 queue_run_pid = getpid();
 377 f.queue_running = TRUE;
 378
 379 /* Log the true start of a queue run, and fancy options */
 380
 381 if (!recurse)
 382   {
 383   uschar extras[8];
 384   uschar *p = extras;
 385
 386   if (f.queue_2stage) *p++ = 'q';
 387   if (f.queue_run_first_delivery) *p++ = 'i';
 388   if (f.queue_run_force) *p++ = 'f';
 389   if (f.deliver_force_thaw) *p++ = 'f';
 390   if (f.queue_run_local) *p++ = 'l';
 391   *p = 0;
 392
 393   p = big_buffer;
 394   p += sprintf(CS p, "pid=%d", (int)queue_run_pid);
 395
 396   if (extras[0] != 0)
 397     p += sprintf(CS p, " -q%s", extras);
 398
 399   if (deliver_selectstring)
 400     {
 401     snprintf(CS p, big_buffer_size - (p - big_buffer), " -R%s %s",
 402       f.deliver_selectstring_regex? "r" : "", deliver_selectstring);
 403     p += Ustrlen(CCS p);
 404     }
 405
 406   if (deliver_selectstring_sender)
 407     {
 408     snprintf(CS p, big_buffer_size - (p - big_buffer), " -S%s %s",
 409       f.deliver_selectstring_sender_regex? "r" : "", deliver_selectstring_sender);
 410     p += Ustrlen(CCS p);
 411     }
 412
 413   log_detail = string_copy(big_buffer);
 414   if (*queue_name)
 415     log_write(L_queue_run, LOG_MAIN, "Start '%s' queue run: %s",
 416       queue_name, log_detail);
 417   else
 418     log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
 419
 420   single_id = start_id && stop_id && !f.queue_2stage
 421               && Ustrcmp(start_id, stop_id) == 0;
 422   }
 423
 424 /* If deliver_selectstring is a regex, compile it. */
 425
 426 if (deliver_selectstring && f.deliver_selectstring_regex)
 427   selectstring_regex = regex_must_compile(deliver_selectstring, MCS_CASELESS, FALSE);
 428
 429 if (deliver_selectstring_sender && f.deliver_selectstring_sender_regex)
 430   selectstring_regex_sender =
 431     regex_must_compile(deliver_selectstring_sender, MCS_CASELESS, FALSE);
 432
 433 /* If the spool is split into subdirectories, we want to process it one
 434 directory at a time, so as to spread out the directory scanning and the
 435 delivering when there are lots of messages involved, except when
 436 queue_run_in_order is set.
 437
 438 In the random order case, this loop runs once for the main directory (handling
 439 any messages therein), and then repeats for any subdirectories that were found.
 440 When the first argument of queue_get_spool_list() is 0, it scans the top
 441 directory, fills in subdirs, and sets subcount. The order of the directories is
 442 then randomized after the first time through, before they are scanned in
 443 subsequent iterations.
 444
 445 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
 446 order), it scans all directories and makes a single message list. */
 447
 448 for (int i = queue_run_in_order ? -1 : 0;
 449      i <= (queue_run_in_order ? -1 : subcount);
 450      i++)
 451   {
 452   rmark reset_point1 = store_mark();
 453
 454   DEBUG(D_queue_run)
 455     {
 456     if (i == 0)
 457       debug_printf("queue running main directory\n");
 458     else if (i == -1)
 459       debug_printf("queue running combined directories\n");
 460     else
 461       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
 462     }
 463
 464   for (queue_filename * fq = queue_get_spool_list(i, subdirs, &subcount,
 465                                              !queue_run_in_order, NULL);
 466        fq; fq = fq->next)
 467     {
 468     pid_t pid;
 469     int status;
 470     int pfd[2];
 471     struct stat statbuf;
 472     uschar buffer[256];
 473
 474     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
 475     check that the load average is low enough to permit deliveries. */
 476
 477     if (!f.queue_run_force && deliver_queue_load_max >= 0)
 478       if ((load_average = os_getloadavg()) > deliver_queue_load_max)
 479         {
 480         log_write(L_queue_run, LOG_MAIN, "Abandon queue run: %s (load %.2f, max %.2f)",
 481           log_detail,
 482           (double)load_average/1000.0,
 483           (double)deliver_queue_load_max/1000.0);
 484         i = subcount;                 /* Don't process other directories */
 485         break;
 486         }
 487       else
 488         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
 489           (double)load_average/1000.0,
 490           (double)deliver_queue_load_max/1000.0);
 491
 492     /* If initial of a 2-phase run, maintain a set of child procs
 493     to get disk parallelism */
 494
 495     if (f.queue_2stage && !queue_run_in_order)
 496       {
 497       int i;
 498       if (qpid[f.running_in_test_harness ? 0 : nelem(qpid) - 1])
 499         {
 500         DEBUG(D_queue_run) debug_printf("q2stage waiting for child %d\n", (int)qpid[0]);
 501         waitpid(qpid[0], NULL, 0);
 502         DEBUG(D_queue_run) debug_printf("q2stage reaped child %d\n", (int)qpid[0]);
 503         if (f.running_in_test_harness) i = 0;
 504         else for (i = 0; i < nelem(qpid) - 1; i++) qpid[i] = qpid[i+1];
 505         qpid[i] = 0;
 506         }
 507       else
 508         for (i = 0; qpid[i]; ) i++;
 509       if ((qpid[i] = exim_fork(US"qrun-phase-one")))
 510         continue;       /* parent loops around */
 511       }
 512
 513     /* Skip this message unless it's within the ID limits */
 514
 515     if (stop_id && Ustrncmp(fq->text, stop_id, MESSAGE_ID_LENGTH) > 0)
 516       goto go_around;
 517     if (start_id && Ustrncmp(fq->text, start_id, MESSAGE_ID_LENGTH) < 0)
 518       goto go_around;
 519
 520     /* Check that the message still exists */
 521
 522     message_subdir[0] = fq->dir_uschar;
 523     if (Ustat(spool_fname(US"input", message_subdir, fq->text, US""), &statbuf) < 0)
 524       goto go_around;
 525
 526     /* There are some tests that require the reading of the header file. Ensure
 527     the store used is scavenged afterwards so that this process doesn't keep
 528     growing its store. We have to read the header file again when actually
 529     delivering, but it's cheaper than forking a delivery process for each
 530     message when many are not going to be delivered. */
 531
 532     if (deliver_selectstring || deliver_selectstring_sender ||
 533         f.queue_run_first_delivery)
 534       {
 535       BOOL wanted = TRUE;
 536       BOOL orig_dont_deliver = f.dont_deliver;
 537       rmark reset_point2 = store_mark();
 538
 539       /* Restore the original setting of dont_deliver after reading the header,
 540       so that a setting for a particular message doesn't force it for any that
 541       follow. If the message is chosen for delivery, the header is read again
 542       in the deliver_message() function, in a subprocess. */
 543
 544       if (spool_read_header(fq->text, FALSE, TRUE) != spool_read_OK) goto go_around;
 545       f.dont_deliver = orig_dont_deliver;
 546
 547       /* Now decide if we want to deliver this message. As we have read the
 548       header file, we might as well do the freeze test now, and save forking
 549       another process. */
 550
 551       if (f.deliver_freeze && !f.deliver_force_thaw)
 552         {
 553         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
 554         wanted = FALSE;
 555         }
 556
 557       /* Check first_delivery in the case when there are no message logs. */
 558
 559       else if (f.queue_run_first_delivery && !f.deliver_firsttime)
 560         {
 561         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", fq->text);
 562         wanted = FALSE;
 563         }
 564
 565       /* Check for a matching address if deliver_selectstring[_sender] is set.
 566       If so, we do a fully delivery - don't want to omit other addresses since
 567       their routing might trigger re-writing etc. */
 568
 569       /* Sender matching */
 570
 571       else if (  deliver_selectstring_sender
 572               && !(f.deliver_selectstring_sender_regex
 573                   ? regex_match(selectstring_regex_sender, sender_address, -1, NULL)
 574                   : (strstric(sender_address, deliver_selectstring_sender, FALSE)
 575                       != NULL)
 576               )   )
 577         {
 578         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
 579           fq->text, deliver_selectstring_sender);
 580         wanted = FALSE;
 581         }
 582
 583       /* Recipient matching */
 584
 585       else if (deliver_selectstring)
 586         {
 587         int i;
 588         for (i = 0; i < recipients_count; i++)
 589           {
 590           uschar *address = recipients_list[i].address;
 591           if (  (f.deliver_selectstring_regex
 592                 ? regex_match(selectstring_regex, address, -1, NULL)
 593                 : (strstric(address, deliver_selectstring, FALSE) != NULL)
 594                 )
 595              && tree_search(tree_nonrecipients, address) == NULL
 596              )
 597             break;
 598           }
 599
 600         if (i >= recipients_count)
 601           {
 602           DEBUG(D_queue_run)
 603             debug_printf("%s: no recipient address matched %s\n",
 604               fq->text, deliver_selectstring);
 605           wanted = FALSE;
 606           }
 607         }
 608
 609       /* Recover store used when reading the header */
 610
 611       spool_clear_header_globals();
 612       store_reset(reset_point2);
 613       if (!wanted) goto go_around;      /* With next message */
 614       }
 615
 616     /* OK, got a message we want to deliver. Create a pipe which will
 617     serve as a means of detecting when all the processes created by the
 618     delivery process are finished. This is relevant when the delivery
 619     process passes one or more SMTP channels on to its own children. The
 620     pipe gets passed down; by reading on it here we detect when the last
 621     descendent dies by the unblocking of the read. It's a pity that for
 622     most of the time the pipe isn't used, but creating a pipe should be
 623     pretty cheap. */
 624
 625     if (pipe(pfd) < 0)
 626       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
 627         "runner process %d: %s", queue_run_pid, strerror(errno));
 628     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
 629
 630     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
 631     safe side... */
 632
 633     if (queue_run_pipe == 0)
 634       {
 635       queue_run_pipe = dup(queue_run_pipe);
 636       (void)close(0);
 637       }
 638
 639     /* Before forking to deliver the message, ensure any open and cached
 640     lookup files or databases are closed. Otherwise, closing in the subprocess
 641     can make the next subprocess have problems. There won't often be anything
 642     open here, but it is possible (e.g. if spool_directory is an expanded
 643     string). A single call before this loop would probably suffice, but just in
 644     case expansions get inserted at some point, I've taken the heavy-handed
 645     approach. When nothing is open, the call should be cheap. */
 646
 647     search_tidyup();
 648
 649     /* Now deliver the message; get the id by cutting the -H off the file
 650     name. The return of the process is zero if a delivery was attempted. */
 651
 652     set_process_info("running queue: %s", fq->text);
 653     fq->text[SPOOL_NAME_LENGTH-2] = 0;
 654 #ifdef MEASURE_TIMING
 655     report_time_since(&timestamp_startup, US"queue msg selected");
 656 #endif
 657
 658 #ifndef DISABLE_TLS
 659     if (!queue_tls_init)
 660       {
 661       queue_tls_init = TRUE;
 662       /* Preload TLS library info for smtp transports.  Once, and only if we
 663       have a delivery to do. */
 664       tls_client_creds_reload(FALSE);
 665       }
 666 #endif
 667
 668 single_item_retry:
 669     if ((pid = exim_fork(US"qrun-delivery")) == 0)
 670       {
 671       int rc;
 672       (void)close(pfd[pipe_read]);
 673       rc = deliver_message(fq->text, force_delivery, FALSE);
 674       exim_underbar_exit(rc == DELIVER_NOT_ATTEMPTED
 675                 ? EXIT_FAILURE : EXIT_SUCCESS);
 676       }
 677     if (pid < 0)
 678       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
 679         "queue runner %d failed\n", queue_run_pid);
 680
 681     /* Close the writing end of the synchronizing pipe in this process,
 682     then wait for the first level process to terminate. */
 683
 684     (void)close(pfd[pipe_write]);
 685     set_process_info("running queue: waiting for %s (%d)", fq->text, pid);
 686     while (wait(&status) != pid);
 687
 688     /* A zero return means a delivery was attempted; turn off the force flag
 689     for any subsequent calls unless queue_force is set. */
 690
 691     if (!(status & 0xffff)) force_delivery = f.queue_run_force;
 692
 693     /* If the process crashed, tell somebody */
 694
 695     else if (status & 0x00ff)
 696       log_write(0, LOG_MAIN|LOG_PANIC,
 697         "queue run: process %d crashed with signal %d while delivering %s",
 698         (int)pid, status & 0x00ff, fq->text);
 699
 700     /* If single-item delivery was untried (likely due to locking)
 701     retry once after a delay */
 702
 703     if (status & 0xff00 && single_id)
 704       {
 705       single_id = FALSE;
 706       DEBUG(D_queue_run) debug_printf("qrun single-item pause before retry\n");
 707       millisleep(500);
 708       DEBUG(D_queue_run) debug_printf("qrun single-item retry after pause\n");
 709       goto single_item_retry;
 710       }
 711
 712     /* Before continuing, wait till the pipe gets closed at the far end. This
 713     tells us that any children created by the delivery to re-use any SMTP
 714     channels have all finished. Since no process actually writes to the pipe,
 715     the mere fact that read() unblocks is enough. */
 716
 717     set_process_info("running queue: waiting for children of %d", pid);
 718     if ((status = read(pfd[pipe_read], buffer, sizeof(buffer))) != 0)
 719       log_write(0, LOG_MAIN|LOG_PANIC, status > 0 ?
 720         "queue run: unexpected data on pipe" : "queue run: error on pipe: %s",
 721         strerror(errno));
 722     (void)close(pfd[pipe_read]);
 723     set_process_info("running queue");
 724
 725     /* If initial of a 2-phase run, we are a child - so just exit */
 726     if (f.queue_2stage && !queue_run_in_order)
 727       exim_exit(EXIT_SUCCESS);
 728
 729     /* If we are in the test harness, and this is not the first of a 2-stage
 730     queue run, update fudged queue times. */
 731
 732     if (f.running_in_test_harness && !f.queue_2stage)
 733       {
 734       uschar * fqtnext = Ustrchr(fudged_queue_times, '/');
 735       if (fqtnext) fudged_queue_times = fqtnext + 1;
 736       }
 737
 738
 739     continue;
 740
 741   go_around:
 742     /* If initial of a 2-phase run, we are a child - so just exit */
 743     if (f.queue_2stage && !queue_run_in_order)
 744       exim_exit(EXIT_SUCCESS);
 745     }                                  /* End loop for list of messages */
 746
 747   tree_nonrecipients = NULL;
 748   store_reset(reset_point1);           /* Scavenge list of messages */
 749
 750   /* If this was the first time through for random order processing, and
 751   sub-directories have been found, randomize their order if necessary. */
 752
 753   if (i == 0 && subcount > 1 && !queue_run_in_order)
 754     for (int j = 1; j <= subcount; j++)
 755       {
 756       int r;
 757       if ((r = random_number(100)) >= 50)
 758         {
 759         int k = (r % subcount) + 1;
 760         int x = subdirs[j];
 761         subdirs[j] = subdirs[k];
 762         subdirs[k] = x;
 763         }
 764       }
 765   }                                    /* End loop for multiple directories */
 766
 767 /* If queue_2stage is true, we do it all again, with the 2stage flag
 768 turned off. */
 769
 770 if (f.queue_2stage)
 771   {
 772
 773   /* wait for last children */
 774   for (int i = 0; i < nelem(qpid); i++)
 775     if (qpid[i])
 776       {
 777       DEBUG(D_queue_run) debug_printf("q2stage reaped child %d\n", (int)qpid[i]);
 778       waitpid(qpid[i], NULL, 0);
 779       }
 780     else break;
 781
 782 #ifdef MEASURE_TIMING
 783   report_time_since(&timestamp_startup, US"queue_run 1st phase done");
 784 #endif
 785   f.queue_2stage = FALSE;
 786   queue_run(start_id, stop_id, TRUE);
 787   }
 788
 789 /* At top level, log the end of the run. */
 790
 791 if (!recurse)
 792   if (*queue_name)
 793     log_write(L_queue_run, LOG_MAIN, "End '%s' queue run: %s",
 794       queue_name, log_detail);
 795   else
 796     log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
 797 }
 798
 799
 800
 801
 802 /************************************************
 803 *         Count messages on the queue           *
 804 ************************************************/
 805
 806 /* Called as a result of -bpc
 807
 808 Arguments:  none
 809 Returns:    count
 810 */
 811
 812 unsigned
 813 queue_count(void)
 814 {
 815 int subcount;
 816 unsigned count = 0;
 817 uschar subdirs[64];
 818
 819 (void) queue_get_spool_list(-1,         /* entire queue */
 820                         subdirs,        /* for holding sub list */
 821                         &subcount,      /* for subcount */
 822                         FALSE,          /* not random */
 823                         &count);        /* just get the count */
 824 return count;
 825 }
 826
 827
 828 #define QUEUE_SIZE_AGE 60       /* update rate for queue_size */
 829
 830 unsigned
 831 queue_count_cached(void)
 832 {
 833 time_t now;
 834 if ((now = time(NULL)) >= queue_size_next)
 835   {
 836   queue_size = queue_count();
 837   queue_size_next = now + (f.running_in_test_harness ? 3 : QUEUE_SIZE_AGE);
 838   }
 839 return queue_size;
 840 }
 841
 842 /************************************************
 843 *          List extra deliveries                *
 844 ************************************************/
 845
 846 /* This is called from queue_list below to print out all addresses that
 847 have received a message but which were not primary addresses. That is, all
 848 the addresses in the tree of non-recipients that are not primary addresses.
 849 The tree has been scanned and the data field filled in for those that are
 850 primary addresses.
 851
 852 Argument:    points to the tree node
 853 Returns:     nothing
 854 */
 855
 856 static void
 857 queue_list_extras(tree_node *p)
 858 {
 859 if (p->left) queue_list_extras(p->left);
 860 if (!p->data.val) printf("       +D %s\n", p->name);
 861 if (p->right) queue_list_extras(p->right);
 862 }
 863
 864
 865
 866 /************************************************
 867 *          List messages on the queue           *
 868 ************************************************/
 869
 870 /* Or a given list of messages. In the "all" case, we get a list of file names
 871 as quickly as possible, then scan each one for information to output. If any
 872 disappear while we are processing, just leave them out, but give an error if an
 873 explicit list was given. This function is a top-level function that is obeyed
 874 as a result of the -bp argument. As there may be a lot of messages on the
 875 queue, we must tidy up the store after reading the headers for each one.
 876
 877 Arguments:
 878    option     0 => list top-level recipients, with "D" for those delivered
 879               1 => list only undelivered top-level recipients
 880               2 => as 0, plus any generated delivered recipients
 881               If 8 is added to any of these values, the queue is listed in
 882                 random order.
 883    list       => first of any message ids to list
 884    count      count of message ids; 0 => all
 885
 886 Returns:      nothing
 887 */
 888
 889 void
 890 queue_list(int option, uschar **list, int count)
 891 {
 892 int subcount;
 893 int now = (int)time(NULL);
 894 rmark reset_point;
 895 queue_filename * qf = NULL;
 896 uschar subdirs[64];
 897
 898 /* If given a list of messages, build a chain containing their ids. */
 899
 900 if (count > 0)
 901   {
 902   queue_filename *last = NULL;
 903   for (int i = 0; i < count; i++)
 904     {
 905     queue_filename * next =
 906       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2, list[i]);
 907     sprintf(CS next->text, "%s-H", list[i]);
 908     next->dir_uschar = '*';
 909     next->next = NULL;
 910     if (i == 0) qf = next; else last->next = next;
 911     last = next;
 912     }
 913   }
 914
 915 /* Otherwise get a list of the entire queue, in order if necessary. */
 916
 917 else
 918   qf = queue_get_spool_list(
 919           -1,             /* entire queue */
 920           subdirs,        /* for holding sub list */
 921           &subcount,      /* for subcount */
 922           option >= 8,    /* randomize if required */
 923           NULL);          /* don't just count */
 924
 925 if (option >= 8) option -= 8;
 926
 927 /* Now scan the chain and print information, resetting store used
 928 each time. */
 929
 930 for (;
 931     qf && (reset_point = store_mark());
 932     spool_clear_header_globals(), store_reset(reset_point), qf = qf->next
 933     )
 934   {
 935   int rc, save_errno;
 936   int size = 0;
 937   BOOL env_read;
 938
 939   message_size = 0;
 940   message_subdir[0] = qf->dir_uschar;
 941   rc = spool_read_header(qf->text, FALSE, count <= 0);
 942   if (rc == spool_read_notopen && errno == ENOENT && count <= 0)
 943     continue;
 944   save_errno = errno;
 945
 946   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
 947
 948   if (env_read)
 949     {
 950     int i, ptr;
 951     FILE *jread;
 952     struct stat statbuf;
 953     uschar * fname = spool_fname(US"input", message_subdir, qf->text, US"");
 954
 955     ptr = Ustrlen(fname)-1;
 956     fname[ptr] = 'D';
 957
 958     /* Add the data size to the header size; don't count the file name
 959     at the start of the data file, but add one for the notional blank line
 960     that precedes the data. */
 961
 962     if (Ustat(fname, &statbuf) == 0)
 963       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
 964     i = (now - received_time.tv_sec)/60;  /* minutes on queue */
 965     if (i > 90)
 966       {
 967       i = (i + 30)/60;
 968       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
 969       }
 970     else printf("%2dm ", i);
 971
 972     /* Collect delivered addresses from any J file */
 973
 974     fname[ptr] = 'J';
 975     if ((jread = Ufopen(fname, "rb")))
 976       {
 977       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
 978         {
 979         int n = Ustrlen(big_buffer);
 980         big_buffer[n-1] = 0;
 981         tree_add_nonrecipient(big_buffer);
 982         }
 983       (void)fclose(jread);
 984       }
 985     }
 986
 987   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
 988   for (int i = 0; i < 16; i++) fputc(qf->text[i], stdout);
 989
 990   if (env_read && sender_address)
 991     {
 992     printf(" <%s>", sender_address);
 993     if (f.sender_set_untrusted) printf(" (%s)", originator_login);
 994     }
 995
 996   if (rc != spool_read_OK)
 997     {
 998     printf("\n    ");
 999     if (save_errno == ERRNO_SPOOLFORMAT)
1000       {
1001       struct stat statbuf;
1002       uschar * fname = spool_fname(US"input", message_subdir, qf->text, US"");
1003
1004       if (Ustat(fname, &statbuf) == 0)
1005         printf("*** spool format error: size=" OFF_T_FMT " ***",
1006           statbuf.st_size);
1007       else printf("*** spool format error ***");
1008       }
1009     else printf("*** spool read error: %s ***", strerror(save_errno));
1010     if (rc != spool_read_hdrerror)
1011       {
1012       printf("\n\n");
1013       continue;
1014       }
1015     }
1016
1017   if (f.deliver_freeze) printf(" *** frozen ***");
1018
1019   printf("\n");
1020
1021   if (recipients_list)
1022     {
1023     for (int i = 0; i < recipients_count; i++)
1024       {
1025       tree_node *delivered =
1026         tree_search(tree_nonrecipients, recipients_list[i].address);
1027       if (!delivered || option != 1)
1028         printf("        %s %s\n",
1029           delivered ? "D" : " ", recipients_list[i].address);
1030       if (delivered) delivered->data.val = TRUE;
1031       }
1032     if (option == 2 && tree_nonrecipients)
1033       queue_list_extras(tree_nonrecipients);
1034     printf("\n");
1035     }
1036   }
1037 }
1038
1039
1040
1041 /*************************************************
1042 *             Act on a specific message          *
1043 *************************************************/
1044
1045 /* Actions that require a list of addresses make use of argv/argc/
1046 recipients_arg. Other actions do not. This function does its own
1047 authority checking.
1048
1049 Arguments:
1050   id              id of the message to work on
1051   action          which action is required (MSG_xxx)
1052   argv            the original argv for Exim
1053   argc            the original argc for Exim
1054   recipients_arg  offset to the list of recipients in argv
1055
1056 Returns:          FALSE if there was any problem
1057 */
1058
1059 BOOL
1060 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
1061 {
1062 BOOL yield = TRUE;
1063 BOOL removed = FALSE;
1064 struct passwd *pw;
1065 uschar *doing = NULL;
1066 uschar *username;
1067 uschar *errmsg;
1068 uschar spoolname[32];
1069
1070 /* Set the global message_id variable, used when re-writing spool files. This
1071 also causes message ids to be added to log messages. */
1072
1073 Ustrcpy(message_id, id);
1074
1075 /* The "actions" that just list the files do not require any locking to be
1076 done. Only admin users may read the spool files. */
1077
1078 if (action >= MSG_SHOW_BODY)
1079   {
1080   int fd, rc;
1081   uschar *subdirectory, *suffix;
1082
1083   if (!f.admin_user)
1084     {
1085     printf("Permission denied\n");
1086     return FALSE;
1087     }
1088
1089   if (recipients_arg < argc)
1090     {
1091     printf("*** Only one message can be listed at once\n");
1092     return FALSE;
1093     }
1094
1095   if (action == MSG_SHOW_BODY)
1096     {
1097     subdirectory = US"input";
1098     suffix = US"-D";
1099     }
1100   else if (action == MSG_SHOW_HEADER)
1101     {
1102     subdirectory = US"input";
1103     suffix = US"-H";
1104     }
1105   else
1106     {
1107     subdirectory = US"msglog";
1108     suffix = US"";
1109     }
1110
1111   for (int i = 0; i < 2; i++)
1112     {
1113     set_subdir_str(message_subdir, id, i);
1114     if ((fd = Uopen(spool_fname(subdirectory, message_subdir, id, suffix),
1115                     O_RDONLY, 0)) >= 0)
1116       break;
1117     if (i == 0)
1118       continue;
1119
1120     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1121       strerror(errno));
1122     if (action == MSG_SHOW_LOG && !message_logs)
1123       printf("(No message logs are being created because the message_logs "
1124         "option is false.)\n");
1125     return FALSE;
1126     }
1127
1128   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1129     rc = write(fileno(stdout), big_buffer, rc);
1130
1131   (void)close(fd);
1132   return TRUE;
1133   }
1134
1135 /* For actions that actually act, open and lock the data file to ensure that no
1136 other process is working on this message. If the file does not exist, continue
1137 only if the action is remove and the user is an admin user, to allow for
1138 tidying up broken states. */
1139
1140 if ((deliver_datafile = spool_open_datafile(id)) < 0)
1141   if (errno == ENOENT)
1142     {
1143     yield = FALSE;
1144     printf("Spool data file for %s does not exist\n", id);
1145     if (action != MSG_REMOVE || !f.admin_user) return FALSE;
1146     printf("Continuing, to ensure all files removed\n");
1147     }
1148   else
1149     {
1150     if (errno == 0) printf("Message %s is locked\n", id);
1151       else printf("Couldn't open spool file for %s: %s\n", id,
1152         strerror(errno));
1153     return FALSE;
1154     }
1155
1156 /* Read the spool header file for the message. Again, continue after an
1157 error only in the case of deleting by an administrator. Setting the third
1158 argument false causes it to look both in the main spool directory and in
1159 the appropriate subdirectory, and set message_subdir according to where it
1160 found the message. */
1161
1162 sprintf(CS spoolname, "%s-H", id);
1163 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1164   {
1165   yield = FALSE;
1166   if (errno != ERRNO_SPOOLFORMAT)
1167     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1168   else
1169     printf("Spool format error for %s\n", spoolname);
1170   if (action != MSG_REMOVE || !f.admin_user)
1171     {
1172     (void)close(deliver_datafile);
1173     deliver_datafile = -1;
1174     return FALSE;
1175     }
1176   printf("Continuing to ensure all files removed\n");
1177   }
1178
1179 /* Check that the user running this process is entitled to operate on this
1180 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1181 mess about, but the original sender is permitted to remove a message. That's
1182 why we leave this check until after the headers are read. */
1183
1184 if (!f.admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1185   {
1186   printf("Permission denied\n");
1187   (void)close(deliver_datafile);
1188   deliver_datafile = -1;
1189   return FALSE;
1190   }
1191
1192 /* Set up the user name for logging. */
1193
1194 pw = getpwuid(real_uid);
1195 username = (pw != NULL)?
1196   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1197
1198 /* Take the necessary action. */
1199
1200 if (action != MSG_SHOW_COPY) printf("Message %s ", id);
1201
1202 switch(action)
1203   {
1204   case MSG_SHOW_COPY:
1205     {
1206     transport_ctx tctx = {{0}};
1207     deliver_in_buffer = store_malloc(DELIVER_IN_BUFFER_SIZE);
1208     deliver_out_buffer = store_malloc(DELIVER_OUT_BUFFER_SIZE);
1209     tctx.u.fd = 1;
1210     (void) transport_write_message(&tctx, 0);
1211     break;
1212     }
1213
1214
1215   case MSG_FREEZE:
1216   if (f.deliver_freeze)
1217     {
1218     yield = FALSE;
1219     printf("is already frozen\n");
1220     }
1221   else
1222     {
1223     f.deliver_freeze = TRUE;
1224     f.deliver_manual_thaw = FALSE;
1225     deliver_frozen_at = time(NULL);
1226     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1227       {
1228       printf("is now frozen\n");
1229       log_write(0, LOG_MAIN, "frozen by %s", username);
1230       }
1231     else
1232       {
1233       yield = FALSE;
1234       printf("could not be frozen: %s\n", errmsg);
1235       }
1236     }
1237   break;
1238
1239
1240   case MSG_THAW:
1241   if (!f.deliver_freeze)
1242     {
1243     yield = FALSE;
1244     printf("is not frozen\n");
1245     }
1246   else
1247     {
1248     f.deliver_freeze = FALSE;
1249     f.deliver_manual_thaw = TRUE;
1250     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1251       {
1252       printf("is no longer frozen\n");
1253       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1254       }
1255     else
1256       {
1257       yield = FALSE;
1258       printf("could not be unfrozen: %s\n", errmsg);
1259       }
1260     }
1261   break;
1262
1263
1264   /* We must ensure all files are removed from both the input directory
1265   and the appropriate subdirectory, to clean up cases when there are odd
1266   files left lying around in odd places. In the normal case message_subdir
1267   will have been set correctly by spool_read_header, but as this is a rare
1268   operation, just run everything twice. */
1269
1270   case MSG_REMOVE:
1271     {
1272     uschar suffix[3];
1273
1274     suffix[0] = '-';
1275     suffix[2] = 0;
1276     message_subdir[0] = id[5];
1277
1278     for (int j = 0; j < 2; message_subdir[0] = 0, j++)
1279       {
1280       uschar * fname = spool_fname(US"msglog", message_subdir, id, US"");
1281
1282       DEBUG(D_any) debug_printf(" removing %s", fname);
1283       if (Uunlink(fname) < 0)
1284         {
1285         if (errno != ENOENT)
1286           {
1287           yield = FALSE;
1288           printf("Error while removing %s: %s\n", fname, strerror(errno));
1289           }
1290         else DEBUG(D_any) debug_printf(" (no file)\n");
1291         }
1292       else
1293         {
1294         removed = TRUE;
1295         DEBUG(D_any) debug_printf(" (ok)\n");
1296         }
1297
1298       for (int i = 0; i < 3; i++)
1299         {
1300         uschar * fname;
1301
1302         suffix[1] = (US"DHJ")[i];
1303         fname = spool_fname(US"input", message_subdir, id, suffix);
1304
1305         DEBUG(D_any) debug_printf(" removing %s", fname);
1306         if (Uunlink(fname) < 0)
1307           {
1308           if (errno != ENOENT)
1309             {
1310             yield = FALSE;
1311             printf("Error while removing %s: %s\n", fname, strerror(errno));
1312             }
1313           else DEBUG(D_any) debug_printf(" (no file)\n");
1314           }
1315         else
1316           {
1317           removed = TRUE;
1318           DEBUG(D_any) debug_printf(" (done)\n");
1319           }
1320         }
1321       }
1322
1323     /* In the common case, the datafile is open (and locked), so give the
1324     obvious message. Otherwise be more specific. */
1325
1326     if (deliver_datafile >= 0) printf("has been removed\n");
1327       else printf("has been removed or did not exist\n");
1328     if (removed)
1329       {
1330 #ifndef DISABLE_EVENT
1331       if (event_action) for (int i = 0; i < recipients_count; i++)
1332         {
1333         tree_node *delivered =
1334           tree_search(tree_nonrecipients, recipients_list[i].address);
1335         if (!delivered)
1336           {
1337           uschar * save_local = deliver_localpart;
1338           const uschar * save_domain = deliver_domain;
1339           uschar * addr = recipients_list[i].address, * errmsg = NULL;
1340           int start, end, dom;
1341
1342           if (!parse_extract_address(addr, &errmsg, &start, &end, &dom, TRUE))
1343             log_write(0, LOG_MAIN|LOG_PANIC,
1344               "failed to parse address '%.100s'\n: %s", addr, errmsg);
1345           else
1346             {
1347             deliver_localpart =
1348               string_copyn(addr+start, dom ? (dom-1) - start : end - start);
1349             deliver_domain = dom
1350               ? CUS string_copyn(addr+dom, end - dom) : CUS"";
1351
1352             (void) event_raise(event_action, US"msg:fail:internal",
1353               string_sprintf("message removed by %s", username), NULL);
1354
1355             deliver_localpart = save_local;
1356             deliver_domain = save_domain;
1357             }
1358           }
1359         }
1360       (void) event_raise(event_action, US"msg:complete", NULL, NULL);
1361 #endif
1362       log_write(0, LOG_MAIN, "removed by %s", username);
1363       log_write(0, LOG_MAIN, "Completed");
1364       }
1365     break;
1366     }
1367
1368
1369   case MSG_SETQUEUE:
1370     /* The global "queue_name_dest" is used as destination, "queue_name"
1371     as source */
1372
1373     spool_move_message(id, message_subdir, US"", US"");
1374     break;
1375
1376
1377   case MSG_MARK_ALL_DELIVERED:
1378   for (int i = 0; i < recipients_count; i++)
1379     tree_add_nonrecipient(recipients_list[i].address);
1380
1381   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1382     {
1383     printf("has been modified\n");
1384     for (int i = 0; i < recipients_count; i++)
1385       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1386         recipients_list[i].address, username);
1387     }
1388   else
1389     {
1390     yield = FALSE;
1391     printf("- could not mark all delivered: %s\n", errmsg);
1392     }
1393   break;
1394
1395
1396   case MSG_EDIT_SENDER:
1397   if (recipients_arg < argc - 1)
1398     {
1399     yield = FALSE;
1400     printf("- only one sender address can be specified\n");
1401     break;
1402     }
1403   doing = US"editing sender";
1404   /* Fall through */
1405
1406   case MSG_ADD_RECIPIENT:
1407   if (doing == NULL) doing = US"adding recipient";
1408   /* Fall through */
1409
1410   case MSG_MARK_DELIVERED:
1411   if (doing == NULL) doing = US"marking as delivered";
1412
1413   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1414
1415   if (recipients_arg >= argc)
1416     {
1417     yield = FALSE;
1418     printf("- error while %s: no address given\n", doing);
1419     break;
1420     }
1421
1422   for (; recipients_arg < argc; recipients_arg++)
1423     {
1424     int start, end, domain;
1425     uschar *errmess;
1426     uschar *recipient =
1427       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1428         &domain, (action == MSG_EDIT_SENDER));
1429
1430     if (!recipient)
1431       {
1432       yield = FALSE;
1433       printf("- error while %s:\n  bad address %s: %s\n",
1434         doing, argv[recipients_arg], errmess);
1435       }
1436     else if (*recipient && domain == 0)
1437       {
1438       yield = FALSE;
1439       printf("- error while %s:\n  bad address %s: "
1440         "domain missing\n", doing, argv[recipients_arg]);
1441       }
1442     else
1443       {
1444       if (action == MSG_ADD_RECIPIENT)
1445         {
1446 #ifdef SUPPORT_I18N
1447         if (string_is_utf8(recipient)) allow_utf8_domains = message_smtputf8 = TRUE;
1448 #endif
1449         receive_add_recipient(recipient, -1);
1450         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1451           recipient, username);
1452         }
1453       else if (action == MSG_MARK_DELIVERED)
1454         {
1455         int i;
1456         for (i = 0; i < recipients_count; i++)
1457           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1458         if (i >= recipients_count)
1459           {
1460           printf("- error while %s:\n  %s is not a recipient:"
1461             " message not updated\n", doing, recipient);
1462           yield = FALSE;
1463           }
1464         else
1465           {
1466           tree_add_nonrecipient(recipients_list[i].address);
1467           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1468             recipient, username);
1469           }
1470         }
1471       else  /* MSG_EDIT_SENDER */
1472         {
1473 #ifdef SUPPORT_I18N
1474         if (string_is_utf8(recipient)) allow_utf8_domains = message_smtputf8 = TRUE;
1475 #endif
1476         sender_address = recipient;
1477         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1478           recipient, username);
1479         }
1480       }
1481     }
1482
1483   if (yield)
1484     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1485       printf("has been modified\n");
1486     else
1487       {
1488       yield = FALSE;
1489       printf("- while %s: %s\n", doing, errmsg);
1490       }
1491
1492   break;
1493   }
1494
1495 /* Closing the datafile releases the lock and permits other processes
1496 to operate on the message (if it still exists). */
1497
1498 if (deliver_datafile >= 0)
1499   {
1500   (void)close(deliver_datafile);
1501   deliver_datafile = -1;
1502   }
1503 return yield;
1504 }
1505
1506
1507
1508 /*************************************************
1509 *       Check the queue_only_file condition      *
1510 *************************************************/
1511
1512 /* The queue_only_file option forces certain kinds of queueing if a given file
1513 exists.
1514
1515 Arguments:  none
1516 Returns:    nothing
1517 */
1518
1519 void
1520 queue_check_only(void)
1521 {
1522 int sep = 0;
1523 struct stat statbuf;
1524 const uschar * s = queue_only_file;
1525 uschar * ss;
1526
1527 if (s)
1528   while ((ss = string_nextinlist(&s, &sep, NULL, 0)))
1529     if (Ustrncmp(ss, "smtp", 4) == 0)
1530       {
1531       ss += 4;
1532       if (Ustat(ss, &statbuf) == 0)
1533         {
1534         f.queue_smtp = TRUE;
1535         DEBUG(D_receive) debug_printf("queue_smtp set because %s exists\n", ss);
1536         }
1537       }
1538     else
1539       if (Ustat(ss, &statbuf) == 0)
1540         {
1541         queue_only = TRUE;
1542         DEBUG(D_receive) debug_printf("queue_only set because %s exists\n", ss);
1543         }
1544 }
1545
1546
1547
1548 /******************************************************************************/
1549 /******************************************************************************/
1550
1551 #ifndef DISABLE_QUEUE_RAMP
1552 void
1553 queue_notify_daemon(const uschar * msgid)
1554 {
1555 uschar buf[MESSAGE_ID_LENGTH + 2];
1556 int fd;
1557
1558 DEBUG(D_queue_run) debug_printf("%s: %s\n", __FUNCTION__, msgid);
1559
1560 buf[0] = NOTIFY_MSG_QRUN;
1561 memcpy(buf+1, msgid, MESSAGE_ID_LENGTH+1);
1562
1563 if ((fd = socket(AF_UNIX, SOCK_DGRAM, 0)) >= 0)
1564   {
1565   struct sockaddr_un sa_un = {.sun_family = AF_UNIX};
1566   ssize_t len = daemon_notifier_sockname(&sa_un);
1567
1568   if (sendto(fd, buf, sizeof(buf), 0, (struct sockaddr *)&sa_un, (socklen_t)len) < 0)
1569     DEBUG(D_queue_run)
1570       debug_printf("%s: sendto %s\n", __FUNCTION__, strerror(errno));
1571   close(fd);
1572   }
1573 else DEBUG(D_queue_run) debug_printf(" socket: %s\n", strerror(errno));
1574 }
1575 #endif
1576
1577 #endif /*!COMPILE_UTILITY*/
1578
1579 /* End of queue.c */