Fix DYNLOOKUP build for lsearch. Bug 3012
[exim.git] / src / src / exim.c
index c5de167c6b87b807e965f3f908bdf19133be659e..94061f97d0fd17a9d3c3af842bd5da5f6cd9575e 100644 (file)
@@ -203,15 +203,16 @@ Returns:   nothing
 */
 
 void
-set_process_info(const char *format, ...)
+set_process_info(const char * format, ...)
 {
 gstring gs = { .size = PROCESS_INFO_SIZE - 2, .ptr = 0, .s = process_info };
 gstring * g;
 int len;
+uschar * s;
 va_list ap;
 
 g = string_fmt_append(&gs, "%5d ", (int)getpid());
-len = g->ptr;
+len = gstring_length(g);
 va_start(ap, format);
 if (!string_vformat(g, 0, format, ap))
   {
@@ -219,8 +220,7 @@ if (!string_vformat(g, 0, format, ap))
   g = string_cat(&gs, US"**** string overflowed buffer ****");
   }
 g = string_catn(g, US"\n", 1);
-string_from_gstring(g);
-process_info_len = g->ptr;
+process_info_len = len_string_from_gstring(g, &s);
 DEBUG(D_process_info) debug_printf("set_process_info: %s", process_info);
 va_end(ap);
 }
@@ -1132,6 +1132,9 @@ g = string_cat(g, US"Support for:");
 #ifdef EXPERIMENTAL_QUEUEFILE
   g = string_cat(g, US" Experimental_QUEUEFILE");
 #endif
+#ifdef EXPERIMENTAL_XCLIENT
+  g = string_cat(g, US" Experimental_XCLIENT");
+#endif
 g = string_cat(g, US"\n");
 
 g = string_cat(g, US"Lookups (built-in):");
@@ -1501,10 +1504,10 @@ for (int i = 0;; i++)
 #endif
 
   /* g can only be NULL if ss==p */
-  if (ss == p || g->s[g->ptr-1] != '\\') /* not continuation; done */
+  if (ss == p || gstring_last_char(g) != '\\') /* not continuation; done */
     break;
 
-  --g->ptr;                            /* drop the \ */
+  gstring_trim(g, 1);                          /* drop the \ */
   }
 
 if (had_input) return g ? string_from_gstring(g) : US"";
@@ -1687,6 +1690,34 @@ else
 
 
 
+/*************************************************
+*          Queue-runner operations               *
+*************************************************/
+
+/* Prefix a new qrunner descriptor to the qrunners list */
+
+static qrunner *
+alloc_qrunner(void)
+{
+qrunner * q = qrunners;
+qrunners = store_get(sizeof(qrunner), GET_UNTAINTED);
+memset(qrunners, 0, sizeof(qrunner));          /* default queue, zero interval */
+qrunners->next = q;
+qrunners->next_tick = time(NULL);              /* run right away */
+return qrunners;
+}
+
+static qrunner *
+alloc_onetime_qrunner(void)
+{
+qrunners = store_get_perm(sizeof(qrunner), GET_UNTAINTED);
+memset(qrunners, 0, sizeof(qrunner));          /* default queue, zero interval */
+qrunners->next_tick = time(NULL);              /* run right away */
+qrunners->run_max = 1;
+return qrunners;
+}
+
+
 /*************************************************
 *          Entry point and high-level code       *
 *************************************************/
@@ -1717,7 +1748,7 @@ int  filter_sfd = -1;
 int  filter_ufd = -1;
 int  group_count;
 int  i, rv;
-int  list_queue_option = 0;
+int  list_queue_option = QL_BASIC;
 int  msg_action = 0;
 int  msg_action_arg = -1;
 int  namelen = argv[0] ? Ustrlen(argv[0]) : 0;
@@ -1991,7 +2022,14 @@ this here, because the -M options check their arguments for syntactic validity
 using mac_ismsgid, which uses this. */
 
 regex_ismsgid =
-  regex_must_compile(US"^(?:[^\\W_]{6}-){2}[^\\W_]{2}$", MCS_NOFLAGS, TRUE);
+  regex_must_compile(US"^(?:"
+         "[^\\W_]{" str(MESSAGE_ID_TIME_LEN) "}"
+         "-[^\\W_]{" str(MESSAGE_ID_PID_LEN) "}"
+         "-[^\\W_]{" str(MESSAGE_ID_SUBTIME_LEN) "}"
+       "|"
+         "(?:[^\\W_]{6}-){2}[^\\W_]{2}"                /* old ID format */
+       ")$",
+    MCS_NOFLAGS, TRUE);
 
 /* Precompile the regular expression that is used for matching an SMTP error
 code, possibly extended, at the start of an error message. Note that the
@@ -2051,7 +2089,7 @@ this is a smail convention. */
 if ((namelen == 4 && Ustrcmp(argv[0], "runq") == 0) ||
     (namelen  > 4 && Ustrncmp(argv[0] + namelen - 5, "/runq", 5) == 0))
   {
-  queue_interval = 0;
+  alloc_onetime_qrunner();
   receiving_message = FALSE;
   called_as = US"-runq";
   }
@@ -2110,7 +2148,7 @@ on the second character (the one after '-'), to save some effort. */
   BOOL badarg = FALSE;
   uschar * arg = argv[i];
   uschar * argrest;
-  int switchchar;
+  uschar switchchar;
 
   /* An argument not starting with '-' is the start of a recipients list;
   break out of the options-scanning loop. */
@@ -2360,11 +2398,9 @@ on the second character (the one after '-'), to save some effort. */
            }
 
          if (*argrest == 'r')
-           {
-           list_queue_option = 8;
-           argrest++;
-           }
-         else list_queue_option = 0;
+           list_queue_option = QL_UNSORTED, argrest++;
+         else
+           list_queue_option = QL_BASIC;
 
          list_queue = TRUE;
 
@@ -2374,11 +2410,15 @@ on the second character (the one after '-'), to save some effort. */
 
          /* -bpu: List the contents of the mail queue, top-level undelivered */
 
-         else if (Ustrcmp(argrest, "u") == 0) list_queue_option += 1;
+         else if (Ustrcmp(argrest, "u") == 0) list_queue_option |= QL_UNDELIVERED_ONLY;
 
          /* -bpa: List the contents of the mail queue, including all delivered */
 
-         else if (Ustrcmp(argrest, "a") == 0) list_queue_option += 2;
+         else if (Ustrcmp(argrest, "a") == 0) list_queue_option |= QL_PLUS_GENERATED;
+
+         /* -bpi: List only message IDs */
+
+         else if (Ustrcmp(argrest, "i") == 0) list_queue_option |= QL_MSGID_ONLY;
 
          /* Unknown after -bp[r] */
 
@@ -3504,87 +3544,100 @@ on the second character (the one after '-'), to save some effort. */
       }
     break;
 
+    /* -q:  set up queue runs */
 
     case 'q':
-    receiving_message = FALSE;
-    if (queue_interval >= 0)
-      exim_fail("exim: -q specified more than once\n");
-
-    /* -qq...: Do queue runs in a 2-stage manner */
-
-    if (*argrest == 'q')
       {
-      f.queue_2stage = TRUE;
-      argrest++;
-      }
+      BOOL two_stage, first_del, force, thaw = FALSE, local;
 
-    /* -qi...: Do only first (initial) deliveries */
+      receiving_message = FALSE;
 
-    if (*argrest == 'i')
-      {
-      f.queue_run_first_delivery = TRUE;
-      argrest++;
-      }
+      /* -qq...: Do queue runs in a 2-stage manner */
 
-    /* -qf...: Run the queue, forcing deliveries
-       -qff..: Ditto, forcing thawing as well */
+      if ((two_stage = *argrest == 'q'))
+       argrest++;
 
-    if (*argrest == 'f')
-      {
-      f.queue_run_force = TRUE;
-      if (*++argrest == 'f')
-        {
-        f.deliver_force_thaw = TRUE;
-        argrest++;
-        }
-      }
+      /* -qi...: Do only first (initial) deliveries */
 
-    /* -q[f][f]l...: Run the queue only on local deliveries */
+      if ((first_del = *argrest == 'i'))
+       argrest++;
 
-    if (*argrest == 'l')
-      {
-      f.queue_run_local = TRUE;
-      argrest++;
-      }
+      /* -qf...: Run the queue, forcing deliveries
+        -qff..: Ditto, forcing thawing as well */
 
-    /* -q[f][f][l][G<name>]... Work on the named queue */
+      if ((force = *argrest == 'f'))
+       if ((thaw = *++argrest == 'f'))
+         argrest++;
 
-    if (*argrest == 'G')
-      {
-      int i;
-      for (argrest++, i = 0; argrest[i] && argrest[i] != '/'; ) i++;
-      exim_len_fail_toolong(i, EXIM_DRIVERNAME_MAX, "-q*G<name>");
-      queue_name = string_copyn(argrest, i);
-      argrest += i;
-      if (*argrest == '/') argrest++;
-      }
+      /* -q[f][f]l...: Run the queue only on local deliveries */
+
+      if ((local = *argrest == 'l'))
+       argrest++;
 
-    /* -q[f][f][l][G<name>]: Run the queue, optionally forced, optionally local
-    only, optionally named, optionally starting from a given message id. */
+      /* -q[f][f][l][G<name>]... Work on the named queue */
 
-    if (!(list_queue || count_queue))
-      if (  !*argrest
-        && (i + 1 >= argc || argv[i+1][0] == '-' || mac_ismsgid(argv[i+1])))
+      if (*argrest == 'G')
        {
-       queue_interval = 0;
-       if (i+1 < argc && mac_ismsgid(argv[i+1]))
-         start_queue_run_id = string_copy_taint(argv[++i], GET_TAINTED);
-       if (i+1 < argc && mac_ismsgid(argv[i+1]))
-         stop_queue_run_id = string_copy_taint(argv[++i], GET_TAINTED);
+       int i;
+       for (argrest++, i = 0; argrest[i] && argrest[i] != '/'; ) i++;
+       exim_len_fail_toolong(i, EXIM_DRIVERNAME_MAX, "-q*G<name>");
+       queue_name = string_copyn(argrest, i);
+       argrest += i;
+       if (*argrest == '/') argrest++;
        }
 
-    /* -q[f][f][l][G<name>/]<n>: Run the queue at regular intervals, optionally
-    forced, optionally local only, optionally named. */
+      /* -q[f][f][l][G<name>]: Run the queue, optionally forced, optionally local
+      only, optionally named, optionally starting from a given message id. */
 
-      else if ((queue_interval = readconf_readtime(*argrest ? argrest : argv[++i],
-                                                 0, FALSE)) <= 0)
-       exim_fail("exim: bad time value %s: abandoned\n", argv[i]);
-    break;
+      if (!(list_queue || count_queue))
+       {
+       qrunner * q;
+
+       if (  !*argrest
+          && (i + 1 >= argc || argv[i+1][0] == '-' || mac_ismsgid(argv[i+1])))
+         {
+         q = alloc_onetime_qrunner();
+         if (i+1 < argc && mac_ismsgid(argv[i+1]))
+           start_queue_run_id = string_copy_taint(argv[++i], GET_TAINTED);
+         if (i+1 < argc && mac_ismsgid(argv[i+1]))
+           stop_queue_run_id = string_copy_taint(argv[++i], GET_TAINTED);
+         }
+
+      /* -q[f][f][l][G<name>/]<n>: Run the queue at regular intervals, optionally
+      forced, optionally local only, optionally named. */
+
+       else
+         {
+         int intvl = readconf_readtime(*argrest ? argrest : argv[++i], 0, FALSE);
+         if (intvl <= 0)
+           exim_fail("exim: bad time value %s: abandoned\n", argv[i]);
+
+         for (qrunner * qq = qrunners; qq; qq = qq->next)
+           if (  queue_name && qq->name && Ustrcmp(queue_name, qq->name) == 0
+              || !queue_name && !qq->name)
+             exim_fail("exim: queue-runner specified more than once\n");
+
+         q = alloc_qrunner();
+         q->interval = intvl;
+         }
+
+       q->name = *queue_name ? queue_name : NULL;      /* will be NULL for the default queue */
+       q->queue_run_force = force;
+       q->deliver_force_thaw = thaw;
+       q->queue_run_first_delivery = first_del;
+       q->queue_run_local = local;
+       q->queue_2stage = two_stage;
+       }
+
+      break;
+      }
 
 
     case 'R':   /* Synonymous with -qR... */
+    case 'S':   /* Synonymous with -qS... */
       {
-      const uschar *tainted_selectstr;
+      const uschar * tainted_selectstr;
+      uschar * s;
 
       receiving_message = FALSE;
 
@@ -3594,20 +3647,28 @@ on the second character (the one after '-'), to save some effort. */
        -Rrf:  Regex and force
        -Rrff: Regex and force and thaw
 
+       -S...: Like -R but works on sender.
+
     in all cases provided there are no further characters in this
     argument. */
 
+      alloc_onetime_qrunner();
+      qrunners->queue_2stage = f.queue_2stage;
       if (*argrest)
        for (int i = 0; i < nelem(rsopts); i++)
          if (Ustrcmp(argrest, rsopts[i]) == 0)
            {
-           if (i != 2) f.queue_run_force = TRUE;
-           if (i >= 2) f.deliver_selectstring_regex = TRUE;
-           if (i == 1 || i == 4) f.deliver_force_thaw = TRUE;
+           if (i != 2) qrunners->queue_run_force = TRUE;
+           if (i >= 2)
+             if (switchchar == 'R')
+               f.deliver_selectstring_regex = TRUE;
+             else
+               f.deliver_selectstring_sender_regex = TRUE;
+           if (i == 1 || i == 4) qrunners->deliver_force_thaw = TRUE;
            argrest += Ustrlen(rsopts[i]);
            }
 
-    /* -R: Set string to match in addresses for forced queue run to
+    /* -R or -S: Set string to match in addresses for forced queue run to
     pick out particular messages. */
 
       /* Avoid attacks from people providing very long strings, and do so before
@@ -3617,58 +3678,22 @@ on the second character (the one after '-'), to save some effort. */
       else if (i+1 < argc)
        tainted_selectstr = argv[++i];
       else
-       exim_fail("exim: string expected after -R\n");
-      deliver_selectstring = string_copy_taint(
+       exim_fail("exim: string expected after %s\n", switchchar == 'R' ? "-R" : "-S");
+
+      s = string_copy_taint(
        exim_str_fail_toolong(tainted_selectstr, EXIM_EMAILADDR_MAX, "-R"),
        GET_TAINTED);
-      }
-    break;
-
-    /* -r: an obsolete synonym for -f (see above) */
-
-
-    /* -S: Like -R but works on sender. */
-
-    case 'S':   /* Synonymous with -qS... */
-      {
-      const uschar *tainted_selectstr;
-
-      receiving_message = FALSE;
 
-    /* -Sf:   As -S (below) but force all deliveries,
-       -Sff:  Ditto, but also thaw all frozen messages,
-       -Sr:   String is regex
-       -Srf:  Regex and force
-       -Srff: Regex and force and thaw
-
-    in all cases provided there are no further characters in this
-    argument. */
-
-      if (*argrest)
-       for (int i = 0; i < nelem(rsopts); i++)
-         if (Ustrcmp(argrest, rsopts[i]) == 0)
-           {
-           if (i != 2) f.queue_run_force = TRUE;
-           if (i >= 2) f.deliver_selectstring_sender_regex = TRUE;
-           if (i == 1 || i == 4) f.deliver_force_thaw = TRUE;
-           argrest += Ustrlen(rsopts[i]);
-           }
-
-    /* -S: Set string to match in addresses for forced queue run to
-    pick out particular messages. */
-
-      if (*argrest)
-       tainted_selectstr = argrest;
-      else if (i+1 < argc)
-       tainted_selectstr = argv[++i];
+      if (switchchar == 'R')
+       deliver_selectstring = s;
       else
-       exim_fail("exim: string expected after -S\n");
-      deliver_selectstring_sender = string_copy_taint(
-       exim_str_fail_toolong(tainted_selectstr, EXIM_EMAILADDR_MAX, "-S"),
-       GET_TAINTED);
+       deliver_selectstring_sender = s;
       }
     break;
 
+
+    /* -r: an obsolete synonym for -f (see above) */
+
     /* -Tqt is an option that is exclusively for use by the testing suite.
     It is not recognized in other circumstances. It allows for the setting up
     of explicit "queue times" so that various warning/retry things can be
@@ -3777,9 +3802,8 @@ on the second character (the one after '-'), to save some effort. */
 
 /* If -R or -S have been specified without -q, assume a single queue run. */
 
- if (  (deliver_selectstring || deliver_selectstring_sender)
-    && queue_interval < 0)
-  queue_interval = 0;
+ if ((deliver_selectstring || deliver_selectstring_sender) && !qrunners)
+  alloc_onetime_qrunner();
 
 
 END_ARG:
@@ -3791,22 +3815,22 @@ if (usage_wanted) exim_usage(called_as);
 
 /* Arguments have been processed. Check for incompatibilities. */
 if (  (  (smtp_input || extract_recipients || recipients_arg < argc)
-      && (  f.daemon_listen || queue_interval >= 0 || bi_option
+      && (  f.daemon_listen || qrunners || bi_option
         || test_retry_arg >= 0 || test_rewrite_arg >= 0
         || filter_test != FTEST_NONE
         || msg_action_arg > 0 && !one_msg_action
       )  )
    || (  msg_action_arg > 0
-      && (  f.daemon_listen || queue_interval > 0 || list_options
+      && (  f.daemon_listen || is_multiple_qrun() || list_options
         || checking && msg_action != MSG_LOAD
         || bi_option || test_retry_arg >= 0 || test_rewrite_arg >= 0
       )  )
-   || (  (f.daemon_listen || queue_interval > 0)
+   || (  (f.daemon_listen || is_multiple_qrun())
       && (  sender_address || list_options || list_queue || checking
         || bi_option
       )  )
-   || f.daemon_listen && queue_interval == 0
-   || f.inetd_wait_mode && queue_interval >= 0
+   || f.daemon_listen && is_onetime_qrun()
+   || f.inetd_wait_mode && qrunners
    || (  list_options
       && (  checking || smtp_input || extract_recipients
         || filter_test != FTEST_NONE || bi_option
@@ -3822,7 +3846,7 @@ if (  (  (smtp_input || extract_recipients || recipients_arg < argc)
    || (  smtp_input
       && (sender_address || filter_test != FTEST_NONE || extract_recipients)
       )
-   || deliver_selectstring && queue_interval < 0
+   || deliver_selectstring && !qrunners
    || msg_action == MSG_LOAD && (!expansion_test || expansion_test_message)
    )
   exim_fail("exim: incompatible command-line options or arguments\n");
@@ -4444,7 +4468,7 @@ if (!f.admin_user)
   if (  deliver_give_up || f.daemon_listen || malware_test_file
      || count_queue && queue_list_requires_admin
      || list_queue && queue_list_requires_admin
-     || queue_interval >= 0 && prod_requires_admin
+     || qrunners && prod_requires_admin
      || queue_name_dest && prod_requires_admin
      || debugset && !f.running_in_test_harness
      )
@@ -4460,7 +4484,7 @@ regression testing. */
 if (  real_uid != root_uid && real_uid != exim_uid
    && (  continue_hostname
       || (  f.dont_deliver
-        && (queue_interval >= 0 || f.daemon_listen || msg_action_arg > 0)
+        && (qrunners || f.daemon_listen || msg_action_arg > 0)
       )  )
    && !f.running_in_test_harness
    )
@@ -4577,11 +4601,11 @@ to the state Exim usually runs in. */
 if (  !unprivileged                            /* originally had root AND */
    && !removed_privilege                       /* still got root AND      */
    && !f.daemon_listen                         /* not starting the daemon */
-   && queue_interval <= 0                      /* (either kind of daemon) */
+   && (!qrunners || is_onetime_qrun())         /* (either kind of daemon) */
    && (                                                /*    AND EITHER           */
          deliver_drop_privilege                        /* requested unprivileged  */
       || (                                     /*       OR                */
-            queue_interval < 0                 /* not running the queue   */
+            !qrunners                          /* not running the queue   */
          && (  msg_action_arg < 0              /*       and               */
             || msg_action != MSG_DELIVER       /* not delivering          */
            )                                   /*       and               */
@@ -4696,7 +4720,7 @@ if (msg_action_arg > 0 && msg_action != MSG_DELIVER && msg_action != MSG_LOAD)
   }
 
 /* We used to set up here to skip reading the ACL section, on
- (msg_action_arg > 0 || (queue_interval == 0 && !f.daemon_listen)
+ (msg_action_arg > 0 || (is_onetime_qrun() && !f.daemon_listen)
 Now, since the intro of the ${acl } expansion, ACL definitions may be
 needed in transports so we lost the optimisation. */
 
@@ -4947,18 +4971,9 @@ if (msg_action_arg > 0 && msg_action != MSG_LOAD)
 /* If only a single queue run is requested, without SMTP listening, we can just
 turn into a queue runner, with an optional starting message id. */
 
-if (queue_interval == 0 && !f.daemon_listen)
+if (is_onetime_qrun() && !f.daemon_listen)
   {
-  DEBUG(D_queue_run) debug_printf("Single queue run%s%s%s%s\n",
-    start_queue_run_id ? US" starting at " : US"",
-    start_queue_run_id ? start_queue_run_id: US"",
-    stop_queue_run_id ?  US" stopping at " : US"",
-    stop_queue_run_id ?  stop_queue_run_id : US"");
-  if (*queue_name)
-    set_process_info("running the '%s' queue (single queue run)", queue_name);
-  else
-    set_process_info("running the queue (single queue run)");
-  queue_run(start_queue_run_id, stop_queue_run_id, FALSE);
+  single_queue_run(qrunners, start_queue_run_id, stop_queue_run_id);
   exim_exit(EXIT_SUCCESS);
   }
 
@@ -5083,7 +5098,7 @@ returns. We leave this till here so that the originator_ fields are available
 for incoming messages via the daemon. The daemon cannot be run in mua_wrapper
 mode. */
 
-if (f.daemon_listen || f.inetd_wait_mode || queue_interval > 0)
+if (f.daemon_listen || f.inetd_wait_mode || is_multiple_qrun())
   {
   if (mua_wrapper)
     {